2025年6月12日呀,小红书在北京举办了一场超有趣的打击“虚假”治理开放日活动哟,财视传媒也受邀来到了活动现场呢。活动里,小红书虚假内容治理负责人蒂法和小红书黑灰产治理负责人必行,都分别就大家超关心的好多问题进行了分享呢。
据蒂法说啦,2025年上半年小红书可是超厉害地打击了320万的虚假笔记、1万的虚假人设账号,还有60万的低质AIGC笔记哟。
在识别虚假内容方面呢,蒂法表示呀,用户表达个人感受和看法的内容,因为没有客观信息传递过程啦,所以就不会去做真实性判断哒。要是涉及客观信息的内容呢,小红书就建立了一套超棒的“前置拦截、事中追踪、分析回扫”的全面治理体系哟,还上线了内容信息量模型、笔记摘要提取模型、AIGC谣言诊断模型等15个识别大模型呢,还建立了真实信源库和谣言库,这样就能实现对虚假内容的实时拦截和批量回扫啦。
1、内容信息量模型呢,主要是帮助区分出哪些内容是需要进行真实性判断的哟,这个模型会把一些个人观点内容过滤掉哒。
2、笔记摘要提取模型呢,这个模型会根据一条内容,快速提取出时间、地点、人物、事件等重要信息哟,这样就能为后续的真实性比对提升效率啦。
3、AI谣言诊断模型呢,它会基于AIGC的技术手段,收集全网信息来辅助判断谣言信息哒。
4、小红书还建立了信源库和谣言库哟。信源库中会收录真实的内容,谣言库中会收录虚假内容,关于内容的真实性判断,有一部分是来源于权威媒体发言哒。
一条笔记发布后呢,会先经过内容信息量模型去判断是否需要真实性判断哟,如果需要的话就会进入笔记摘要提取模型环节进行摘要拆解,然后会到信源库中进行比对,如果有不匹配的情况呢,大概率就会被认定为虚假内容啦。
蒂法在分享的时候还说啦,其实也有很多内容没办法和信源库进行匹配呢,因为信源库中大多收录的是国家大事或重大事件,像某地新开某店这样的事件一般不会记录哒。这类内容主要是依赖用户的举报哟,用户会在帖子下留言说这是虚假的或者举报笔记,这样就会进入到人工审核环节,人审的同学最后会结合AI模型进行一个最终的判断哒。
图源:官方提供
针对企业伙伴呢,小红书还上线了“争议性标签”和“限时加私”功能哟,能有效保护企业降低虚假信息的影响哒。
在虚假人设治理方面呢,小红书采用了四大步骤哟:
1、完善账号准入制度哟,对可能涉及虚假人设的重点领域账号,要求提供更详细的身份信息和资质证明哒。
2、内容前置审核哟,识别可能存在虚假人设的线索,像内容中是否存在夸大、虚构身份或经历的表述,是否与已有真实信息存在矛盾等。
3、上线多个识别模型哟,检测内容中是否存在伪造场景、合成图片、虚假特效等问题哒。
4、算法挖掘账号网关系哟,通过算法,挖掘账号之间的关联关系,进一步印证身份是否真实哒。
活动现场呢,小红书黑灰产治理负责人必行给大家分享了小红书黑灰产治理的应对策略哟,针对黑灰产生产内容同质化严重的特点,小红书上线了50多种模型,强化账号、笔记、评论文本三维相似度识别哒。同时还实施了实名认证解冻策略,对高危账号先冻结,完成验证后解冻,这样就极大程度提升了作恶成本啦。
图源:官方提供
在线上治理的同时呢,小红书案件调查团队还向多地警方和市场监督部门积极提供线索,对黑灰产团伙进行线下打击哟。目前有7起案件在侦办中,后续警方和市场监督部门会根据调查结果采取各种处罚措施,涉及犯罪行为的还将进一步追究刑事责任哒。
截至目前呢,小红书黑灰产治理行动累计封禁账号1000万+,实现了黑灰产账号曝光次数减少80%哟。
现场的问答环节呢,财视传媒进行了提问:“接到虚假和灰产举报后,小红书的处理流程是怎样的?”
蒂法介绍说:接到虚假举报后,首先是机审流程哟,因为举报量比较大所以由模型先判断,随后部分内容会进入人审环节,会对内容进行针对性判断哒。这种判断也不是纯个人判断哟,因为每个人有自己的局限性,所以在举报环节也借助了AI,AI先去搜集笔记有关的内容,审核会相应去了解可供参考的信息源,也会用AI关键信息提取来帮助工作,最终做出判断哒。”