随着抖音堪称癫狂的高速扩张,一系列大大小小的问题,也逐步暴露出来。
其中最让人头疼的一点,便是审核。
在过去的一个月里,抖音共拦截违规内容,高达604万条!
涉及低俗、颜色、B力、谣言等诸多领域。
F禁账号5.2万+,限流账号68万+。
人工审核团队,从初期的200人,迅速扩充至如今的600人,才勉强应付得过来。
这也就是抖音的风控体系足够给力,要不然,审核团队规模,至少还要再往上翻一番。
这套风控体系,是团队基于悠米视频的多模态审核技术、极光微博/微信公众号的“三维舆情风控模型”,以及千亿级数据积累,针对短视频“短平快、多形式”等特性,衍生训练而来。
首先是“事前准入”环节。
依托于极光生态的用户信用数据,以及垂直领域管理经验,团队建立了一套“分层准入+风险限流”机制。
避免高风险主体,进入创作环节,同时降低素人创作门槛。
素人账号,仅限极光系实名认证用户申请,且需满足关联账号无违规记录。
即近1年无谣言发布、低俗内容历史。
至于PGC、机构账号,则需额外提供资质文件。
涉及医疗、金融、教育、历史等“红色领域”,还需补充行业许可证。
此外,MCN机构,还需提供旗下创作者名单及合规培训证明,承诺不批量生产低俗、擦边内容。
创作者通过平台审核后,首次发布内容,还需选择“垂直领域标签”,系统将根据标签,匹配对应风险等级,关联初始流量池。
针对美食、萌宠、娱乐等低风险领域,初始流量池上限10000次。
审核门槛相对宽松,AI仅筛查颜色、暴力等高危内容。
针对健康、育儿、科普等中风险领域,初始流量池上限5000次,且需额外通过“关键词合规校验”。
比如,“健康”标签内容,需规避“治病”、“疗效”等医疗话术,触发即自动进入人工预审。
针对财经、社评等高风险领域,初始流量池上限2000次,且需提交“内容真实性声明”,审核通过后才释放流量。
比如,财经内容需标注数据来源。
这套“准入机制”,其实就是微信公众号那套机制的变种,已经过数年验证与调整。
实测有效~
其次是“事中监控”环节。
早在08年,悠米视频成立之初,极光便和复旦计算机视觉实验室,联合研发了“AI敏感帧审核系统”。
历经数年优化迭代,该系统已实现“文本+图像+音频”多模态特征融合检测!
依托于此,团队针对短视频场景,“视频画面+BGM+字幕”的复合内容形态,结合极光通用大模型的语意理解能力,定向优化了“AI敏感帧审核系统”。
覆盖15类违规场景!
该系统有三项核心能力。
其一,画面识别。
即通过图像识别技术,检测画面中的低俗动作、敏感标识。
此前,团队已利用微信、微博的短视频功能,积累的原始数据,对模型进行了初步训练,识别准确率高达92%!
而行业平均水平,仅有65%。
其二,语音、文本识别。
通过将语音转换为文字,并对比“极光三维审核模型”,数年时间积攒下的“2400万条违规内容特征库”,该系统可有效识别3000+谣言变体、侮辱性语言、煽动性话术!