AI 内容审核如何运作 — 以及其不足之处

简短回答。 自动化内容审核不会过滤内容；它只会对其进行评分。分类器会根据文本或图像与某个类别示例的相似程度给出分数，而语言模型则会根据书面指令给出意见。两者都不知道某个陈述是否属实，也不知道某个人是否能被您的受众识别。因此，有用的系统会对队列进行排序，并将不确定的中间部分留给人工处理。

自动化审核常被描述为过滤器：内容进入，不良内容被捕获，良好内容通过。任何管理过队列的人都知道并非如此。这些工具会产生 分数 and 意见, 它们以可预测的方式出错，它们的有用程度几乎完全取决于你如何处理它们的输出。

我们构建并运营审核流程，因此本指南是从内部视角编写的。它解释了这些工具在做什么，它们为什么会失效，以及如何在不自欺欺人的情况下使用它们。

两种机器

如今几乎所有的审核系统都由两种类型的模型构建，通常一起使用。

分类器 经过训练，只负责一项狭窄的工作：给定一段文本或一张图片，为固定列表中的每个类别（如色情内容、骚扰、仇恨、暴力、自残等）生成一个介于0到1之间的数字。它们快速且便宜，并且对于相同的输入每次都会给出相同的答案。它们无法解释自己，也无法处理未经训练的类别。

大型语言模型 — 与聊天助手相同的技术 — 可以接收书面指令：“这段文字是否指控某个可识别的人有不当行为？回答是或否，并说明原因。”它们能够处理分类器无法处理的细微差别、上下文和指令。它们速度较慢且成本较高，运行之间可能不一致，有时还会以完全自信的态度给出错误的结论。

分类器告诉你一段文本 在多大程度上 类似于它所训练的滥用示例。语言模型告诉你它对这段文本的 看法 。两者都不知道文本是否真实。

分数不是判决

分类器对“骚扰”返回0.83，并不意味着它发现了骚扰。它报告的是，从统计学上看，这段文本与训练数据中被标记为骚扰的内容相似。必须有人决定哪个数字算作过高。这个数字就是 阈值，选择它是一个没有正确答案的权衡。

将阈值设置得低，你会捕获更多真正有害的内容，但也会标记更多无辜的内容 — 误报。将其设置得高，被标记的无辜帖子会减少，但更多有害内容会漏网 — 漏报.

。哪种错误更糟取决于接下来会发生什么。如果标记只是将帖子发送给人工进行仔细检查，那么误报只会花费某人三十秒的时间，低阈值是明智的。如果标记自动删除帖子，误报会使无辜者噤声，你应该更加谨慎。

这就是为什么最有用的系统不会阻止；它们会 分类。两端的明确案例会迅速处理，不确定的中间部分会连同分数一起发送给人工。

为什么文本比看起来更难

语言混合。 大多数审核模型主要在英语上进行训练。对于其他语言，性能会下降，当句子中混合多种语言时，性能下降更甚 — 而许多马来西亚人正是这样写作的。一个在罗马化拼写中混合了英语、马来语、普通话和福建话助词的句子，模型可能会正确解读，也可能将其视为噪音。

俚语比训练数据变化快。 侮辱、内部笑话和编码词汇每隔几个月就会变化。去年训练的模型从未见过今年的词汇。

语境决定意义。 足球赛后说“我要杀了他”和描述被跟踪后说同一句话是不同的事情。同样，作为攻击使用的侮辱词和被攻击者引用同一词语也是不同的。分类器看到的是词语；它们很少看到情境。

故意规避。 想要绕过过滤器的人会替换字符、添加空格、使用相似字母，或者将文本放入图片中。简单的系统会被简单的技巧击败。

讽刺和转述。 “哦，当然，她 绝对 是校园里最诚实的人”这句话根本不包含任何可标记的词语。

AI无法知道什么

一些最重要的审核问题根本与语言无关，任何模型都无法仅凭文本回答这些问题。

• 是真的吗？ 一个冷静、具体、写得很好的指控得分是完全安全的。它也可能是诽谤性的。真相是关于世界的事实，而不是句子的属性。
• 这个人对你的受众来说是可识别的吗？ “东门附近影印店的老板”没有包含名字。你校园里的每个人都知道它指的是谁。模型从未到过你的校园。
• 这个人是公众人物吗？ 软件有时可以检测到名字的存在。它无法可靠地区分政府部长和同名同学。
• 这个人同意了吗？ 一张派对上两个人的照片可能是在他们同意的情况下分享的，也可能是你本月队列中最残酷的事情。

这些是了解社区的人类需要回答的问题。工具最多能做的是注意到需要提出这个问题 — 例如，通过标记提交内容似乎包含个人姓名 — 并将其路由给可以决定的人。请参阅 当投稿指名道姓时.

图片

图片审核通常结合了多项检查：

• 一个明确内容分类器, 它评估图片是色情内容的可能性。这些在照片方面相当不错，但在绘画、不寻常的光线以及暗示性而非明确的图片方面明显较弱。泳装、医疗图片和仅仅赤膊的人会产生常见的误报。
• 一个具备视觉能力的语言模型, 可以要求它描述图片并根据书面规则进行判断 — 这对于暴力、武器或毒品使用很有用。
• 文本提取, 用于读取截图和表情包中的文字，以便像其他文本一样进行检查。如果没有这一步，粘贴到图片中的违规段落将未经触及地通过。

图片模型通常 not 做的是保护隐私。一张陌生人脸部的清晰照片、学生证或车牌在这些模型所知的任何类别中都不是“不安全”的。这项检查仍然由你负责 — 请参阅 审核图片和视频.

视频

视频是带有音轨的长时间图像序列，完全检查成本很高。大多数系统会 采样帧 — 每秒或每隔几秒一帧 — 并对每个帧进行分类。由此产生两个后果。

首先，出现时间少于采样间隔的内容可能会完全被遗漏。其次，一个只检查缩略图或第一帧的系统几乎没有检查视频，你应该查明你的系统是否做得更多。

音频是另一回事。除非工具转录语音并审核转录文本，否则视频中 说 了什么内容是不会被检查的。许多工具都没有这样做。

为什么使用多个模型有帮助

不同的模型会犯不同的错误。分类器会漏掉语言模型能理解的新颖侮辱；语言模型会放过一个专门构建的分类器判定为露骨的图片。运行多个独立的检查，并让其中任何一个发出警报，比最好的单一模型能捕获更多内容 — 代价是需要审核的警报更多。对于人工审核所有被标记内容的队列来说，这通常是正确的权衡。

重要的词是 独立。两个基于相同底层模型构建的产品将共享相同的盲点。

关于任何审核工具需要问的问题

1. 它到底检查什么？ 只检查文本？图片？图片中的文本？视频的每一帧还是只有缩略图？音频？
2. 它在哪些语言上进行了测试？ 如果答案模糊，请假定是英语。
3. 当它标记某物时会发生什么？ 是阻止、保留待审核，还是仅仅标记？
4. 你能看到原因吗？ 一个显示哪个检查触发以及得分多少的工具能让你了解它的习惯。一个简单的“已拒绝”什么也教不了你。
5. 当它不可用时会发生什么？ 如果服务中断，提交的内容是未经检查就通过，还是等待？
6. 内容去向何处？ 发送到第三方服务进行检查的提交内容已不在你的掌控之中。查明该服务是否存储它接收到的内容或将其用于训练。
7. 你能调整阈值吗？ 为儿童游戏设计的固定设置不适用于大学页面，反之亦然。

善用它

将自动化审核视为一个不知疲倦的初审者，它擅长发现显而易见的问题，但对其他一切都没有判断力。让它清除明显没问题的内容，阻止明显不行的内容，并将其推理附加到介于两者之间的所有内容上。然后你自己阅读中间部分。

每月查看一次它标记了但你批准的内容，以及它通过了但你拒绝的内容。这两个列表会显示它的盲点，每个社区的盲点都不同。一个阅读这些列表的团队会发现机器遗漏的内容。一个信任绿色勾号的团队最终会发布不该发布的内容 — 而“AI批准了”从来都不是任何事情的辩护。

常见问题

AI 内容审核是如何运作的？

它通常结合使用两种模型。分类器会针对骚扰或色情内容等固定类别列表中的每个类别生成一个介于 0 到 1 之间的分数。大型语言模型会根据书面指令被要求判断内容。然后，有人会选择一个阈值，高于该阈值的分数即被视为违规。

为什么 AI 审核会标记无辜的帖子，却遗漏有害的帖子？

因为分数不是判决。较低的阈值会捕获更多有害内容并标记更多无辜内容；较高的阈值则相反。分类器也只看到文字，很少了解具体情况，因此俚语、讽刺、引用语和故意规避都会愚弄它们。

AI 审核无法检测到什么？

某个陈述是否属实，某个人是否能被您的特定受众识别，某人是公众人物还是同名同学，以及照片中的人是否同意。这些问题需要了解社区的人来回答；工具最多只能标记出需要提出这个问题。

AI 审核对马来语和混合语言帖子有效吗？

效果较差。大多数审核模型主要在英语上进行训练，对其他语言的性能会下降，当句子中混合使用多种语言时，性能会进一步下降——许多马来西亚人就是这样写作的。请询问工具测试过哪些语言，如果答案模糊，则假定为英语。

视频是如何自动审核的？

大多数系统会对帧进行采样——每秒或每几秒一帧——并对每帧进行分类。显示时间少于采样间隔的内容可能会被遗漏，而只检查缩略图的系统几乎没有检查视频。除非工具转录语音，否则视频中说的任何内容都不会被检查。

使用多个审核模型会更好吗？

通常情况下，如果有人会审查所有被标记的内容，那么使用多个模型会更好。不同的模型会犯不同的错误，因此多个独立的检查（任何一个都可以提出标记）比最好的单一模型能捕获更多内容，代价是需要审查更多的标记。它们必须是独立的：基于相同底层模型的两个产品具有相同的盲点。