内容审核术语白话词汇表
经营社群专页或评估审核工具时会遇到的近五十个术语——从“误报”和“阈值”到“拼图式识别”和“围攻”——不用行话,一一解释。
其他语言: English · Bahasa Melayu · 繁體中文
简短回答。 内容审核,就是决定一个公共空间里什么可以发布、什么不可以发布的工作。它的用语一部分来自大型平台的“信任与安全”团队,一部分来自机器学习。下面是志愿管理员实际会遇到的术语,每一条都附上它在实务上为什么重要。
内容审核已经有了一套自己的用语,一部分来自大型平台的“信任与安全”团队,一部分来自机器学习。其中许多用语,翻成白话之后很有用。这份词汇表解释志愿管理员最可能遇到的术语,按英文字母顺序排列,并说明每一个在实务上为什么重要。
A 至 C
Appeal(申诉)。 要求重新检视一项审核决定。即使是小专页,有一个可以提出要求的途径也有好处——哪怕只是一个电邮地址——因为总有些决定是错的。
Astroturfing(伪草根行动)。 有组织的行动,却刻意装成自发的民意。在告白专页上,它表现为许多投稿推销同一种说法,却写得好像彼此无关。见 brigading。
Automated moderation(自动审核)。 用软件筛查内容,完全不经人手,或在人看到之前先筛一遍。它适合用来分类和抓出明显的问题,但不能当作最后的裁判。详见《AI 内容审核是怎样运作的》。
Blocklist(封锁字词清单)。 一份字词清单,含有这些字词的帖子或留言会被隐藏或扣住。设置起来很快,效果却很粗糙:它会误伤无辜的用法,又会漏掉变着花样的写法。
Brigading(围攻)。 一群人在某处串连好,再涌向另一处——大量投稿、留言或举报。目的是让数量看起来像共识。
CAPTCHA(验证码)。 用来分辨真人和程序的测试。对付机器人有效;但会增加使用上的阻力,也可能引起无障碍和隐私方面的顾虑。
Classifier(分类器)。 一种经过训练的模型,会为内容与某个类别(例如“骚扰”或“色情”)的吻合程度打分。它给出的是一个数字,不是一个决定。
Community guidelines(社群守则)。 一个空间公开订下的规则。这个词既指平台的规则——你必须遵守——也指你自己专页的规则——由你来写。
Content warning(内容警示)。 放在可能令部分读者不适的内容之前的简短提示,让他们选择要不要往下读。用得节制时有帮助;什么都加上时就没人理会。
Context collapse(语境崩塌)。 为某一群人写的话,被另一群人读到时发生的事。朋友之间的玩笑,发布给五千个陌生人之后,就不再是同一句话了。
CSAM(儿童性虐待材料)。 持有或散布都属违法。必须举报,而且绝不可以转发,即使是为了举报。
D 至 H
Decision log(决定记录)。 记录那些不是一目了然的审核决定及其理由。这是团队保持前后一致最省钱的工具。
Defamation(诽谤)。 向他人传达的、损害某人名誉的不实言论。以书面或其他永久形式作出的,称为书面诽谤(libel)。见《诽谤与告白专页》。
Doxxing(人肉搜索)。 公开某人的身份资料或私人资料——住址、工作地点、电话号码、身份证件——使他遭受骚扰。自 2025 年起,带有这种意图或造成这种后果的行为,在马来西亚属于刑事罪行。
Escalation(上报)。 把决定交给更有权限或更有经验的人,或要求第二个人同意。团队需要一份清楚的清单,列明什么情况要上报。
Evasion(规避)。 刻意绕过过滤的手法:用数字代替字母、插入空格、使用形似字符,或把文字放进图片里。
False negative(漏报)。 检查没有标记出来的有害内容。这种错误,你是从投诉里得知的。
False positive(误报)。 被检查错误标记的无害内容。这种错误,你是从不高兴的投稿者那里得知的。
Flag(标记)。 表示某项内容需要留意的记号。可以由软件发出,也可以来自用户的举报。标记是一个问题,不是一个答案。
Hash matching(哈希比对)。 把文件的数位指纹和已知有害文件的资料库比对。大型平台用它来侦测已知的虐待影像,而不必有人亲眼去看。
Hate speech(仇恨言论)。 基于种族、宗教、国籍、性别、性倾向或残障等特征对人的攻击。各平台、各国的定义不尽相同。
Human in the loop(人在回路中)。 一种系统设计:软件提出建议,由人作最后决定。凡是会带来后果的事,这都是合理的预设做法。
I 至 N
Identifiability(可识别性)。 认识当事人的人,能不能从一则内容里认出他。这并不需要名字。
Impersonation(冒充)。 假扮成某个特定的人或组织。在告白专页上,这包括为了让别人出丑而假托其名写的投稿。
Jigsaw identification(拼图式识别)。 把几项单独看都无害的细节拼在一起,认出一个人。科系、年级和学会职务合起来,可能恰好只指向一个人。
Large language model,LLM(大型语言模型)。 聊天助手背后的技术。可以用日常语言给它指示,并要求它据此判断内容。它很灵活,也可能错得理直气壮。
Metadata(元数据)。 关于文件本身、而不是其内容的资讯:照片是什么时候拍的、用什么设备拍的,有时还有在哪里拍的。即使图片本身认不出人,它也可能认得出。
Moderation queue(待审清单)。 等待决定的项目清单。其中最旧的一项等了多久,是衡量团队状况最好的单一指标。
Named-person detection(人名侦测)。 自动标记看来含有人名的投稿,让人来判断是否有人被指认。它侦测到的是“有名字”,判断不了发布出来是否有害。
Non-consensual intimate imagery(未经同意的私密影像)。 未经当事人同意而分享的色情影像,包括伪造的影像。有时被称为“复仇式色情”,但许多人避用这个说法,因为它暗示受害者做了什么事才招来报复。
NSFW。 “Not safe for work”(不适合在工作场所观看)——露骨或血腥内容的简称,也是侦测这类内容的分类器常用的标签。
P 至 S
Pile-on(群起围剿)。 一大群人在短时间内把批评或谩骂指向同一个人。每个参与者只发了一则讯息,被针对的人却收到几百则。
Pre-moderation(事先审核)。 在内容发布之前审查。告白专页就是这样运作的,这也是专页管理员对刊出的内容负有如此明确责任的原因。
Post-moderation(事后审核)。 先发布,之后再审查,通常是在有人举报的时候。留言区一般就是这样运作的。
Proof of work(工作量证明)。 浏览器必须先完成的一小项运算,表单才会接受投稿。对一个人来说几乎感觉不到,对一次发送几千则的人来说代价很高。它限制了滥用,却不必识别任何人的身份。
Rate limiting(频率限制)。 限制同一来源在一段时间内执行某项操作的次数。这是对付洗版的主要防线。
Recall(召回率)。 在机器学习里,指所有有害项目当中被检查抓到的比例。召回率高,表示漏网的少;但通常也带来更多误报。(另外,有些投稿工具用“recall”来指投稿者撤回自己的帖子。)
Precision(精确率)。 被标记的项目当中确实有害的比例。精确率高,表示标记可以信赖;但通常也带来更多漏报。
Republication(再发布)。 重复别人原先说过的话。在诽谤法里,重复一则言论的人要为它负责,就像是他自己写的一样。
Safe messaging(安全讯息准则)。 关于怎样讨论自杀和自我伤害、而不致增加脆弱读者风险的既定指引:不提方法,不用渲染的语言,一定附上求助资源。见《投稿提到自我伤害时》。
Shadow banning(影子封禁)。 在不告知用户的情况下,限制其内容的能见度。它之所以有争议,是因为这种做法本来就不透明。
Sockpuppet(分身账号)。 一个人用来假装成好几个人的第二个账号或身份。在匿名表单上,每一个洗版的人实际上都在操作分身账号。
T 至 Z
Takedown(下架)。 移除已发布的内容,通常是回应某项要求或投诉。见《如何处理下架要求》。
Threshold(阈值)。 分类器的输出超过这个分数,就被当作标记。调低,抓到的更多,误报的也更多;调高则相反。没有所谓正确的数值,只有适合你目的的取舍。
Triage(分流)。 在动手处理之前,先按紧急程度和难度把进来的项目分类,让注意力用在需要的地方。
Trust and safety(信任与安全)。 大型平台对处理滥用、有害内容和用户保护的团队与政策的称呼。志愿管理员团队做的是同一件事,只是规模较小。
Two-person rule(双人规则)。 规定在采取敏感行动之前,必须有两个人同意。在小团队里,这是防范某一个人状态不好的主要保障。
User-generated content,UGC(用户生成内容)。 由服务的用户而不是经营者创作的内容。告白专页完全由管理员选择发布的 UGC 构成——而正是这个选择,使他们要为内容负责。
Vicarious trauma(替代性创伤)。 审核人员反复接触令人不安的内容所累积的影响。它是真实的,志愿者和专业人员都会受到影响,这也是要轮流值勤、缩短每次工作时间的理由。
怎样运用这些术语
认识术语,不如问出术语背后的问题来得重要。当一款工具自称“准确率 99%”,要问这个数字指的是精确率还是召回率,又是在哪些语言上量出来的。当有人说某篇帖子“没有点任何人的名”,要问当事人是否可被认出。而当一大波投稿都在说同一件事,要问你看到的是社群的意见,还是一场围攻。
常见问题
内容审核里的“误报”是什么意思?
被检查错误标记的无害内容——这种错误,你是从不高兴的投稿者那里得知的。与它相对的是漏报,也就是检查没有标记出来的有害内容,那是你从投诉里得知的。
什么是 brigading(围攻)?
一群人在某处串连好,再涌向另一处——大量投稿、留言或举报。目的是让数量看起来像共识。
什么是人肉搜索(doxxing)?
公开某人的身份资料或私人资料——住址、工作地点、电话号码、身份证件——使他遭受骚扰。自 2025 年起,带有这种意图或造成这种后果的行为,在马来西亚属于刑事罪行。
事先审核和事后审核有什么分别?
事先审核是在内容发布之前审查;告白专页就是这样运作的,这也是管理员对刊出的内容负有明确责任的原因。事后审核是先发布、之后再审查,通常在有人举报的时候;留言区一般就是这样运作的。
什么是拼图式识别?
把几项单独看都无害的细节拼在一起,认出一个人。科系、年级和学会职务合起来,可能恰好只指向一个人。
对审核工具来说,精确率和召回率是什么意思?
召回率是所有有害项目当中被检查抓到的比例;精确率是被标记的项目当中确实有害的比例。召回率高通常带来更多误报,精确率高通常带来更多漏报,所以“准确率 99%”这种说法,在你知道它指的是哪一个之前,意义不大。