一个审核堆栈，四个引擎——以及每个帧的报告
我们将所有审核模型整合到一个服务中，并公开了每个引擎对每张图片和每个视频帧的评分。
直到本周，VibeFlow 的审核模型还在两个地方运行。提交应用程序筛选文本；一个独立的检测服务筛选图片和视频。两者都各自复制了相同的分类法，并且两者之间出现了偏差——一边添加的规则从未到达另一边。
现在所有内容都在一个服务中运行。提交的内容由四个独立的引擎筛选，所有引擎都对每个帖子进行筛选：
- 一个本地运行的具名人物预检，没有API成本——包括称谓（Dr, Prof, Encik, Ustaz, Cikgu）、bin/binti 血统标记、马来西亚华人和印度姓氏，以及中文字符姓名序列。
- OpenAI omni-moderation-latest，用于类别级别的危害评分。
- Meta Llama 4 Scout，它判断姓名是否被用于诽谤他人以及声明是否无法验证——这两种判断构成了忏悔页面上大多数实际被举报的内容。
- 一个在我们自己的硬件上运行的本地 NSFW 分类器，处理每张图片和每个采样的视频帧。
这些都不是彼此的备用。它们并行运行，其中任何一个标记都会将帖子保留以供审核。
更大的变化是您现在可以看到的内容。检测器总是对视频的每一帧进行评分——但管理面板只显示一个单一的判断，因此一个干净的通过看起来与从未运行审核相同。您的审核面板现在显示证据：每张图片和每个视频帧，NSFW 分类器评分了什么，Scout vision 说了什么，以及 omni-moderation 返回了什么。视频剪辑会展开成一个逐帧表格。
这在边缘案例中最为重要。当一个帖子在一帧上显示 38% NSFW，而在其余帧上显示 2% 时，您可以准确地看到要查看哪一帧，而不是猜测。
引擎运行后会发生什么
标记不会删除任何内容。被标记的提交会被搁置，并通知页面管理员，它会连同证据一起保留在那里，直到其中一位管理员做出决定。未被标记的提交则会在普通队列中等待管理员批准。
有一个设置可以改变这一点。页面可以开启自动发布，这样通过所有引擎的提交就会在未经管理员审核的情况下发布。此功能默认关闭。引擎擅长处理明确的内容，但对仅仅是不友善的内容则表现不佳，因此，一次干净的通过意味着没有发现任何明显的问题——而不是说该帖子适合发布。我们关于AI审核工作原理及其不足的指南会逐一介绍这些失败案例。