当一所大学一年交上去 75,000 篇论文，1% 的误判率意味着什么

误判率是一个群体的属性，不是你这篇论文的属性。范德堡大学 2023 年 8 月给这句话配了数字：它 2022 年向 Turnitin 提交了 75,000 篇论文，所以如果当时 AI 检测功能已经在跑，1% 的误判率就意味着 "around 750 student papers could have been incorrectly labeled"（约 750 篇学生论文可能被错误标记）。随后它关掉了这个检测功能。这句话带着两个条件，而转述时两个都会掉：2022 年那会儿这个功能还没上线——原文那个 "if" 就是这个意思；以及厂商自己那个 1% 是带限定条件的，而它自己下一句就把限定丢了。

范德堡大学的 Office of Learning and Innovation 在 2023 年 8 月 16 日发了一篇文章，标题是 "Guidance on AI Detection and Why We're Disabling Turnitin's AI Detector"（关于 AI 检测的指引，以及我们为什么要关掉 Turnitin 的 AI 检测器）。决定本身写得很直白："Vanderbilt has decided to disable Turnitin's AI detection tool for the foreseeable future."（在可预见的未来，范德堡决定关闭 Turnitin 的 AI 检测工具。）

值得随身带着的是那段算术：

"At the time of launch, Turnitin claimed that its detection tool had a 1% false positive rate (Chechitelli, 2023). To put that into context, Vanderbilt submitted 75,000 papers to Turnitin in 2022. If this AI detection tool was available then, around 750 student papers could have been incorrectly labeled as having some of it written by AI."（上线时，Turnitin 称其检测工具的误判率为 1%。作为参照：范德堡在 2022 年向 Turnitin 提交了 75,000 篇论文。如果当时这个 AI 检测工具已经可用，约有 750 篇学生论文可能被错误地标记为部分由 AI 写成。）

这里没有任何巧妙之处。就是七万五的百分之一。但它把一个百分比换算成了一个文档数量，而正是这一次换算，说明了错误率为什么难想。

现在把第二句从 if 那个词开始再读一遍。那 75,000 篇交上去的时候，这个检测功能还没在跑——"if this AI detection tool was available then" 说的就是这件事。所以 750 不是任何已经发生过的事情的计数，无论在范德堡还是别处。它只是把「一所大学真实年提交量的百分之一」写出来是什么样子。这个主张比这个数字通常被拿去支撑的那个小得多，也好守得多。

对厂商来说，百分之一是一条技术指标。对机构来说，它是一年要处理的案子量。对你来说，两者都不是——你是一份文档，而这个率完全没说你这份是不是那一个。

最后这一点是两头都割的，而人们恰恰在两个方向上都会说过头：

• 它不意味着你被标出来这件事多半是错的。「人写的论文上有 1% 的错误率」和「大多数被标出来的论文其实标对了」完全可以同时成立，取决于其中原本有多少确实用了 AI。
• 但它确实意味着「这工具准确率 99%，所以肯定是你干的」不成其为论证。一个率描述的是群体，它无法告诉你眼前这一个是群体里的哪一位。而 75,000 篇的百分之一是几百份文档，所以落在那个区间里是件平常事，不是什么离奇事。不过几百份文档不等于几百起指控，而这个论证多数糟糕的版本，正住在这两者之间的距离里。

有用的姿态既不是「检测器坏了」，也不是「检测器是对的」，而是：群体统计裁不了个案。这一点厂商是白纸黑字同意的——它的 FAQ 告诉教师，不要把 AI 写作指标的百分比当成 "the sole basis for action or a definitive grading measure"（采取行动的唯一依据，或一项决定性的评分标准）。

如果你打算在什么场合引用这个 1%，下面这个细节很重要。

Turnitin 的 FAQ 是这么写这条主张的：它力求把误判率——"incorrectly identifying fully human-written text as AI-generated"（把完全由人写的文本错误地判定为 AI 生成）——保持在 "under 1% for documents with over 20% of AI writing."（对于 AI 写作占比超过 20% 的文档，低于 1%。）

「对于 AI 写作占比超过 20% 的文档」。这是一条相当实质的限定，而它没能活过厂商自己隔一句话的复述："In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."（换句话说，每 100 篇完全由人写的文档里，我们可能会有 1 篇被标为 AI 写作。）

这两句话不等价，而流传开来的是第二句。你要用这个数字，就用带限定的那一版——一半因为它准确，更多是因为坐在桌子对面的人可能知道那个限定的存在。

那篇文章发于 2023 年 8 月。其中一部分是算术，不会过期；另一部分是关于厂商当时公开了什么的判断，会过期。引用之前先把这两类分开，工作量的大头就在这。

算术可以放心重复，但要把那个 if 一起带上。大提交量的百分之一就是很多份文档，2023 年以来没有任何事情动摇这一点。

关于非英语母语写作者的担忧也可以放心重复，而且它根本不靠这篇文章立论——它背后有研究。那些研究实际测的是什么，我们在AI 检测器对非英语母语写作的偏差里过了一遍。

要重复之前先核一下的，是那条关于透明度的批评。范德堡写的是 "Turnitin gives no detailed information as to how it determines if a piece of writing is AI-generated or not"（Turnitin 没有就它如何判定一段文字是否由 AI 生成给出详细信息）。而今天的 FAQ 确实描述了一个分数是怎么合成的：先抽取句子并切成互相重叠的片段，每个片段被分类并给一个 0 到 1 之间的值，符合条件的句子继承所在片段的分数，重叠的分数被汇总，句子层面的分数再聚合成文档分数。你要是在会上断言「从来没公开过它怎么工作」，对方可以把这一段摆到你面前。

不过在判断这条反对意见是否已被回答之前，先读那篇文章紧接着的下一句，因为这条反对意见比「说说它怎么工作」要窄得多。它说的是这个工具 "looks for patterns common in AI writing, but they do not explain or define what those patterns are"（会去找 AI 写作中常见的模式，但他们没有解释或定义这些模式是什么）。一段关于片段分数如何合并的说明，不是一段关于那些模式是什么的说明。已公开的机制和已公开的反对意见针对的是两个不同的问题，而这两者在同一天都可以被准确引用。

我们说不了的是：FAQ 里那一段最早出现于什么时候。我们没有给它定过日期，所以上面任何一句都不应被读成「厂商是为了回应这篇文章才公开它的」。

还有一个限定，这一个属于范德堡自己。那篇文章描述这个功能上线时是 "less than 24-hour advance notice, no option at the time to disable the feature"（提前通知不足 24 小时，当时也没有关闭该功能的选项）。at the time（当时）三个词就在原句里。引用时把它们去掉，你就把一句关于上线那阵子的话，变成了对这个产品的常设主张。这和从 1% 里丢掉「超过 20%」是同一个动作，只不过是由争论的另一方做出来的。

1. 把日期一起说出来。「2023 年，范德堡关掉了这个工具并公开了理由」是可核实、也守得住的。「各大学已经放弃 AI 检测」两样都不是。
2. 说清楚那道算术是在示范什么。它之所以传得开，是因为任何人都能拿自己机构的提交量重算一遍，而且它确实说明了一件事：一个很小的百分比，仍然会产出一堆需要有人公平审阅的案子。它不能做的是估算指控数量。不是每一份提交都够格拿到分数，机构外面没人知道实际的 AI 使用量有多少，而一次标记也不必然变成一项指控。这一层我们在20% 的 AI 占比算高吗里拆得更细。
3. 别声称它证明了关于你这份文档的任何事。它确立的是：在规模之下，被误标是一件平常事——这是另一个、也更克制的主张。
4. 去查一下你自己所在的机构有没有公开过什么。去看学术诚信政策，以及教学发展中心之类的部门发布的东西，别只看新闻页。在你可能遇到的任何一场对话里，本地的表态都压过一份来自远方的表态。
5. 别把它放在开场。先说服人的是过程和来源；统计数字是留到有人主张「这个数字本身就足以定论」时才拿出来的东西。

如果仍在用，那么真正要紧的对象是摆在你面前的那份报告，而不是上面这些。那个百分比究竟是什么的统计量、以及为什么高亮和数字会对不上，是另一片地，我们写在逐行读 AI 写作报告那篇里。

HumanPen 只在这一个位置上进场：具体段落被标了出来，而其中一些确实需要改。报告划定边界，没被标的段落保持你原本的措辞。

但这些都不是对误判的回答。如果你的立场是「这就是我写的」，那么改写是错的动作；真正说服过审查方的东西完全是另一个话题：什么样的证据打动过审查小组。

1% 的误判率是不是意味着我这次被标多半是错的？ 不是。它是在一个「由人写成的文档」群体上的比率，对个案什么也没说。它意味着的是：在机构那个体量下，被误标的论文是常见现象，不是什么离奇事件。

750 这个数字是哪来的？ 来自范德堡 2023 年 8 月 16 日那篇文章，把 1% 套在它 2022 年向 Turnitin 提交的 75,000 篇论文上。注意那个条件式：2022 年这个检测功能还没在跑，所以原句写的是 "if this AI detection tool was available then"。它展示的是那所大学的提交量的百分之一写出来是什么样，不是 750 篇被误标的记录，也不是对别的机构的预测。

那个 1% 是无条件的吗？ 不是。厂商写明的目标是「对于 AI 写作占比超过 20% 的文档」低于 1%。它自己在下一句的复述里把这个限定丢掉了，这也是无限定版本到处流传的原因。

各大学是不是普遍关掉了 AI 检测？ 这份材料支撑不了这个说法。它记录的是 2023 年一所机构的决定和它的理由。你所在的机构用不用，是个本地问题，答案也在本地。