Turnitin 公布了两个不同的误报率,句子级那个是 4%

如果只有一两句被标红,人们常引的「低于 1%」并不是描述你处境的那个数。Turnitin 首席产品官在 2023 年 6 月单独公布过一个句子级误报率,约 4%,还给了一个关于这些错标句子位置的统计。两个数字各自带着限定条件,而一篇完全没有 AI 的论文两个都套不上。

HumanPen 团队

· 5 分钟

4% 到底说的是什么

如果你手上有一份报告,里面标红了几句话,4% 说的是这其中的任意一句有大约 4% 的可能是人写的。这句的标红可能标错了,"大约 4%"就是这种事情发生的频率。它是按句子算的,不是按文档算的,两个数之间没法互相换算。

Turnitin 首席产品官 Annie Chechitelli 在 2023 年 6 月是这么说的:

"Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content."(我们的句子级误报率约为 4%。这意味着,某个被标为 AI 写的句子有 4% 的可能是人写的。这种情况在人和 AI 混合写作的文档中更常见,尤其是人写和 AI 写的交界处。)

4% 是绑在那一句已经被标红的句子上的。它告诉你的是单条标记本身的可信度,不是整篇文档一共会出多少条标记。

文档级那个低于 1% 的数

Turnitin 还公布了另一个更低的文档级数字:

"Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing."(我们的文档级误报率——即在文档层面将完全由人写的文本错误标记为 AI 生成——在含有 20% 或以上 AI 写作的文档中低于 1%。)

有两点要注意。这个率说的是整篇文档被错误标记为含有 AI 文本,前提是原文全部是人写的。另外,<1% 这个数字自带一个限定条件:只针对含有 20% 或以上 AI 写作的文档,也就是说确实有 AI 文本的混合文档。

全自己写的论文,哪个数都套不上

这里是最容易搞错的地方,所以值得说清楚:两个公开数字的适用范围都不包括完全自己写的论文。

4% 的原文描述的是混合文档的特征,说的是"尤其是在人写和 AI 写的交界处"。一篇没有 AI 文本的论文不存在这种交界,所以 Turnitin 给 4% 设的场景跟你的情况对不上。

<1% 也不会覆盖你。再看一遍它的原文:在含有 20% 或以上 AI 写作的文档中低于 1%。这个数带了条件,而一篇完全没有 AI 写作的文档不满足这个条件。

两个数各有各的适用范围,完全人写的论文两个都不沾。这件事值得先弄清楚,免得有人拿其中一个数来给你下结论。

误报集中在哪里

Turnitin 给了一个具体数字,说这些标错的句子出现在什么位置:

"As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing."(正如我在之前的文章中解释的,这些句子与它们在文档中跟真实 AI 写作的距离之间存在相关性。54% 的情况下,这些句子紧挨着真实的 AI 写作。)

"这些句子"指的是误报的句子——人写的却被标红了。其中超过一半紧挨着真正的 AI 文本。这跟前面说的"人和 AI 写作交界处是误报集中地"能对上。

所以这个统计对你其实是反过来用的。如果标红散落在一篇通篇没有 AI 文本的论文里,那 Turnitin 在这里描述的机制就不是产生它们的原因。它讲的只是自家的句子级错误在混合文档里集中在哪,仅此而已。

Turnitin 自己说该怎么看标红

同一篇博客把话说得很直:标红是一个起点,不是一个结论——而且这话是说给老师听的,那正是你希望看到它的人:

"Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion."(把被标红的句子当作值得关注的区域,因为预测它们靠近 AI 写作所在的位置。但在少数情况下,AI 模型可能弄错。所以,用这些信息来发起对话,而不是下结论。)

它还否掉了学生最容易自己脑补出来的那个前提:并不存在一个你该去凑的数。

"Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score."(记住,AI 写作指标没有所谓的"正确"或"目标"分数,就像相似度分数一样。)

报告上只有两句被标红,你能做的事

上面这些并不能告诉你有没有麻烦——没有任何一个公开数字能。它们能给你的是另一样东西:把这场对话拉回到报告本身,而不是停在一个百分比上。

  • 问清楚是哪几段,并且要报告本身,不要截图。 两句标红和一个文档级数字是两样东西。标红是唯一带位置、你能指着说的那部分。
  • 问清楚对方引的是哪个数,然后把它的限定条件念出来。 「低于 1%」那句里自带「针对含有 20% 或以上 AI 写作的文档」。如果这个条件不描述你的论文,就把这一点说出来。
  • 把 Turnitin 自己的那句话带上。 它告诉老师:标红是用来开启一次对话的,不是用来下结论的。这句话本来就是说给拿着你报告的那个人听的,上面已经逐字引了。
  • 留好能显示论文是怎么写出来的东西——草稿、版本历史、笔记、你读过的材料。那是关于作者身份的证据,百分比不是。

继续阅读