Turnitin AI 率上的星号(*%)是什么意思?
星号意味着检测器在 1% 到 19% 之间检出了 AI,而报告不给你数字,也不给你高亮。原因是误报风险,而后果是:大多数人的分数刚好落在报告最不愿意给你看的那一段。
HumanPen 团队
· 26 分钟
先说结论
星号意味着 Turnitin 的检测器在 1% 到 19% 之间检出了 AI,而报告不给你数字,也不给你高亮。Turnitin 自己给出的理由是:这一段的分数误报风险更高。所以报告既不是说「什么都没检出」,也不是说「零」。它在说:检出了东西,但不打算给你看。而这个后果对任何一个想读、想改这份报告的人来说都很具体——你要据以行动的两样东西,全没了。数字没了,被高亮的段落也没了。
这条规则,Turnitin 原文怎么写的
以下是 Turnitin AI 写作检测能力 FAQ 里的完整回答:
「To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.」(为避免误判,1% 到 19% 这一档不给分数、也不给高亮;检出低于 20% 阈值时,报告用一个星号标注,不给出百分比。)
这句话里装了三件事,第二件通常会被跳过。
第一,星号不是零的替身。它覆盖的是 1% 到 19% 的全部区间。一份显示星号的报告,背后有一个非零的结果,只是报告决定不把那个数给你看。
第二,原因是误报。这条规则存在,是因为 Turnitin 认为这一段的分数更容易错——「错」在这里指的是把人写的文字标成 AI 写的。FAQ 在这句话之前两段就用「incorrectly flagging human-written text as AI-generated」(把人写的文字错误地标成 AI 生成)解释了误报是什么,而星号规则就是对这个风险的直接回应。
第三,门槛是 20%。二十以上,报告重新开始像个量具。二十以下,它像一个开关:零是一档,其余全是另一档。报告一共有四种显示状态,星号是其中之一,而且是唯一一种表示「检出了东西但不告诉你具体是什么」的状态。
这条规则拿走了什么
星号拿走两类信息,而第二类得到的关注远不如第一类。
数字没了,这部分所有人都看得到。1% 到 19% 之间本来那个百分比被换成了一颗星,而报告上没有任何办法能读出真实数字。
高亮也没了。二十及以上的报告会标出它认为是 AI 所写的段落,你可以翻过去逐段看。星号报告里没有任何可看的东西。没有段落被标出来,没有句子级的位置可循。报告有一个不给你看的结果,同时也不给你看这个结果落在哪。
把它顺到一次修改上看。假设前一版文档跑出来 17%,当前这一版跑出来 3%。两份报告都显示星号。同一个符号,同样没有高亮,屏幕上什么都一样。事情确实发生了,但界面没有报告它的词汇。谁跟你说一份当前报告「从 15% 降到了 4%」,他说出了报告没有显示的两个数字。那不是在读报告,那是在声称报告背后是什么。
这也是为什么比较两个星号不算比较。两份报告显示同一个符号,背后的数字可能不同,而两份报告都不会告诉你它们到底一不一样。要比较两个版本的文档,能比的是二十及以上的报告——数字和高亮都看得见。一份可读的比较长什么样,我们在怎么读一份 Turnitin AI 检测报告里走透过。
星号和「all or nothing」效应为什么挨在一起
星号规则管的是显示。模型还有一个特性,让星号背后那一段比分段里的数字本身更不可靠,而这个特性恰好落在同一条边界上。
FAQ 关于短文档的原话:
「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」(在只有几百词的短文档里,预测基本上是「全有或全无」的,因为我们只对单个片段做预测,没有重叠的机会。)
紧接着的一句:
「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」(这意味着,一些混合了 AI 生成与原创内容的文本,可能被整体判定为 AI 生成。)
所以一份混合内容的短文档,可能得到一个看上去像一回事的结果,而背后的实际情况是另一回事。如果这类文档上报告的分数是,比如说 14%,那么 14% 所概括的真实可能比 14% 这三个字复杂得多。星号把这个 14% 藏了起来,顺带也藏掉了「这个 14% 本身就是单个片段上的一次 all-or-nothing 预测」这个事实。
这些不是关于学术不端的陈述,是关于工具在它不愿显示的那一段里能告诉你什么、不能告诉你什么的陈述。对读者来说,后果是:一份短文档上的星号,是报告在「说了发生了什么」之后能给出的信息量最小的状态。而报告说的那一件事,是不带上下文的。
那个百分比本来是在什么上面算的
星号还藏了一样东西:它背后那个分母的大小,而那个分母比文件本身要窄。
Turnitin 说它只分析 qualifying text,FAQ 的定义是:
「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」(qualifying text 只包括散文句子,也就是说我们只分析以标准语法句子写成的内容块,不包括列表、项目符号等非句子结构及其他非句结构。)
紧接着的一句:
「This percentage is not necessarily the percentage of the entire submission.」(这个百分比未必是整份提交的百分比。)
所以一份大部分是列表、表格和参考文献的文档,被评估的部分本来就少。星号在这类文件上覆盖的分母,比你看上去的要窄。如果藏起来的数字是 8%,那 8% 是 qualifying prose 的 8%,而 qualifying prose 可能只占文件的一半。
这件事有两层后果。报告不给你看的那个百分比,不是你读一遍文档就能猜到的那个百分比。而报告不给你看的那批高亮,本来是你唯一能查清分母到底覆盖了什么的方式。没有高亮,星号背后的分母也是看不见的。你手里有一个符号,代表一个数字,那个数字是某个东西的几分之几,而那个东西你从外面量不出来。
把这一段藏起来,和模型本身的方向一致
星号规则是一条显示决定,但它坐落在一个更深的设计取舍之上,而那个取舍走的是同一个方向。Turnitin 对这个取舍的表述:
「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」(为了把误判率维持在 1% 这么低,我们有可能漏掉文档里的一部分 AI 文本。我们接受这一点,因为我们不想把人写的文字错标成 AI 写的。举例来说,如果我们判定一份文档有 50% 可能由 AI 写成,它实际可能含有多达 65% 的 AI 写作。)
把这段和星号规则放在一起读。模型被调成了偏少报而不是偏多报。显示规则则把少报和多报最难分辨的那一段拿出来,不给数字。这两者是同一个方向。一个宁可漏检 AI 也不愿误判人类文字的工具,也是一个宁可显示星号也不愿显示一个它站不住的 7% 的工具。
Turnitin 公布的误报率在范围上写得很具体。同一份 FAQ:
「We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing.」(我们致力于最大化检测器的有效性,同时对 AI 写作占比超过 20% 的文档,将误报率——把完全由人写的文本错判为 AI 生成——保持在 1% 以下。)
紧接着的一句:
「In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.」(换句话说,每 100 份完全由人写的文档里,我们可能把 1 份标成 AI 写的。)
第一句末尾的那个限定就是连着星号的那个。低于 1% 的目标,只对 AI 写作占比超过 20% 的文档给出。那个门槛以下,目标没给数字,而显示规则就是对此的回答:报告干脆不显示它站不住的分数。星号规则里的 20% 分界线和误报率目标里的 20% 分界线,是同一条线。
手上是星号报告,能做什么
星号是一个结果,它不空白,也不是数字,而且它不给你段落可查。这把能直接对它做的事收得很窄,但并没有把所有路都堵死。
- 不要把它当成零。 报告检出了东西。它藏起来的是数字,不是检出的存在。如果有人拿着一份星号报告来问你,问题是检出了什么,而不是有没有检出。
- 问报告的生成日期。 报告是按照生成时有效的规则跑出来的,一张没有日期的星号截图什么也不说明。其他报告状态也是同一个原则:报告是快照,不是实时读数。
- 问报告上还有什么。 Turnitin 写明 AI 检测指标和报告对学生不可见,教师要把 PDF 下载下来才能分享。星号只是报告里的一项,同页还包含相似度分数、文件信息、处理记录。看其余部分能不能帮你确认手里这份是不是当前报告、是哪种报告。
- 不要试图比较两个星号。 能比的是二十及以上、数字和高亮都看得见的报告。两个星号可能代表不同的底层分数,而两份报告都不会告诉你它们一不一样。
如果一份报告跑回来是 20% 及以上,那就是报告给你东西可用的那一段:有数字,有高亮段落。一次按报告走的改写会把那些高亮段落导入为作用范围,只改这些文字。改写完的文件拿去重查,新报告如果仍有片段被标出,那些片段可以免费重跑。低于 20% 就没有高亮可以导入了,问题也就不成立了。
以上没有一句是预测。Turnitin 从未说明某次编辑应当带来多少分值变化,而星号规则意味着 20% 以下谁也没法验证这类说法。一次按报告走的改写决定的是:哪些词会被动,哪些词会原封不动。
常见问题
星号是不是说我的分数是零? 不是。星号覆盖的是 1% 到 19%。Turnitin 说「no score or highlights are attributed for AI detection scores in the 1% to 19% range」(1% 到 19% 这一档不给分数、不给高亮),并用星号标注。零是另一种状态,有它自己的指标。星号的意思是检出了东西,数字被藏起来了。
Turnitin 为什么显示星号而不是数字? 为了避免误判。Turnitin 的 FAQ 说「To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range」。这一段的误报风险更高,所以报告不把它显示出来。
我能从星号报告里读出真实数字吗? 不能。数和高亮在这一段都被藏起来了。一份显示星号的当前报告,没有任何办法能让你读出背后的数字。
两份都显示星号的报告能比较吗? 不能做有意义的比较。两个星号背后的分数可能不同,而两份报告都不会告诉你它们一不一样。能比的,是二十及以上、数字和高亮都看得见的报告。
星号是不是报告出错了? 不是。这是一条显示规则,不是错误。灰色双破折号表示文件无法处理,感叹号表示处理失败。星号表示处理成功且检出了东西,只是结果被藏起来了。
20% 是星号的上界吗? 是。20% 及以上报告显示数字和高亮段落。20% 以下,报告唯一会显示的精确数字是 0%。1% 到 19% 全是星号。20% 这条线意味着什么,我们在20% 的 AI 率算高吗里拆过。
继续阅读