老师应该怎么用 Turnitin 的 AI 分数?

Turnitin 的 AI 分数很容易被过度解读。百分比看起来像个测量结果,但 Turnitin 自己的文档告诉老师:把它当作众多数据点里的一个——不能作为行动的唯一依据,不能作为判定分数的标准。这篇文章把官方指引排在一起——这个数字是干什么用的、哪些文本模式容易误报、以及怎么把这个分数和你对学生的了解放在一起权衡。

HumanPen 团队

· 4 分钟

官方怎么说

Turnitin 在不止一个地方说过这件事。在它的 AI 写作检测 FAQ 里:"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors."(因此我们必须强调,AI 写作指标上的这个百分比,不应被教师当作采取行动的唯一依据,也不应当作打分的最终尺度。)

另一份官方页面用不同的话说了同一件事:模型"may not always be accurate"(未必总是准确),所以它"should not be used as the sole basis for adverse actions against a student"(不应被当作对学生采取不利处理的唯一依据),而要判定学术不端"takes further scrutiny and human judgment"(需要进一步的审查和人的判断)。

Turnitin 自己的材料里,这条信息是一致的:数字不是决定。决定权在老师手里,而厂商还单独写过AI 比例偏高时,厂商是怎么教老师处理的。

分数不是孤立答案

Turnitin 关于如何审阅报告的指引说得很直接:AI 分数"is not meant to provide definitive answers in isolation"(并不是要孤立地给出定论)。

同一页解释了原因:"More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."(比任何工具更重要的是看到这个分数的教育者——他会把这条信息,与自己对学生、对其作业以及对学校政策的了解放在一起权衡,然后作出决定。)

结尾还给了预期用法:"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended."(当教育者把 AI 写作分数当作一个数据点、而不是当作定论来使用时,它才是按预期在用。) 这一句就是怎么读分数的完整说明书。

哪些文本容易被误判

Turnitin 还列出了容易误判——把人工写的文字当成 AI——的文本类型:"content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(结构变化不多的内容、字面上自我重复的文本,或经过改写但未发展出新观点的文本。)

后面那句才是要记住的:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(如果我们的指标在这类文本上显示出较高的 AI 写作占比,我们建议你在看这个百分比时把这一点考虑进去。)

落到实践里:结构平淡、重复自己的措辞、或者改写材料却没有产生新想法的学生作文,可能带着更高的分数,而文本其实不是 AI 生成的。Turnitin 自己就建议对这类分数打折看待。这也是为什么改写降重之后 Turnitin 的 AI 率反而升高了。

怎么用这个分数

从官方的基线出发:这个分数"should not be used as the sole basis for action"(不应被当作采取行动的唯一依据)。仅凭一个百分比不是不端行为的证据。

Turnitin 自己的表述是:文本越多预测越可靠,短文档是最弱的情况。它的 FAQ 提到,只有几百词的文档里"the prediction will be mostly 'all or nothing'"(预测结果基本上会是全有或全无)。所以在短提交上,对这个数字要格外谨慎。

分数看起来高的时候,看文本而不是只看数字:行文是不是平淡、重复、或者只改写没新意?如果是,那正是 Turnitin 说要区别对待的模式;三项里的第一项,见文章结构如何影响 Turnitin AI 分。分数看起来低的时候,记住 1% 到 19% 的区间显示为星号而不是数字(Turnitin AI 率上的星号(*%)是什么意思)——没有百分比意味着没有强信号,而不是一张"完全健康"的证明。

对学生而言意味着什么

对学生来说,实际的收获是:一个分数伴随的是老师的判断,而不是判决。Turnitin 的发布说明重复了同样的话:AI 写作分数"should not be used as the sole basis for adverse actions against a student"(不应被当作对学生采取不利处理的唯一依据)。

如果你的老师提到了分数,有建设性的对话应该围绕写作本身——结构、重复、没有新意的改写——因为这些正是 Turnitin 点名容易误报的特征。分数是"过来看看"的信号,不是"已经发生了不端行为"的陈述。学生那一侧要准备什么,见被标记了,但确实是你自己写的:怎么准备申辩。

继续阅读