改写后 Turnitin 相似度下降,AI 率却升高了?

改写是降低 Turnitin 相似度最常用的方法。不少同学发现,改写之后相似度确实下降了,但 AI 写作检测分数反而升高了。这不是系统出错。两个分数衡量的是完全不同的东西,为其中一个做的修改,可能让另一个往反方向走。

HumanPen 团队

· 6 分钟

简短回答:两个分数,两套系统,互不影响

相似度分数和 AI 写作检测分数是两个独立的指标,彼此之间没有影响机制。Turnitin 在官方文档中说得很明确:"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."(相似度分数与 AI 写作检测百分比完全独立,互不影响。)

这意味着当你通过改写文本来降低相似度时,并没有任何机制会同时把 AI 分数也拉下来。两个数字可以朝相反方向变化,而且经常如此。改写改变了文档中的用词,这能减少相似度数据库中的字符串匹配。但同样的改动也可能改变词汇概率模式,让 AI 检测器更容易标记这段文本。最终结果就是很多同学遇到的情况:相似度降了,AI 率反而上来了。

两套系统各自在看什么

要理解这种现象,我们需要看看两套系统分别衡量什么。相似度报告会将你提交的文本与现有内容数据库进行比对。Turnitin 的说明是:"The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking."(相似度分数表示的是:把提交的文档与 Turnitin 用于查重的庞大内容库比对之后,文档中匹配文本所占的百分比。) 改写能减少这些匹配,因为你改变了系统搜索的字符串。

AI 写作检测器做的事情有本质区别。它不搜索匹配文本,而是分析你用词的统计模式。Turnitin 对这个过程的描述是:"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."(当论文提交至 Turnitin 时,系统会从提交内容中提取句子,并切分成重叠的区段用于预测分析。每个区段由 AI 检测模型分类,并给出一个 0 到 1 之间的值,表示这段文本可能是人类撰写还是 AI 生成的概率。这些区段内每个合格句子都继承所在区段的分数。由于区段相互重叠,有些句子会拿到多个分数,随后被汇集成一个分数。这些句子分数再进一步聚合,用于算出整篇文档的 AI 写作总分。)

相似度系统找的是已经存在于别处的字符串。AI 系统看的是选词概率模式。改写改变了字符串(有利于相似度),但也改变了概率模式(可能不利于 AI 分数)。这是两个不同的目标,命中一个不代表命中另一个。

讽刺之处:没有新观点的改写是已知的误判触发因素

这里的情况变得特别让人头疼。Turnitin 的官方文档明确把改写列为可能产生误判的文本特征之一。完整表述是:"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(有时误判(把人类撰写的文本错误地标记为 AI 生成)可能包括结构变化不多的内容、字面上自我重复的文本,或经过改写但未发展出新观点的文本。)

Turnitin 随后给出的建议是:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(如果我们的指标在这类文本上显示出较高的 AI 写作占比,我们建议你在看这个百分比时把这一点考虑进去。)

这就是问题的核心。当你为了降相似度去做改写时,这一遍通常停留在页面上已有的观点之内。这恰好符合 Turnitin 所说的"paraphrased without developing new ideas"(经过改写但未发展出新观点)的文本特征。你没有加入新的分析、新的论点或新的证据。观点不变,结构往往也相似,于是文本就落入了一个被 AI 检测器认为更像机器生成的特征区间。这就是改写后 AI 率可能升高的原因。你为了避开相似度匹配所做的改动,可能让文本在检测模型看来在统计上更像 AI 输出,而不是更不像。为什么改写降重之后 Turnitin 的 AI 率反而升高了是从另一头讲同一套机制。

词汇概率:为什么一次改写可能把分数推向反方向

一个常见问题是,AI 检测器是否在测量"困惑度"或"突发性"这类在讨论中常被提及的概念,这个问题我们单写过一篇:Turnitin 到底用不用 perplexity 和 burstiness 来判定 AI。Turnitin 对此有直接回应:"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions."(我们的模型并未被显式编程去评估突发性、困惑度这类特定信号,也不评估公开讨论中有时被提到的其他单项指标。) 紧接着的一句补充说明是:"Instead, it learns statistical patterns from our training data."(相反,它是从我们的训练数据里学出统计规律的。)

但这不代表词汇概率无关紧要。同一份文档随后给出了一个关键的澄清:"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."(我们的分类器被训练来识别词概率上的这些差异,并且擅长辨认人类写作者特有的词概率序列。)

这两段话合在一起说明了什么?模型没有把困惑度当作一个命名指标来计算,但它确实是在词汇概率模式上训练出来的。当一次改写在每个位置都落在最显而易见的选项上,选中的可能就是那个位置上统计上最容易预测的词。如果原来的用词比较特殊,替换后变成了最常见的用词,词汇概率模式就变得更可预测了,而不是更不可预测。对于一个在词汇概率上训练的分类器来说,更可预测的序列看起来可能更像 AI 生成的文本。这就是这个悖论背后的机制。改写让文本与已有来源的相似度降低,但其中具体的用词选择可能让文本在统计上变得更可预测,而这恰恰不是降低 AI 分数所需要的方向。

实际操作中意味着什么

实际层面的结论是:降相似度和降 AI 分数是两个不同的目标。它们需要对文本做不同的改动,而帮助其中一个的改动可能损害另一个。仅靠改写,尤其是停留在页面上已有观点之内的改写,是一类能降低相似度却又可能拉高 AI 分数的方法。降 AI 工具和改述工具到底差在哪,差的也正是这一点。

这并不意味着没法处理。它意味着两个问题需要被理解为独立的。相似度报告看的是你的字符串是否匹配已有内容,AI 报告看的是你的词汇概率模式是否像机器生成的文本。试图用同一次编辑同时解决两个问题,尤其是停留在页面上已有观点之内的那一遍,正是冲突产生的地方。如果你在为降相似度而改写后发现 AI 率上升了,原因大概率不是系统故障或某种惩罚。原因是改写以 AI 检测器解读为更可预测的方式改变了你的文本,同时这些文本也符合"paraphrased without developing new ideas"(经过改写但未发展出新观点)的误判特征。

行动总结

以下是本文的要点:

  1. 相似度分数和 AI 分数是独立指标,降低一个不会降低另一个。
  2. 相似度系统搜索匹配字符串,AI 系统分析词汇概率模式,这是不同的信号。
  3. "Paraphrased without developing new ideas"(经过改写但未发展出新观点)被 Turnitin 明确列为误判触发因素,判据是有没有产生新的分析,而不是句子由哪些编辑动作改出来。
  4. AI 模型没有把突发性和困惑度当作命名指标来编程,但它是在词汇概率上训练的。每个位置都落在最可预测的选项上,会让文本看起来更像机器生成。
  5. 降相似度和降 AI 分数是两个不同的目标,仅靠改写可能帮一个、害一个。

符合条件时可以免费继续降 AI,你有迭代空间——导入那份 Turnitin 报告就是为了这个。关键是把两个分数当作需要不同应对方式的独立问题来处理。

继续阅读