用 Turnitin 降重后 AI 率反而升高了?原因在这里
改写是降低 Turnitin 相似度最常用的方法。不少同学发现,改写之后相似度确实下降了,但 AI 写作检测分数反而升高了。这不是系统出错。两个分数衡量的是完全不同的东西,为其中一个做的修改,可能让另一个往反方向走。
HumanPen 团队
· 10 分钟
简短回答:两个分数,两套系统,互不影响
相似度分数和 AI 写作检测分数是两个独立的指标,彼此之间没有影响机制。Turnitin 在官方文档中说得很明确:"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."
这意味着当你通过改写文本来降低相似度时,并没有任何机制会同时把 AI 分数也拉下来。两个数字可以朝相反方向变化,而且经常如此。改写改变了文档中的用词,这能减少相似度数据库中的字符串匹配。但同样的改动也可能改变词汇概率模式,让 AI 检测器更容易标记这段文本。最终结果就是很多同学遇到的情况:相似度降了,AI 率反而上来了。
两套系统各自在看什么
要理解这种现象,我们需要看看两套系统分别衡量什么。相似度报告会将你提交的文本与现有内容数据库进行比对。Turnitin 的说明是:"The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking." 改写能减少这些匹配,因为你改变了系统搜索的字符串。
AI 写作检测器做的事情有本质区别。它不搜索匹配文本,而是分析你用词的统计模式。Turnitin 对这个过程的描述是:"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."
相似度系统找的是已经存在于别处的字符串。AI 系统看的是选词概率模式。改写改变了字符串(有利于相似度),但也改变了概率模式(可能不利于 AI 分数)。这是两个不同的目标,命中一个不代表命中另一个。
讽刺之处:没有新观点的改写是已知的误判触发因素
这里的情况变得特别让人头疼。Turnitin 的官方文档明确把改写列为可能产生误判的文本特征之一。完整表述是:"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."
Turnitin 随后给出的建议是:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."
这就是问题的核心。当你为了降相似度去做改写时,最常见的做法是替换同义词、调整句子结构。这种做法恰好符合 Turnitin 所说的"paraphrased without developing new ideas"的文本特征。你没有加入新的分析、新的论点或新的证据,只是把词换成意思相近的词。观点不变,结构往往也相似,于是文本就落入了一个被 AI 检测器认为更像机器生成的特征区间。这就是改写后 AI 率可能升高的原因。你为了避开相似度匹配所做的改动,可能让文本在检测模型看来在统计上更像 AI 输出,而不是更不像。
词汇概率:为什么换同义词会适得其反
一个常见问题是,AI 检测器是否在测量"困惑度"或"突发性"这类在讨论中常被提及的概念。Turnitin 对此有直接回应:"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." 紧接着的一句补充说明是:"Instead, it learns statistical patterns from our training data."
但这不代表词汇概率无关紧要。同一份文档随后给出了一个关键的澄清:"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."
这两段话合在一起说明了什么?模型没有把困惑度当作一个命名指标来计算,但它确实是在词汇概率模式上训练出来的。当你改写时为每个词选择最显而易见的同义词,你选的可能是那个位置上统计上最容易预测的词。如果原来的用词比较特殊,替换后变成了最常见的用词,词汇概率模式就变得更可预测了,而不是更不可预测。对于一个在词汇概率上训练的分类器来说,更可预测的序列看起来可能更像 AI 生成的文本。这就是这个悖论背后的机制。改写让文本与已有来源的相似度降低,但其中具体的用词选择可能让文本在统计上变得更可预测,而这恰恰不是降低 AI 分数所需要的方向。
实际操作中意味着什么
实际层面的结论是:降相似度和降 AI 分数是两个不同的目标。它们需要对文本做不同的改动,而帮助其中一个的改动可能损害另一个。仅靠改写,尤其是停留在页面上已有观点之内的改写,是一类能降低相似度却又可能拉高 AI 分数的方法。
这并不意味着没法处理。它意味着两个问题需要被理解为独立的。相似度报告看的是你的字符串是否匹配已有内容,AI 报告看的是你的词汇概率模式是否像机器生成的文本。试图用同一次编辑同时解决两个问题,尤其是只做换词的改写,正是冲突产生的地方。如果你在为降相似度而改写后发现 AI 率上升了,原因大概率不是系统故障或某种惩罚。原因是改写以 AI 检测器解读为更可预测的方式改变了你的文本,同时这些文本也符合"paraphrased without developing new ideas"的误判特征。
行动总结
以下是本文的要点:
- 相似度分数和 AI 分数是独立指标,降低一个不会降低另一个。
- 相似度系统搜索匹配字符串,AI 系统分析词汇概率模式,这是不同的信号。
- "Paraphrased without developing new ideas"被 Turnitin 明确列为误判触发因素,判据是有没有产生新的分析,而不是句子由哪些编辑动作改出来。
- AI 模型没有把突发性和困惑度当作命名指标来编程,但它是在词汇概率上训练的。选择可预测的同义词会让文本看起来更像机器生成。
- 降相似度和降 AI 分数是两个不同的目标,仅靠改写可能帮一个、害一个。
符合条件时可以免费继续降 AI,你有迭代空间。关键是把两个分数当作需要不同应对方式的独立问题来处理。
继续阅读