为什么用指令降 AI 率不靠谱
搜索"降 AI 指令"的前提是:找到正确的指令就能改变检测器读到的统计特征。但指令是被 AI 模型处理的,模型产出的文本自带词概率模式。Turnitin 的 FAQ 说它能检测被 paraphraser 和 bypasser 工具修改过的文本。机制解释了为什么光靠指令不是可靠方案。
HumanPen 团队
· 11 分钟
简短回答
指令是一段被 AI 模型处理的文本。当你让 AI"改得更像人写的"或"增加 burstiness 和 perplexity"时,模型根据这个指令生成新文本。新文本仍然有词概率模式,而这些模式正是 Turnitin 分类器读的东西。检测器看不到你的指令,它只看到输出。输出是否得分更低取决于输出的词概率特征和模型训练时学到的 AI 生成文本模式有多大差异,而你无法通过写更好的指令来控制这一点。模型决定选词,而模型的选词正是检测器被训练来识别的。
检测器看到什么
Turnitin 的 FAQ 描述了这个过程:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."
检测器读的是你文本中词序列的统计特征。它看不到你用的指令。它不知道文本是被生成的、改写的还是人编辑的。它只看到最终的词序列并做分类。
为什么"调 burstiness"不是杠杆
一类常见的指令是让 AI"增加 burstiness"或"变化 perplexity"。Turnitin 的 FAQ 说:
"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions."
下一句:"Instead, it learns statistical patterns from our training data."
同一页还有:"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."
模型不去计算一个叫 burstiness 的数字然后跟阈值比对。所以让 AI"增加 burstiness"是在要求它调整一个检测器可能根本不以你以为的方式测量的东西。检测器测量的是从训练数据中学到的词概率模式。一个"有更多 burstiness"的 AI 生成文本是否真的把那些模式往有利方向推了,不是你读一遍输出就能验证的。Turnitin 到底用不用 perplexity 和 burstiness 来判定 AI是这个问题的长版本。
AI 改 AI 产出可检测文本
还有一个更根本的问题。如果你用 AI 改写被判为 AI 生成的文本,你产出的是被 AI 工具修改过的文本。Turnitin 的 FAQ 说:
"Furthermore, it can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection."
检测器不只找原始 AI 生成文本。它还找被 paraphraser 或 bypasser 工具处理过的文本。当你写指令让一个 AI 改写另一个 AI 的输出时,结果在功能上就是 paraphraser 产出。检测器被训练来识别这类文本。这个结果我们单写过:已经用另一个 AI 改写过了,为什么 Turnitin 还是标红。
改写什么时候适得其反
Turnitin 的 FAQ 还列出了容易误判的文本特征:
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."
下一句:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."
第三条值得注意。"Paraphrased without developing new ideas"描述的是 AI 挪词不加实质地改写的情况。检测器看到的是结构均匀、和机器改写相似的词模式。所以一个只换表面措辞但保留相同结构的 AI 改写,可能让文本更接近误判特征而不是远离它。换成手工做是什么样,见不用工具手工降 AI 率:哪些改动真的动到了统计特征。
什么才能改变分数
总结一下我们讲的内容:
- 指令被 AI 模型处理,模型产出自带词概率模式的文本。检测器看到的是输出不是指令。
- 模型不计算 burstiness 或 perplexity 作为具名指标,所以让 AI"调整"它们未必影响检测器读到的东西。
- Turnitin 主动检测被 paraphraser 和 bypasser 工具修改的文本,而这正是 AI 改 AI 产出的东西。
- 只挪词不加实质的改写可能让文本更接近误判特征。
- 能改变分数的是改变被标记段落的词概率特征,不是写更好的指令。
如果你有 Turnitin 报告显示哪些段落被标记了,可以导入报告专门处理那些段落。符合条件时可以免费继续降 AI。
继续阅读