困惑度与突发度讲清楚：哪些 AI 检测器真的在用

Perplexity 是词可预测性的度量。当语言模型阅读一个句子时，它根据前面的词为每个词分配一个概率。如果下一个词高度可预测，该位置的 perplexity 就低。如果下一个词出人意料，perplexity 就高。一段完整文本的 perplexity 本质上是整段文本中词选择的可预测性的平均值。

这样来理解。如果你写"The experiment showed a significant,"下一个词很可能是"result"或"difference"或"effect"。这些是高概率词。如果下一个词是"pineapple"，那是低概率的，该位置的 perplexity 会飙升。始终选择最预期词汇的文本总 perplexity 低。做出意外选择的文本 perplexity 较高。

AI 生成的文本倾向于低 perplexity，因为语言模型被设计为选择最可能的下一个词。它们优化上下文概率，这意味着词选择落入可预测的模式。人类写作则相反，经常包含不那么可预测的词选择、不寻常的动词、领域特定的名词，或语言模型不会选择的表达。这种差异是真实且可测量的。问题在于是否每个 AI 检测器都将 perplexity 作为其算法的一部分，答案是否定的。

Burstiness 是句子结构变化的度量。如果一个段落中每个句子的长度大致相同，语法结构相同，节奏相同，burstiness 就低。如果句子变化很大，一些短促有力，另一些冗长复杂带有从句，burstiness 就高。

人类写作的 burstiness 通常高于 AI 生成的文本。我们以突发方式写作。我们会把一个简短的陈述句与一个包含括号插入的长句混合在一起。我们想强调某点时会打破模式。AI 模型倾向于产生更均匀的句子结构，因为它们优化统计一致性。结果是文本读起来流畅但结构变化较少。

Burstiness 之所以被推广为检测指标，是因为它捕捉了人类和 AI 写作之间真实的差异。人类是不规则的，AI 模型是一致的。测量 burstiness 的检测器在看你的句子层面结构是否变化足够大以看起来像人类写的。与 perplexity 一样，burstiness 是有用的概念。也和 perplexity 一样，并非每个检测器都会计算它。

GPTZero 是最突出的公开使用 perplexity 和 burstiness 作为命名指标的检测器例子。他们的文档将 perplexity 描述为文本不可预测性的度量，将 burstiness 描述为句子层面变化的度量。GPTZero 算法计算这些指标并将其用于分类决策。如果你试图理解或优化 GPTZero 的行为，perplexity 和 burstiness 是直接相关的。

Turnitin 采取了不同的方法。他们的官方 FAQ 指出："Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." 下一句说："Instead, it learns statistical patterns from our training data." 这是对 Turnitin 不计算这两个指标的直接、明确的否定。

这个区别之所以重要，是因为两种工具有时会对同一段文本给出不同的分类。一段被设计成高 burstiness 和高 perplexity 的写作在 GPTZero 上（这些指标直接是算法的一部分）的得分可能与在 Turnitin 上（分类器从训练数据中学习模式，不计算任何一个指标）不同。说"增加你的 burstiness"或"降低你的 perplexity"的建议是为特定类型的检测器校准的，它对你面对 Turnitin 时可能有用也可能没用。

如果 Turnitin 不计算 perplexity 和 burstiness，它用什么？文档描述了一个从训练数据中学习统计模式，然后将这些模式应用到你的文本片段上的分类器。

Turnitin 指出："Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." 分类器不运行 perplexity 公式或 burstiness 公式。它应用训练期间内化的模式，这些模式涉及 word probability 但不能简化为单一命名分数。

同一 FAQ 页面确认了分类器关注的重点："Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." Word probability 是 Turnitin 分类器学习的核心，但模型通过学习的模式来处理它，而非显式的 perplexity 计算。

这个机制是基于 segment 的。Turnitin 描述道："When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." Segments 重叠，句子继承分数，多个分数被 pooled，最终聚合产生文档级百分比。这个流程不包含计算 perplexity 或 burstiness 的步骤。

Turnitin 还指出："As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." 模型的决策过程不是你可以通过追踪少数指标来逆向工程的。

实际启示很直接。如果你读到建议说"lower your perplexity to beat Turnitin"，那个建议基于对工具的误解。Turnitin 不计算 perplexity。关于 burstiness 和 perplexity 的技巧可能与 GPTZero 相关，但它们不对应 Turnitin 的机制。

问题在于 Turnitin 的分类器不将这些概念用作命名指标。它从训练数据中学习了统计模式，这些模式包含 word probability 信息，并将这些模式应用到你的文本上。你无法为分类器不计算的指标进行优化。你能做的是以反映真正人类创作的方式写作，在词选择和结构上有与 AI 模式不同的自然变化。

我们提供 free re-runs，你可以测试你的写作看看处于什么水平。Try it here.