Turnitin 能检测 Mistral 生成的文本吗?文档怎么说的
Mistral 在 Turnitin 的可检测模型列表上。但"检测到"不是一个简单的有或没有的标记。以下是文档关于系统如何处理你的文本、可能漏掉什么、以及模型更新后会发生什么的实际说明。
HumanPen 团队
· 12 分钟
Mistral 出现在公布的模型列表中
Turnitin 公布了一份可检测模型列表,其 AI 写作检测模型可以识别这些模型的输出。列表包括 GPT、Gemini、Claude、LLaMA、Mistral、Deepseek、Nova、Grok、o1-mini,以及基于这些 LLM 的工具。LLaMA 紧挨着 Mistral,两者同为开放权重,Turnitin 能检测 LLaMA 吗读的是同一份列表。原文措辞直接:Turnitin's AI writing detection model for English submissions can detect content from these models.
文档还指出:"We will continue to expand our detection capabilities to other models in the future." 也就是说,列表不是固定的。随着新模型发布和检测系统的更新,这个列表会继续扩展。
对于 Mistral 来说,"Turnitin 能检测吗"这个问题的答案是:可以,它在列表上。但"检测"在实际中意味着什么,需要更细致的解释。
检测实际是怎么运作的
了解提交文档时发生了什么,有助于解释为什么结果会呈现出我们看到的样子。以下是 Turnitin 描述的机制:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."
系统不会扫描某个单一特征。它把文本分段,对每段进行 AI 概率评分,合并重叠句子的分数,最后汇总成一个文档级别的百分比。
文档也明确说明了模型不做什么。它不依赖 burstiness 或 perplexity 这类命名指标,这句否认我们在Turnitin 到底用不用 perplexity 和 burstiness 来判定 AI里拆过:"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." 模型从训练数据中学习统计模式。分类器被训练来检测词概率差异,并擅长识别人类作者的特定词概率序列。
这意味着检测是概率性的,不是确定性的。分数反映模型对文本是否类似 AI 生成模式的置信度,不是非黑即白的判断。
检测器可能漏掉什么
在可检测列表上,不代表每一句 AI 生成的文本都会被捕获。Turnitin 优先保持低误报率,这种权衡在另一面是有代价的:
"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."
所以,一篇包含 Mistral 生成文本的文档拿到的分数可能低于实际 AI 内容比例。检测器可能识别出 50% 是 AI 写的,但实际上接近 65%。这是设计选择:系统倾向于不标记人类文本,这意味着一些 AI 文本会通过而不被标记。
如果你想知道为什么一篇已知包含 AI 内容的文档得分低于预期,这个差距就是原因。这个 1% 目标背后的算术,见1% 的误判率意味着什么。
检测能力会随时间变化
今天检测 Mistral 文本的模型,不一定是下个月还在运行的同一个模型。Turnitin 的文档承认了这一点:
"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed."
两个实际要点。第一,同一篇文档在模型更新后重新提交可能会得到不同分数,所以比较两份报告比比较两个分数更有用。第二,文档一旦被处理,报告的分数就固定了,除非重新走一遍系统。如果你在跨时间比较分数,差异可能反映的是模型更新,而不是文档本身的变化。
"检测到 Mistral"在实际中意味着什么
Mistral 是一个模型系列,不是单一固定产品。基于 Mistral 模型构建的工具或微调版本也属于 Turnitin 说的"tools based on these LLMs"范围。检测模型不会在报告里点名 Mistral。它基于统计模式生成一个文档级别的 AI 写作分数,不会按具体模型拆分。
这意味着报告不会显示"30% Mistral,10% GPT"。它只会显示一个整体分数,比如"40% AI 生成"。模型列表告诉你检测器被训练来识别哪些模型家族,不会告诉你哪个段落是哪个具体模型生成的。报告上究竟写了什么,见怎么读一份 Turnitin AI 检测报告。
这对你意味着什么
如果你在使用 Mistral 生成的文本,需要了解 Turnitin 会如何处理它,以下是总结:
- Mistral 确实可被检测。 它在公布的模型列表上,基于 Mistral 的工具也在覆盖范围内。
- 检测是概率性的。 系统分段评分再汇总成一个百分比,不使用 burstiness 或 perplexity。
- 部分 AI 文本会被漏掉。 为了将 AI 写作超过 20% 的文档的误报率控制在 1% 以下,检测器可能低估实际 AI 内容比例。
- 分数会变化。 模型更新后重新提交,分数可能不同。之前提交的分数在重新处理前保持不变。
- 没有模型级别的拆分。 报告显示整体 AI 百分比,不按模型归因。
符合条件时可以免费继续降 AI。
继续阅读