Winston AI vs Turnitin AI 检测:为什么分数不一样
同学们有时在提交前用 Winston AI 检查论文。两个工具用不同模型产出不同分数。Turnitin 的 FAQ 描述了它的机制、误报目标和星号规则。以下是为什么跨工具比较行不通。
HumanPen 团队
· 11 分钟
简短回答
Winston AI 和 Turnitin 是不同的 AI 检测器,基于不同模型、不同训练数据和不同分类阈值。一个的分数不能预测另一个的。Turnitin 的 FAQ 描述了它的机制:文本被切成重叠片段,每个用 0 到 1 之间的概率分分类。FAQ 还声明对 AI 占比超过 20% 的文档误报率目标低于 1%,并对 1-19% 范围使用星号规则。Winston AI 发布自己的准确率声称,但那些是厂商自报的,无法对照 Turnitin 文档验证。重要的分数是你学校使用的工具的分数。如果你的学校用 Turnitin,任何第三方分数都不能告诉你 Turnitin 分数会是多少。
Turnitin 的检测器怎么工作
FAQ 描述检测过程:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."
片段重叠,意味着句子可以接收多个分数并汇总成文档级百分比。Winston AI 用自己的分类方法,在 Turnitin 资料中没有被记录。两个系统构建方式不同,评估文本的方式也不同。
Turnitin 的误报目标
FAQ 声明了一个具体目标:
"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."
下一句:"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."
这个目标专属于 Turnitin,适用于 AI 占比超过 20% 的文档。Winston AI 可能有不同的误报率,但比较两个数字需要理解每个厂商如何定义和衡量误报。我们不就第三方检测器做准确率声称。
星号规则
Turnitin 对低分有特定的显示规则:
"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."
Winston AI 不使用这个规则,会在此范围显示具体百分比。Turnitin 上显示"%"的论文可能在 Winston AI 上显示"14%"。这不意味着一个工具比另一个更准确。它们对低置信范围的处理方式不同。Turnitin 这一侧的细节在[Turnitin AI 率上的星号(%)是什么意思](/blog/what-does-the-asterisk-mean-on-turnitin-ai-score)。
短文档和全有或全无的预测
FAQ 描述了短文档的行为:
"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."
下一句:"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."
这是 Turnitin 切分方式特有的。Winston AI 在短文本上可能有也可能没有同样的行为。如果你在 Winston AI 上测试短摘录拿到 0%,那不能告诉你 Turnitin 会怎么做。这种行为的另一头就是Turnitin 报告显示 100% AI。
重要的分数
AI 分和相似度分在 Turnitin 上是独立的:"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." 一些检测器把 AI 和相似度合成一个数字,使得它们的分数在结构上无法和 Turnitin 分开的 AI 百分比比较。对你提交唯一重要的分数是你学校使用的工具产出的。为什么同一段文字在不同检测器上分数差很多讲的是这个落差为什么是结构性的。
这对你意味着什么
总结一下我们讲的内容:
- Winston AI 和 Turnitin 是不同的检测器,用不同模型。分数不会一致。
- Turnitin 的检测器把文本切成重叠片段并分配概率分。
- Turnitin 的误报率目标对 AI 占比超过 20% 的文档低于 1%。
- Turnitin 对 1-19% 的分数使用星号以避免夸大准确性。
- 短文档得到全有或全无的预测。
- 唯一重要的分数是你学校使用的工具产出的。
如果收到 Turnitin AI 报告并想处理被标记的段落,可以导入报告处理。符合条件时可以免费继续降 AI。
继续阅读