AI 辅助 vs AI 生成:Turnitin 如何区分对待

Turnitin 的 AI 检测模型评估的是最终提交的文本,不是它是怎么被生产出来的。这在 AI 辅助写作和 AI 生成写作之间形成了有意义的区分。Grammarly 这类工具的拼写和语法修正与生成式 AI 功能产出的文本被区别对待。以下是文档关于界限在哪里、分数能告诉你什么和不能告诉你什么的实际说明。

HumanPen 团队

· 15 分钟

模型看到的是成品

Turnitin 的 AI 检测不追踪你的写作过程。它不知道你是手写、口述还是在某个阶段用了工具。它评估的是你提交的文本。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."

模型从成品文档中提取句子,分段,然后对每段评分。它没有版本历史、编辑时间戳或工具使用记录,这恰恰是这份记录值得你自己留着的原因,见怎么证明没用 AI:Word 和 Google Docs 的版本历史。它只处理提交那一刻页面上的内容。

这意味着"我在帮助下写了这个"和"这是为我生成的"之间的区别,不是模型能直接观察到的。它根据最终输出的统计模式来分类文本。

分析范围也是具体的:"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." 以及 "This percentage is not necessarily the percentage of the entire submission."

Grammarly 的拼写和语法修正

很多学生用 Grammarly 或类似工具来修正拼写和语法。问题是这些修正是否会导致文本被标记为 AI 生成。Turnitin 的文档直接回应了这一点。

"Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector."

关键词是"in most cases"。检测器不是为了捕捉拼写和语法修正而设计的。在大多数情况下,人类写的文本再用 Grammarly 清理过,不会被标记。这适用于 Grammarly 的免费版和高级版,也适用于其他语法检查工具。用了 Grammarly,Turnitin 会把它判成 AI 写作吗把厂商措辞逐句读了一遍。

这不表示语法编辑过的文本对检测器不可见。它意味着检测器的设计目标不是识别这种特定类型的修改。成品散文仍然会被分析是否具有 AI 统计模式。但用 Grammarly 修拼写和语法这件事本身,在大多数情况下不会单独导致被标记。

Grammarly 的生成式功能不一样

文档在 Grammarly 的纠错功能和生成式功能之间划了一条清晰的界线。排除范围不涵盖生成式 AI 工具产出的内容。

"Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector."

所以有两个类别。一边是拼写、语法和标点修正。检测器不针对这些,在大多数情况下不会被标记。另一边是草稿生成、改写、总结和其他生成式功能。使用这些功能产出的内容 will likely be flagged as AI-generated。

这个区分很重要。如果你用 Grammarly 修错别字和调整语法,检测器不是为此设计的。如果你用 Grammarly 生成草稿、改写段落或总结来源,那个产出会被当作任何其他 AI 生成内容对待,will likely be flagged。

这条线基于功能产出什么,不是基于品牌。任何工具的生成式功能,不只是 Grammarly,都落在"will likely be flagged"那一边。任何工具的拼写或语法修正都落在"not tuned to target"那一边。落在哪一边也决定了你要不要为它做申报,见把文档过一遍改写工具,会改变你要申报的内容吗

人类文本也会被标记

即使完全没有涉及 AI,某些类型的人类散文也会触发误报。文档列出了需要关注的具体模式。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."

所以如果你的写作结构扁平、重复相同措辞,或者只是改写而没有发展新观点,模型可能把它标记为 AI 生成,即使它完全是人类写的。这与 AI 辅助的区分相关,因为一个自己写文本但大量改写的学生可能看到一个与使用工具无关的标记。同一效应的另一头,见已经用另一个 AI 改写过了,为什么 Turnitin 还是标红

分数不是唯一依据

Turnitin 的文档明确指出,AI 检测分数不应被当作学术不端的定罪证据。

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."

分数是一条信息。它需要进一步的审查和人类判断,在学校具体的学术政策框架下应用。模型可能在两个方向上出错:把人类文本标记为 AI,或完全漏掉 AI 文本。把百分比当作唯一依据,会忽视文档自己的指导。如果拿着这份标红报告的人是你,被标记了,但确实是你自己写的讲了怎么把这件事摆到老师面前。

这对你意味着什么

如果你想理解 Turnitin 如何对待 AI 辅助写作和 AI 生成写作,以下是总结:

  • 模型看到的是成品文本。 它不追踪你的写作过程。它对提交文档中的散文句子分段并评分。
  • 拼写和语法修正是不同的。 检测器不针对 Grammarly 式的拼写、语法和标点修正。在大多数情况下,这些不会被标记。
  • 生成式功能 will likely be flagged。 Grammarly 的草稿生成、改写、总结和其他生成式功能产出的内容被视为 AI 生成,will likely be flagged。
  • 误报会发生。 结构扁平、重复或改写的散文更容易被标记,即使没有涉及 AI。
  • 分数不是唯一依据。 文档说它不应被用作对学生采取不利行动的唯一依据。人类判断和机构政策适用。

符合条件时可以免费继续降 AI。

继续阅读