官方通道:怎样向 Turnitin 上报一次误判
大多数文章只讲如何向教授申诉。Turnitin 本身也邀请直接反馈,但几乎没人提到这一点。
HumanPen 团队
· 13 分钟
大多数人错过的反馈渠道
大多数关于 Turnitin 假阳性的建议集中在一条路径上:向教授申诉,然后升级到院系或学术诚信办公室。这条路径解决的是你的成绩。但还有第二条路径,几乎没有竞争对手文章提到,它直接通往 Turnitin 本身。
Turnitin 自己的文档中包含一个反馈渠道。他们明确表示:"If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further."
这是来自构建检测器的团队的直接邀请。他们请求两种反馈:漏检的 AI 文本(假阴性)和被标记为 AI 的人类文本(假阳性)。两个方向都很重要,因为两者都能改进模型。
我们强调这一点,因为实用建议几乎总是止步于机构层面。你向教授申诉,收集证据,陈述理由。但产生分数的系统也想听到你的声音。一个渠道关成绩,另一个关系统改进。
何时使用
反馈渠道适用于两种场景,Turnitin 在同一句话中描述了两者。第一种是真实学生作品被预测为 AI 生成。如果你的原创写作收到了你认为不正确的 AI 写作分数,那就是假阳性,Turnitin 希望知道。
第二种场景相反:检测器漏检的 AI 文本。如果你是教师,发现了 Turnitin 未标记的 AI 生成文本,该反馈也属于这个渠道。
你怎么知道自己的情况是否可能是假阳性?Turnitin 提供了关于容易触发假阳性的文本类型的指导:"Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." 如果被标记的文本符合这些描述之一,这个背景值得包含在反馈中。
Turnitin 还建议:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." 换言之,如果你的写作结构单一或大量依赖改写,分数可能被夸大,这正是适合向 Turnitin 报告的情况。
包含什么内容
向 Turnitin 报告假阳性时,具体细节有助于他们评估你的情况。我们建议包含以下要素。
第一,标识文本及其获得的分数。记录 Turnitin 给出的总体百分比,以及如果可能的话,哪些部分被标记。
第二,描述文本特征。如果你的写作符合 Turnitin 自己识别的假阳性模式之一,请说明。例如,如果被标记的部分是一篇文献综述,改写了多个来源但未引入新分析,注明它符合 Turnitin 自己的描述:"content without a lot of structural variation" 或 "text that has been paraphrased without developing new ideas."
第三,提供关于作业和写作过程的背景。文本是否经过大量编辑?你是否使用了可能标准化表达的语法检查工具?这些背景帮助 Turnitin 理解分类器为何可能误读你的文本。
第四,引用假阳性率目标。Turnitin 声明:"We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." 你不是在抱怨一个声称完美的系统,而是在为一个明确承认存在小但真实错误率的系统提供反馈。
1% 目标及其局限
Turnitin 的假阳性目标是具体的。他们针对 AI 写作占比超过 20% 的文档将假阳性率控制在 1% 以下,并用通俗语言解释:"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."
这意味着在 100 名全部提交原创作品的学生中,统计上有一人可能看到假阳性。目标很低,但不是零。Turnitin 对这个权衡很明确。为了将假阳性率保持在 1%,他们接受一些 AI 文本不会被检测到:"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document."
他们给出了一个具体例子:"If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." 报告的分数可能低估实际 AI 比例,这个差距是设计选择的结果。
这就是反馈渠道重要的原因。1% 的目标意味着假阳性会发生。系统被校准为偏向不标记人类文本,这意味着确实发生的假阳性是预期中的。报告它们帮助 Turnitin 评估校准是否有效,或者特定文本模式是否被系统性误分类。
更大的图景:不是唯一依据
反馈渠道存在于 Turnitin 强调的更大框架内。其文档声明:"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."
他们继续说:"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."
这是来自构建检测器的公司的直接声明。分数不是裁决。Turnitin 将其定位为一个信号,需要了解学生和背景的教育者来解读:"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."
预期用途很明确:"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended."
我们将反馈渠道视为这同一理念的一部分。如果分数是一个数据点,那么报告疑似假阳性就是确保该数据点被语境化并随时间改进的方式。向教授申诉解决眼前的情况,向 Turnitin 报告则为所有人的系统校准做贡献。两个步骤都重要,服务于不同目的。查看你的 Turnitin 报告。
继续阅读