删字数会改变 Turnitin 的 AI 百分比吗?官方文档怎么说
要把论文压到字数上限以内,又担心 AI 百分比。Turnitin 的文档说了这个数拿什么当分母、删字会改变什么,也说明了它预测不了什么。
HumanPen 团队
· 5 分钟
先说结论
AI报告上那个数字不是你整篇论文的占比。它是Turnitin叫做"qualifying text"(合格文本)的那部分内容占整份提交的比值,不是全部上传内容的比值。删字会不会动这个数字,取决于你删的字属不属于那个子集。
The displayed percentage indicates the amount of qualifying text within the submission that Turnitin's AI writing detection model determines was generated by AI. (所显示的百分比表示提交内容中由Turnitin的AI写作检测模型判定为AI生成的合格文本的量。)
这句话来自Turnitin的AI writing detection capabilities常见问题页。抓住"qualifying text"这个词,百分比是针对这个池子算的,不是针对全部上传内容。所以你为了压字数删掉一段之前,得先搞清楚什么算合格文本、什么不算。
这个百分比,分母是什么
Turnitin在同一页上给了"qualifying text"的定义,这个定义比你第一次看报告时以为的窄。
This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (合格文本仅包含散文句,即我们只分析以标准语法句子书写的文本块,不包括列表、项目符号(短的非句子结构)或其他非句子结构类型的写作。)
分母就是散文句。不是散文句的内容,检测器根本不看。想看更详细的分类,见Turnitin里的合格文本是什么。根据上面的定义,简版如下:
- 散文句(标准语法句子):算作合格文本
- 列表和项目符号:排除,原文称"short non-sentence structures"
- 其他非句子结构:同样排除
删什么会动分母,删什么不会
到这里就实用了。分母只有散文,所以删论文的不同部分,对百分比的基数影响不一样。
- 删散文句:分母变了
- 删列表、项目符号:分母不变,上面那段定义把它们点名排除了
- 删表格:要看表格里装的是什么。Turnitin 在 2023 年 8 月的发布说明里写着 "We are now able to process long-form prose text in tables."(我们现在能够处理表格中的长篇散文文本。)表格里的短条目不是散文句,但塞在单元格里的一整段就是
文档到这里帮不上忙了。Turnitin没说删掉散文会让百分比升高、降低还是不动。结果取决于你删的是被标红的还是没被标红的,而你事先不知道哪句被标红,除非手上已经有报告。就算有报告,高亮显示的是模型在当前版本标了什么,不是你改完之后它要标什么。文档能让你说清楚的是分母什么时候动、什么时候不动;它没法告诉你分母动了之后数字往哪个方向走。
越删越短之后
删得多了还有第二个问题。Turnitin的FAQ页面承认短文档表现不一样。
In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (在只有几百词的较短文档中,预测将主要是"全有或全无",因为我们是在单个分段上预测而没有重叠的机会。)
文档缩到几百词时,模型基本是对整段文本做一次判断,百分比从细颗粒度读数变成接近二值判定。这是我们从引文里推出来的,不是Turnitin的原话。引文原话是"all or nothing",原因是单个分段、没有重叠。
Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate. (结果显示我们的准确性随更多文本而提高,因此包含不到300词的提交可能导致可能不太准确的AI写作分数。)
Turnitin在2023年12月的一条发布说明里指出这一点,它不在FAQ页上,而在AI writing detection model页面。注意它说的是"less accurate"(不太准确),不是"更高"也不是"更低"。准确性说的是分数是否反映真实情况,不是说数字往哪边动。一个不太准确的分数可能偏高也可能偏低,文档两个方向都没说。对你来说意思是:压到字数上限和让读数留在可信范围里,可能是两个互相冲突的目标。想了解短论文为什么经常出现极端读数,见为什么Turnitin把短论文标为100%AI。
有字数上限时该怎么做
你需要压字数又在意AI百分比时,能做的事情:
- 如果你已经有报告,先看哪些散文段被高亮再动手。被标红的和没被标红的散文对百分比影响不同,删之前要知道哪段是哪段。
- 先砍列表和项目符号。这两样被点名排除了,砍掉能减字数而不碰分母。表格不能想当然:动手前先看单元格里是短条目还是成段的散文。
- 留意篇幅。Turnitin的FAQ说,只有几百词的文档,预测主要是"全有或全无";它的发布说明也说,文字多一点,准确性会提高。
- 整份提交已经不到300词的话,对这个百分比保持怀疑。Turnitin自己说这个长度的分数可能不太准确,这是读数可不可信的问题,不是说数字会往哪个方向变。
这些没有一条告诉你删完百分比会降。分母可能变,准确性也可能变,方向文档不预测。想在散文本身上想办法而不只是砍周围内容,不破坏引用压低AI分数单独讲了这件事。HumanPen的精简功能按你设定的目标词数压掉冗词,可以对整份 .docx,也可以只对你选中的段落,返回的仍是可编辑文件。它不承诺任何AI分数结果——原因正是本文讲的那些,谁都承诺不了。
继续阅读