語数を削るとTurnitinのAIスコアは変わるのか

AIレポートの数値は、提出物全体に対するパーセンテージではない。それはTurnitinが「qualifying text,」（対象テキスト）と呼ぶもの、つまり提出物の一部であって全体ではないものに対するパーセンテージである。語を削ることでその数値が動くかどうかは、どの語を削るか、そしてそれがその部分に含まれるかどうかによる。

The displayed percentage indicates the amount of qualifying text within the submission that Turnitin's AI writing detection model determines was generated by AI.（表示されるパーセンテージは、提出物のうち、TurnitinのAI執筆検出モデルがAIによって生成されたと判定した「対象テキスト」の量を示す。）

この文は、TurnitinのAI執筆検出機能に関するFAQページからのものである。覚えておきたい表現は「qualifying text.」（対象テキスト）である。パーセンテージはその集合のうちの割合であって、アップロードしたすべてに対する割合ではない。したがって、字数制限内に収めるために段落を一つ削る前に、何が対象として数えられ、何が数えられないのかを知っておく必要がある。

Turnitinは同じFAQページで「qualifying text」（対象テキスト）を定義しており、その定義は、多くの学生がレポートを初めて見たときに想定するより狭い。

This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.（この対象テキストには散文的な文のみが含まれる。すなわち、標準的な文法的文で書かれたテキストのブロックのみを分析し、リスト、箇条書き（文ではない短い構造）、その他の文ではない構造といった別種の書き方は含めない。）

つまり、パーセンテージの計算の基礎となる分母は散文的な文である。散文的な文でないものはすべてその基礎の外にある。このカテゴリに何が入り何が外れるかをより詳しく知るには、Turnitinにおける「対象テキスト」の意味を参照してほしい。上の定義に基づく短い版は次のとおりである。

• 散文的な文（標準的な文法的文）：「対象テキスト」として数えられる
• リストと箇条書き：除外される、「short non-sentence structures」（文ではない短い構造）と説明されている
• その他の文ではない構造：同じ表現によって除外される

ここからが実践的である。分母は散文のみなので、論文のどの部分を削るかによって、パーセンテージが何に対して測定されるかへの影響が異なる。

• 散文的な文を削る：分母は変わる
• リストや箇条書きを削る：分母は変わらない。上の定義はそれらを除外されるものとして挙げている
• 表を削る：中身による。Turnitinの2023年8月のリリースノートは「We are now able to process long-form prose text in tables.」（表内の長文の散文テキストを処理できるようになった。）と述べている。表内の短い項目は散文的な文ではないが、表のセル内の段落は散文的な文である。

ここでドキュメントの助けは尽きる。Turnitinは、散文を削ることでパーセンテージが上がるのか、下がるのか、それともそのままなのかを述べていない。結果はどの散文を削るかによる。指摘された文か、指摘されていない文かである。すでにレポートを持っていない限り、それを事前に知ることはできない。そしてレポートを手にしていたとしても、ハイライトはモデルが現在の版で指摘したものを示すのであって、編集後に何を指摘するかを示すものではない。ドキュメントから言えるのは、分母を動かすものと動かさないものである。分母が動いたときに数値がどちらの方向へ向かうかを言うことはできない。

たくさん削るときに現れる第二の問題がある。TurnitinのFAQページは、短い文書は挙動が異なると認めている。

In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.（数百語しかない短い文書では、重ね合わせの機会がないまま単一のセグメントに対して予測を行うため、予測はほとんどが「all or nothing」（すべてか無か）になる。）

文書が数百語まで縮むと、モデルはテキスト全体に対して実質的に一つの判断を下す。パーセンテージは細かな読み取りではなくなり、二者択一の判断に近づく。これは引用からの我々の推論であって、Turnitinの表現ではない。引用自体は「all or nothing」（すべてか無か）と述べ、その理由も示している。重ね合わせのない単一のセグメントである。

Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate.（結果として、テキストが少し増えると精度は上がることが示されており、300語未満の提出物では、AI執筆スコアの精度が低くなる可能性がある。）

この記述はFAQページにはない。TurnitinのAI執筆検出モデルのページにある、2023年12月のリリースノートに出てくる。注意して読んでほしい。そこには「less accurate,」（精度が低い）とあり、「higher」（高い）でも「lower.」（低い）でもない。精度とは、スコアが現実を反映しているかどうかの問題であって、数値が動く方向の問題ではない。精度が低いスコアは、大きく出ることも小さく出ることもある。ドキュメントはそのどちらかを述べていない。これが意味するのは、字数制限を守ることと、読み取りが信頼できる範囲に留まることは、二つの別の、時に相反する目標になりうるということである。短い論文が極端な読み取りを示しがちな理由を知りたい場合は、Turnitinが短い課題を100% AIと判定する理由を参照してほしい。

以上を踏まえて、論文を短くする必要があり、AIのパーセンテージが気になるときに実際にできることは次のとおりである。

• すでにレポートがあるなら、削る前にどの散文部分がハイライトされているかを確認してほしい。指摘された散文と指摘されていない散文ではパーセンテージへの影響が異なるため、削り始める前にどちらがどちらかを知っておきたいはずである。
• まずリストと箇条書きを削る。それらは除外されると明記されているので、分母に触れずに語数を減らせる。表については安全な前提はない。自由に扱う前に、セルに短い項目が入っているか、段落全体が入っているかを確認してほしい。
• 長さに注意する。TurnitinのFAQは、「only a few hundred words」（数百語しかない）文書では予測がほとんど「all or nothing」（すべてか無か）になると述べており、リリースノートはテキストが少し増えると精度が上がると述べている。
• 提出物が300語未満なら、そのパーセンテージは疑って見てほしい。Turnitin自身が、その長さではスコアの精度が低くなりうると述べている。これは読み取りの信頼性の問題であって、数値が動く方向の問題ではない。

これらはどれも、削った後にパーセンテージが下がると述べていない。分母は動きうるし、精度は落ちうるが、方向はドキュメントが予測しないことである。削るだけではなく散文そのものに手を入れたい場合は、引用を壊さずにAIスコアを下げるで別に解説している。HumanPenのcondenseツールは、設定した目標語数に向けて冗長さを圧縮し、.docx全体でも選択した段落でも編集可能なファイルを返す。特定のAIスコアは約束しない。この記事がちょうど示した理由により、誰にも約束できないからである。