短い文書と Turnitin の「全部かゼロか」問題

なぜ短い文書だと AI ライティングのスコアが当てにならないのかを理解するには、まず Turnitin がテキストをどう処理しているかを見る必要があります。ドキュメントには次のように書かれています。"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1..."（論文が Turnitin に提出されると、提出物から文が取り出され、予測分析のために重なりを持つセクションに分割されます。各セクションは AI 検出モデルによって分類され、0 から 1 までの値が与えられます……）

この文で重要な働きをしているのが「overlapping」（重なり合う）という語です。Turnitin は文書をひと続きのかたまりとして分析しているわけではありません。テキストを重なり合うセグメントに分割するため、ひとつの文が複数のセグメントに現れることがあります。各セグメントには 0 から 1 までの予測スコアが個別に与えられ、最終的な AI ライティングの割合は、それらの個別スコアの組み合わせから導かれます。

この重なりがあるからこそ、モデルは二者択一の判定ではなく、幅のあるパーセンテージを出せます。セグメントが重なっていれば、テキストの各部分がどう判定されたかをモデルが比較できます。スコアの低いセグメントと高いセグメントの間に置かれた段落は、全体の予測をより穏当なものにします。重なりがなければ、モデルはつき合わせる手立てを失い、スコアの精度は落ちます。

文書が非常に短い場合、複数の重なり合うセグメントを作るだけのテキストがありません。ドキュメントはその帰結をはっきり書いています。"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語しかない短い文書では、重ね合わせの機会がないまま単一のセグメントに対して予測を行うため、予測はほぼ 'all or nothing'（全部かゼロか）になります。）

セグメントがひとつということは、モデルが文書全体に対して予測を一度しかしないということです。平均化の対象がないので、セグメント間の平均は取られません。モデルはテキストを一度見てスコアを付け、そのスコアが AI 生成としてフラグを立てるかどうかを決めます。

ドキュメントは次のように続きます。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（これは、AI が生成した内容と自分で書いた内容が混ざっているテキストが、全体が AI 生成であると判定される可能性があることを意味します。）これが問題の核心です。300 語の文書のうち 200 語を自分で書き、100 語に AI を使った場合、モデルは両者を切り分けられません。文書をひとつの単位として処理し、その単位がしきい値を超えれば文書全体にフラグが立ちます。どの文が AI 生成だったのかをレポートで示すことはできません。予測が文単位ではなく文書単位で行われているからです。

Turnitin は提出物に最低語数を設定しており、技術要件では下限を 300 語としています。受け付けられるファイル形式は .docx、.pdf、.txt、.rtf で、上限は 30,000 語、ファイルサイズは 100MB 未満です。対応言語は英語、スペイン語、日本語、そして 2026年8月18日以降は Modern Standard Arabic です。Turnitin 自身の英語ページのうち 2 つは、いまだに最初の三つしか載せていないため、たどり着いたページが追いついていないこともあります。

300 語の最小値はファイルに対する要件です。ファイルは "must have at least 300 words of prose text in a long-form writing format."（長文形式で書かれた散文テキストが少なくとも 300 語は含まれていなければならない）とされています。これと一緒によく引用されるのが "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate"（結果を見ると、テキストがもう少し多いほど精度は上がるため、300 語未満の提出物では精度が低いと思われる AI ライティングスコアになる可能性がある）という一文ですが、これは 2023年12月15日付のリリースノートに書かれたもので、規定未満の提出物が通ってしまうバグについて述べたものであり、その期間に生成されたレポートを説明しています。現在、下限を下回る場合、モデルは精度の低い予測を出しているのではありません。予測そのものを出していません。

300 語ぴったり、あるいはそれを少し超える程度でも、重なりはごくわずかかもしれません。350 語の文書では、わずかに重なる二つか三つのセグメントしか生まれない可能性があります。ひとつよりはましですが、2,000 語のレポートのセグメント密度には遠く及びません。テキストが多ければセグメントも増え、重なりも増え、AI が生成した部分と自分で書いた部分をモデルが見分ける機会も増えます。

「全部かゼロか」の問題が最もはっきり現れるのは、短い文書に自分で書いた文章と AI が生成したテキストが混ざっている場合です。ドキュメントには "some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（AI が生成した内容と自分で書いた内容が混ざっているテキストが、全体が AI 生成であると判定される可能性がある）とあります。短い課題の大部分を自分で書き、一部にだけ AI を使った学生にとって、これは文書全体が高い AI ライティングスコアを受け取る可能性があるということです。たとえテキストの大部分が自分の文章であっても、です。

この問題を悪化させる書き方があります。ドキュメントは次のように述べています。"Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（偽陽性には……構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、新しい考えを展開せずに言い換えたテキストが含まれることがあります。）ディスカッションの投稿や短い振り返りといった短い課題は、この説明に当てはまることが少なくありません。本格的な研究論文より構造的な変化が少なく、似た考えを似た文型で繰り返す傾向があります。ドキュメントは次のように勧めています。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."（そのようなテキストで AI ライティングの量が多いと示された場合は、表示されたパーセンテージを見る際にその点を考慮することをお勧めします。）

Turnitin が見つけて対処した固有のパターンもありました。2023 年の更新には次のように記されています。"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives."（開始以来、文書の最初の数文や最後の数文で偽陽性の検出率が高いことを確認しています。これらの文は、一般的な書き方で書かれた導入や結論の内容であることが少なくありません。そのため、これらの偽陽性を減らすために検出ロジックを変更しました。）短い文書は導入と結論の内容の影響をとりわけ受けやすい構造です。その部分が全文に占める割合が大きいからです。2023 年の修正は効果がありましたが、短い文書の構造的な弱さは残ったままです。

短い課題は、AI 検出において互いに響き合ういくつもの困難を抱えています。セグメントが少なく、重なりが少なく、構造的な変化も少ない。導入や結論が一般的な書き方になりがちでもあります。これらの要因が重なり、AI ライティングのスコアは短い文書では長い文書より当てにならなくなります。

ディスカッションの投稿、短い振り返り、簡単なレスポンス・ペーパーは、高等教育でもっともよくある短い形式の課題です。こうした課題を書いている場合、AI ライティングのレポートは自分の文章と AI を使った部分を区別してくれないかもしれません。スコアの低いセグメントがひとつあるだけで、文書全体がフラグ付きの区分にひっくり返ります。

ドキュメントはこの限界を認めています。"Our AI writing detection model may not always be accurate... so it should not be used as the sole basis for adverse actions against a student."（私たちの AI ライティング検出モデルは常に正確とは限りません……そのため、学生に対する不利益な措置の唯一の根拠として使用すべきではありません。）この一文は、「全部かゼロか」の動きが働く短い文書にとくに当てはまります。短い課題で AI ライティングのフラグを受けた場合、そのレポートはあなたの文章についての明確なシグナルというより、単一セグメント予測の限界を映している可能性があります。

Turnitin は次のようにも述べています。"We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing."（AI ライティングが 20% を超える文書について、偽陽性率を 1% 未満に保ちながら、検出器の効果を最大化するよう努めています。）この偽陽性の目標値は、信頼できる分析に足る長さの文書についてのものです。短い文書は最適な範囲の外にあり、偽陽性率は高くなる可能性があります。

短い文書の AI ライティングスコアは、慎重に扱うことをお勧めします。自分の言葉で書き、書き出しと締めくくりにありきたりな表現を使わないようにしてください。そして、すでにレポートが指摘した箇所に手を入れたい場合は、その箇所だけを書き直すことができ、文書の残りには手をつけずに済みます。