なぜTurnitinは私の作品を100% AIとしてフラグするのか。

100%というスコアは、TurnitinがあなたのテキストがAI生成であると確信していることを意味しない。数百語の短い文書では、予測はほぼ「オール・オア・ナッシング」になる。なぜなら、システムは平均化するための重なりを持たない単一のセグメントを評価するからである。構造的変化の少ないテキスト、文字通りの反復、新しいアイデアのないパラフレーズは、偽陽性を起こしやすい。そしてTurnitin自身が、3つの異なるヘルプ文書で、スコアは学生に対する不利益な措置の唯一の根拠として使用すべきではないと述べている。

TurnitinのAI検出が分類器とそのセグメントの観点からどう機能するかを説明してきた。本記事は、そのシステムが自分で書いたことが分かっているテキストに対して100%を返したとき何が起きるかを扱う。原因は機械的であって恣意的ではなく、Turnitin自身のページに文書化されている。

これは、本物の人間の文章が100%のスコアを受ける最も一般的な理由である。TurnitinのAI writing detection capabilities FAQは、短い提出物で何が起きるかを説明している。

「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」（数百語しかないような短い文書では、予測はほぼ「オール・オア・ナッシング」になる。なぜなら、重ね合わせる機会のない単一のセグメントに対して予測を行っているからである。）

次の文が全体像を完成させるものである。

「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（これは、AI生成とオリジナルが混在するテキストが、完全にAI生成としてフラグされる可能性があることを意味する。）

この二つの文を一緒に読めば、短い論文での100%のスコアは評決のようには見えなくなる。それは機器の分解能の天井のように見える。セグメントが一つしかない場合、平均化する相手がない。高い確率のセグメント一つが文書全体のスコアになる。自分の小論文が300語や500語であれば、これが最初に確認すべき可能性である。

Turnitinは2023年十二月のリリースでも、「submissions that contain less than 300 words may result in an AI writing score that is likely less accurate.」（300語未満の提出物は、精度が低くなる可能性のあるAI執筆スコアをもたらす可能性がある。）と指摘した。短い文書はスコアリングが難しく、システムはそれを自覚している。

同じFAQページは、偽陽性が起きやすいテキストの種類を列挙している。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（偽陽性（人間が書いたテキストをAI生成として誤ってフラグすること）には、構造的変化が少ない内容、文字通り繰り返すテキスト、新しいアイデアを展開せずにパラフレーズされたテキストが含まれることがある。）

次の文はリスト自体と同じくらい重要である。

「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（インジケータがそのようなテキスト内のAI執筆の割合が高いことを示す場合、表示されたパーセンテージを見る際にそれを考慮することをお勧めする。）

これは、この種のテキストでパーセンテージが現れたら割り引くように教官に伝えるTurnitinの言葉である。あなたの文章が構造的に均一である（似た長さの段落、似た文の形、反復する語彙）か、独自の分析を加えずに出典に近いパラフレーズを行った場合、すべての語が自分のものであってもスコアは上がることがある。

これは不具合ではない。分類器が均一性をシグナルとして読んでいるのである。規則的に見える統計的パターンは、テキストが一貫した文体で書いた人間によって作られたものであっても、モデルがAIテキストから学んだものと一致することがある。施設規模でそれが積み重なり、それが大学が75,000本の論文を提出したとき偽陽性率1%が何を意味するかの算術である。

単一のセグメントが100%を生み出す理由を理解するには、スコアリングが端から端までどう機能するかを見るのが役立つ。TurnitinのFAQはパイプラインを説明している。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文がTurnitinに提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションに分割される。各セグメントはAI検出モデルによって分類され、テキストが人間によるものかAI生成かの確率を示す0から1までの値が与えられる。これらのセグメント内の各対象文は、そのセグメントのスコアを引き継ぐ。セグメントは重なり合うため、一部の文は複数のスコアを持つことがあり、それらは1つのスコアに統合される。これらの文のスコアはさらに集計され、文書全体のAI執筆スコアの計算に使用される。）

長い文書では、多くの重なり合うセグメントがある。あるセグメントの境界付近の文は、次のセグメントの中にも現れる。両セグメントのスコアは統合される。AI的と読めるセグメント一つが支配することはない。なぜなら、隣接するセグメントが統合スコアを別の方向に引っ張るからである。

短い文書では、セグメントが一つしかない。重なりはない。窓越しの統合もない。単一のセグメントの分類が文書スコアになる。そのセグメントがAI確率0.95と分類されたなら、文書スコアは100%（あるいは集計がそれをどう対応させるか）になる。システムは諮問できる第二意見を持たない。

これが、100%のスコアが短い論文に集中する機械的理由である。短い論文の方がAI生成になりやすいからではない。機器が自らを修正する機会が少ないからである。

Turnitin自身の文書は、自らのスコアについて、それを利用する施設が一般的であるよりも慎重である。AI Writing Reportガイドはこう述べている。

「Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.」（当社のAI執筆検出モデルは常に正確とは限らない（人間が書いたテキスト、AI生成テキスト、AIによるパラフレーズを誤って識別する可能性がある）。したがって、学生に対する不利益な措置の唯一の根拠として使用すべきではない。）

その同じガイドの中の次の文である。

「It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.」（学術的不正行為が発生したかどうかを判断するには、組織がその特定の学術方針を適用することと併せて、さらなる精査と人間の判断が必要である。）

別のレビューガイドは、同じ要点を別の言い方で述べている。

「It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.」（それ自体で決定的な回答を提供するものではない。どのようなツールよりも重要なのは、スコアを見て、学生やその作品、施設の方針に関する個人的な知識とこの情報を天秤にかけて決定を下す教育者である。）

そしてその次の文である。

「When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.」（教育者がAI執筆スコアを見て、決定的な回答ではなく単一のデータポイントとして活用するとき、それは意図された使い方をされているのである。）

これらは我々の言葉ではなくTurnitinの言葉である。検出器を構築した企業が、利用者に対し、スコアは一つのデータポイントであって結論ではないと伝えている。あなたの施設が100%を決定的証拠として扱うなら、その施設はTurnitinが使うべきではないと言う方法でツールを使用しているのである。

文書の長さを確認する。 提出物が数百語であれば、F9で説明された「オール・オア・ナッシング」振る舞いが最も可能性の高い説明である。スコアは単一セグメント予測の限界を反映しており、あなたの執筆過程に関する判定ではない。

自分のテキストが偽陽性プロファイルに当てはまるかを確認する。 構造的変化の少なさ、文字通りの反復、新しいアイデアのないパラフレーズは、Turnitin自身が挙げる三つの特徴である。あなたのテキストにいずれかが当てはまるなら、公式の助言はパーセンテージを読む際に考慮に入れることである。これは会議に持ち込める引用である。

報告書がいつ生成されたかを尋ねる。 2023年5月にTurnitinは検出ロジックを変更し、より高い偽陽性率を出していた文書の最初と最後の文での偽陽性を減らした。修正はリリースノートに文書化されている。報告書がその修正より前のものであれば、その後に対処された問題を反映している可能性がある。2024年7月より前に生成された報告書は、現在の報告書がアスタリスクで表示する1から19の範囲の数値スコアを表示することもある。要点は、古い報告書は新しいものと挙動が異なり、日付が重要だということである。

執筆過程の証拠を持参する。 版の履歴、タイムスタンプ付きの下書きファイル、調査活動を示すブラウザ履歴。これらはスコアに関する議論ではない。それらはTurnitinがスコアに伴うべきだと述べる「further scrutiny and human judgment」（さらなる精査と人間の判断）なのである。

Turnitin自身の言葉を引用する。 スコアは「should not be used as the sole basis for adverse actions against a student」（学生に対する不利益な措置の唯一の根拠として使用すべきではない）という文言が、3つの異なるTurnitin文書に出てくる。スコアが「a single data point rather than a definitive response」（決定的な回答ではなく単一のデータポイント）であるという文言は、Turnitinがツールの意図された使い方を示したものである。これらは意見ではない。製造元が明示した運用上の指示である。実際に何を言うかを起草しているなら、フラグされたが自分で書いたがその回答の準備を扱っている。

HumanPenというツールは文書の書き換えツールである。ここで関連する設計上の決定は、我々はスコア・レベルではなく一節レベルで書き換えるということである。我々は見えない数字を動かそうとはしない。AI Writing Reportがフラグした一節を取り、それらの一節の実際の言語を変え、文書の残りはそのままにしておく。課金は書き換えられた語のみをカウントし、書き換えたテキストに対する新しい報告書が依然として20%以上に戻った場合、まだフラグされている一節の再実行は無料である。

次回の報告書が何を述べるかはお伝えしない。検出スコアについての予測は行わない。我々が行うのはそれより範囲が狭い。報告書が特定した特定の一節の中の特定の言語を書き換え、その周囲の構造、引用、書式を保持するのである。

Turnitinは100% AIについて間違えることがあるか。 あり得る。Turnitin自身のFAQは、短い文書が単一セグメントで「オール・オア・ナッシング」予測を受けると述べており、構造的変化のないテキストや近接パラフレーズのあるテキストは偽陽性を起こしやすいとしている。100%のスコアはセグメント・レベルの分類の集計値であり、短い文書ではセグメントが一つしかないことがある。

100% AIはTurnitinが確信していることを意味するか。 そうではない。パーセンテージは、重なり合うセグメントに適用された分類器の出力を統合し集計したものである。単一セグメントの文書では、確率の高いセグメント一つがスコア全体になる。Turnitinはスコアは「should not be used as the sole basis for adverse actions against a student」（学生に対する不利益な措置の唯一の根拠として使用すべきではない）であり、「a single data point rather than a definitive response.」（決定的な回答ではなく単一のデータポイント）であると述べている。

なぜ私の短い小論文は100%になったのに長い論文はならなかったのか。 長い文書はより多くの重なり合うセグメントを持つため、スコアは窓越しに統合され、AI的な単一セグメントは希釈される。短い文書はセグメントが一つで、重なりも希釈もない。これはスコアリング・パイプラインの機械的特性であり、あなたの執筆に対する判断ではない。

Grammarlyを使った場合はどうなるか。 TurnitinのFAQによれば、Grammarlyによるつづり、文法、句読点の変更は「in most cases」（ほとんどの場合）AIとしてフラグされない。しかしGrammarlyの生成的機能（下書き生成、パラフレーズ、要約）は別のカテゴリーであり、それらの機能によって作成されたコンテンツは「will likely be flagged as AI-generated.」（AI生成としてフラグされる可能性が高い）のである。

自分の防御でTurnitin自身の言葉を使えるか。 使える。スコアが措置の唯一の根拠になるべきではないという文言は、3つのTurnitin文書に出てくる。スコアが単一のデータポイントであるという文言は、彼らのレビューガイドに出てくる。これらは製造元の運用指示であり、スコアが何を意味するかに関するいかなる会話にも関連するものである。