類似度は2%なのにAIスコアは21%：この組み合わせをどう読むか

類似度2%とAIスコア21%は矛盾していない。測っているものが違うからだ。類似度が問うのは、その文章が他の既出の文章と一致するかどうか。AIスコアが問うのは、その文章が統計的に見て機械が書いた散文のように読めるかどうかだ。

どちらの答えも同時に成り立ちうる。文章が既出のものとほぼ一致しないから類似度は2%なのであり、一部の箇所が機械的な文章に読めるからAIスコアが21%と出るのだ。類似度が低いからといってAIスコアが帳消しになるわけではない。2つの仕組みは独立している。

そして21%という数字は意味を持つ。ただし、多くの人が考えるような理由においてではない。これはレポート上でアスタリスクの代わりに実際に表示される、最初の数値なのだ。それは表示のルールであって、下された判定ではない。

2つのレポートは、別々の質問に答えている。そして今回あなたが受け取った組み合わせは、自分の力で書きながらも、書き方がモデルに機械的と読まれてしまった学生に典型的に現れる形だ。

類似度レポートは、提出された文章をTurnitinが保有する既出コンテンツの集まりと照合する。2%という数値は、その中に一致するものがほぼなかったことを意味する。コピーの証拠ではないし、AIの証拠でもない。

AIライティングレポートは、文章の統計的な性質をもとに、機械が書いた散文のように読める部分がどの程度あるかを見積もる。21%という数値は、対象となる文章のおおむね五分の一を、モデルが「AIが書いた可能性が高い」と判断したことを意味する。

別々の質問に、別々の答え。不具合でも矛盾でもない。

つい、こう解釈したくなる。「類似度が2%なら、何もコピーしていないのは明らかだ。それなのに、なぜAIスコアは高いのか」と。答えは単純で、2つのスコアは互いに何も語り合っていない。

Turnitin自身のドキュメントは、AIスコアを類似度スコアから独立したものとして説明している。類似度の仕組みが探すのは、すでに公開されているコンテンツと一致する文章だ。AIの仕組みが見るのは、語の選ばれ方、つまり文章の統計的な形である。どこにも一致する箇所がない100%オリジナルの文章でありながら、統計的には機械的な書き方に似通っているということはありうる。「コピーしていない」という意味での独自性と、統計的な意味でのAIらしさは、別の軸なのだ。

つまり、類似度が低いことは「AIではない」お墨付きにはならない。「コピーしていない」お墨付きなのだ。どちらも有用だが、どちらかがもう一方の代わりになることはない。

21%は、実際に表示される最初の数値だ。そして、その理由のほうが数字そのものより重要である。

Turnitinの表示ルールはこうだ。「to avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range.」（誤判定が起きる可能性を避けるため、AI検出スコアが1%から19%の範囲では、スコアもハイライトも付与しない）。レポート上でAIの痕跡が20%の基準未満にとどまる場合は、アスタリスク（*%）で示され、パーセンテージは付かない。その表示ラインを超えると、レポートには数値とハイライトが出る。

つまり21%は判定ではなく、目に見える最初の数値ということだ。14%なら姿を見せない——アスタリスクで示される——が、21%なら「21%」と表示される。アスタリスクから数値への切り替わりは表示のルールであって、疑いが倍になったということではない。

あわせて押さえておきたいのが、誤検知についての公式な枠組みだ。Turnitinは、AIが書いた部分が20%を超える文書について、誤検知の割合を1%未満に保つよう努めているとしている。言い換えれば、完全に人間が書いた文書100件のうち1件は、AIが書いたと判定される可能性があるということだ。数値が表示される帯域であっても、公式の主張は「100件に1件程度は、人間が書いた文書が誤って判定されうる」というものだ。21%はその帯域に入る。つまりこれは調べるべき兆候であって、確定した判決ではない。

21%は、文書全体に均一に散らばっているわけではない。特定の箇所から生じている。

Turnitinはこの仕組みを次のように説明している。提出物から文が抽出され、予測分析のために重なり合う区間に分割される。各区間には0から1の確率が与えられ、対象となる各文は、自分が属する区間のスコアをそのまま引き継ぐ。区間は重なり合っているため、複数のスコアを持つ文もあり、それらがまとめられて文書全体のパーセンテージになる。

ここから実用的な結論が2つ導かれる。第一に、スコアを押し上げている箇所は特定できる。教員がレポートを見せてくれれば、ハイライトが、モデルをAI寄りと判断した箇所を正確に示している。第二に、手を入れるべきはその箇所であって、文書全体に手を広げる必要はない。

短い文書にはひとつ注意点がある。提出物が数百語程度しかない場合、予測は「全部かゼロか」という極端な形になりやすい。重なりのない単一の区間で予測が行われるため、AI生成の部分と自分で書いた部分が混ざった文章でも、丸ごとAI生成と判定されることがある。短い論文の21%は、長い論文の21%より割り引いて考えるべきだ。

公式の文言をそのまま示せるかどうかで、話し合いの展開は変わる。

Turnitin自身のドキュメントには、AIライティング指標のパーセンテージは「should not be used as the sole basis for action or a definitive grading measure by instructors.」（教員が何らかの対応をとる、あるいは成績を判断する際の唯一の根拠として用いるべきではない）とある。これはそのまま引用できる一文だ。そしてそれは抜け穴ではなく、提供元自身の見解である。

話し合いに持っていくべきものは、次の四つだ。数値（21%）、その意味（アスタリスク帯域のすぐ上にある、目に見える最初の数値であり、判定ではないこと）、箇所（レポートのPDFを手に入れられるなら、ハイライトされた部分）、そして仕組み（スコアは文書全体ではなく、特定の区間から生じているということ）だ。あなたが説明することになる組み合わせはこうだ——自分の文章は既出のものと2%しか一致していないが、統計的な軸ではAIらしさが21%ある、と。形式ばった学術的な言い回しを使って丁寧に書いた、れっきとしたオリジナルの論文であれば、この2つは両立しうる。

反論する前に、まずレポートを求めてほしい。AI指標を学生が自分で見ることはできない——見られるのは教員と管理者だけだ——が、教員はそれをPDFとしてダウンロードして共有できる。レポートがあれば、あいまいな非難は、具体的に説明すべき箇所の一覧に変わる。

類似度2%とAIスコア21%は矛盾していない。一方はコピーを測り、もう一方は統計的なAIらしさを測っている。類似度が低くてもそれで免除されるわけではなく、21%も判定ではない——アスタリスク帯域の上に出てくる最初の数値であり、そこは誤検知率を1%未満に抑えるという公式の主張が及ぶ範囲だ。スコアは特定の箇所から生じる。そして公式のガイダンスは、それを対応を決める唯一の根拠とすべきではないとしている。教員に持ち込むべきなのは、この組み合わせだ。独立した2つの数値、説明可能な1つの仕組み、そして提供元自身の言葉。どれもあなたの味方になる。