Copyleaks と Turnitin の AI 検出で結果が食い違う理由

AI 検出器によってスコアが異なるのは、それぞれが別のモデルで、別のデータを使ってトレーニングされ、別の分類閾値を持っているからだ。Copyleaks と Turnitin は別のチームが作った別製品であり、モデルもトレーニングコーパスも、セグメントレベルの予測を文書スコアに集約する手法もすべて違う。同じ文章で Copyleaks が 80%、Turnitin が 20% と出ても、どちらかが間違っているとは限らない。両者は異なる統計的パターンを測定し、異なる判断基準を適用しているに過ぎない。気にすべきは、自分の機関が実際に使っているツールのスコアだ。学校が Turnitin を使っているなら、Copyleaks のスコアは参考にはなるが、公式な結果ではない。

Turnitin の FAQ には、検出プロセスがこう説明されている。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文が Turnitin に提出されると、文章が抽出されて重なり合うセクションに分割され、予測分析にかけられる。各セクションは AI 検出モデルで分類され、0 から 1 の値が付与される。これはその文章が人間によるものか AI 生成のものかの確率を示す。これらのセクション内の各 qualifying sentence はセクションのスコアを継承する。セクションは重なり合うため、一部の文章は複数のスコアを持つことがあり、それらは単一のスコアに統合される。これらの文章スコアはさらに集約され、文書全体の AI 創作スコアの算出に使用される。）

Turnitin はさらに、偽陽性率の目標値も公表している。"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."（我々は、AI による執筆が 20% を超える文書について、偽陽性率——完全に人間が書いた文章を誤って AI 生成と判定する割合——を 1% 未満に抑えつつ、検出器の効果を最大化するよう努めている。）この目標値が、モデルがギリギリの文章をどう分類するかに影響する。偽陽性を抑えるよう調整されたモデルは、不確かなセクションをより多く「人間による」と判定する傾向があり、その結果、人間と AI が混在する文章では AI スコアが低めに出やすい。

Copyleaks は独自の AI 検出モデルを使っており、独自のトレーニングデータと分類閾値を持っている。Copyleaks のモデルの詳細は Turnitin の FAQ のように公開されていないため、仕組みを並べて比較することはできない。だが、結果が食い違う構造的な理由は明白だ。別のデータでトレーニングされた 2 つの別モデルであれば、同じ文章でも違う判定を下す。Turnitin のモデルが AI 確率 0.3 と判定する文章を、Copyleaks のモデルは 0.7 と判定するかもしれない。こうしたセグメントレベルの違いが文書全体で集約されれば、最終的なパーセンテージは大きく乖離する。同じ文章が検出器ごとに違うスコアになる理由 で一般論を解説している。

閾値の違いもある。Turnitin は 1% から 19% のスコアを表示せず、代わりにアスタリスク（）のみを表示する。FAQ にはこうある。"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range."（偽陽性の発生を避けるため、AI 検出スコアが 1% から 19% の範囲にある場合、スコアもハイライトも付与されない。）同じ文章で Copyleaks が 15% と表示し、Turnitin がアスタリスクで済ませている場合、その乖離は単なる分類の違いだけでなく、表示方針の違いも一因になっている——[Turnitin の AI スコアでアスタリスク（%）が意味するもの](/blog/what-does-the-asterisk-mean-on-turnitin-ai-score) を参照。

Turnitin の FAQ には、文書が短いほど予測の信頼性が下がると明記されている。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語しかない短い文書では、予測はほとんど『すべてか無か』になります。重なりを持たせる機会がない single segment 上で予測を行うためです。）

その直後にはこう続く。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（つまり、AI 生成コンテンツとオリジナルコンテンツが混在する文章でも、完全に AI 生成としてフラグが立つ可能性があるということです。）

短い文書では、検出器 A は全文を AI と判定して 100% と出し、検出器 B は人間と判定して 0% と出す——そんなことが起きうる。all-or-nothing（すべてか無か）の挙動のせいで、単一セグメントの扱いにおけるモデルごとのわずかな違いが、最終スコアで劇的な乖離を生む。複数の検出器でスコアを比較しているなら、文書長は重要な要素だ。300 語の要約なら検出ツールごとに全く違うスコアが出るかもしれないが、3000 語の論文なら結果はより近づきやすい。

重要なのは、自分の機関が実際に使っているツールのスコアだ。大学が Turnitin を使っているなら、学術上の立場に影響するのは Turnitin の AI スコアだ。Turnitin で 80% が出ているのに、Copyleaks で 5% が出ても意味はない。逆に、Copyleaks で 80% が出ても、機関が Copyleaks を使っていなければ不利にはならない。論文を複数の検出器にかければ、文章に AI らしいパターンがあるかどうかの感触はつかめるが、機関の検出器が何と言うかまでは分からない。実際のスコアを知る唯一の方法は、機関が使っているツールのレポートを確認することだ。それに、Turnitin の AI インジケーターを見られるのは教員と管理者だけだ。そもそも学校が検出を実行するかどうかは、何を購入したかによる。

ここまでの要点をまとめよう。

• AI 検出器はそれぞれ別のモデルを使っており、トレーニングデータも閾値も異なる。結果が一致しないのは、驚くべきことではなく予想通りだ。
• Turnitin は偽陽性目標（AI による執筆が 20% を超える文書で 1% 未満）と仕組み（重なり合うセグメントによる分類）を公表している。
• Turnitin は 1% から 19% のスコアをアスタリスクで伏せており、これが他ツールとの見かけ上の乖離を大きくしている。
• 短い文書では all-or-nothing の予測になりやすく、検出器間で結果が劇的に分かれる。
• 重要なのは、自分の機関が実際に使っているツールのスコアだ。

Turnitin レポートでどの箇所がフラグされたかが分かるなら、レポートをインポート して、その特定の箇所に注力しよう。対象となる箇所は無料で再実行できる。