GPTZero と Turnitin：スコアが一致しない理由と、各ツールが実際に測定しているもの

GPTZero と Turnitin は別々のチームが作っている別々のシステムです。基礎になるモデルも学習データも、文章を分類するやり方もそれぞれ違います。モデルが違う 2 つの検出ツールを使えば、同じ文書でも結果は揃いません。GPTZero で 60% と出た文章が Turnitin では 30% になり、逆もあり得ます。どちらかが間違っているとは限りません。違うデータで学習した別々のモデルが出す「確率の推定値」なんです。

どのツールでも同じ数値に落ち着く「万能の AI 検出スコア」なんて存在しない――これこそが、同じ文章がツールごとに違うスコアを出す理由 で問題になっている核心です。ツールごとに推定値が出るのに、まるで同じものを同じ単位で測っているかのように比較すれば、混乱するのは当然です。

どちらのツールが正確だと言っているわけではありません。Turnitin の検出機能がどう動くかは公式資料に書かれていて、それが他のツールとは違うというだけです。

Turnitin の公式資料によると、文書レベルの AI ライティングスコアを出すには、こんな手順を踏むそうです。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文が Turnitin に提出されると、文章が抽出されて分析用に重ねたセクションに分割される。各セクションは AI 検出モデルで分類され、0 から 1 の数値（人間が書いたか AI が生成したかの確率）が付けられる。該当する文章はこのスコアを受け継ぎ、セクションが重なるため複数のスコアを持つ文章は 1 つの数値にまとめられる。最後にこれらが集約されて、文書全体の AI ライティングスコアになる）

スコアはセクション単位の予測を集めたものです。セクションは重なり、文章のスコアは集約の前にまとめられます。他の検出ツールはテキストの区切り方も予測の単位もスコアのまとめ方も違うかもしれません。

Turnitin の資料には、AI ライティング検出のパーセンテージと Similarity スコアは別物だとハッキリ書かれています。"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."（Similarity スコアと AI ライティング検出のパーセンテージは完全に独立しており、互いに影響しません）Similarity スコアは、提出された文書が Turnitin の類似チェック用データベースとどのくらい一致しているかを示すパーセンテージです。Similarity スコアが高くても AI スコアが高いとは限らないし、逆も同じです。Turnitin の AI ライティングレポートと Similarity レポート で両方を並べて比較しています。

Turnitin は公式資料で、偽陽性の目標数値をこう明言しています。

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."（AI ライティングが 20% を超える文書について、人間が完全に書いた文章を誤って AI と判定する偽陽性率を 1% 未満に抑えつつ、検出器の効果を最大化するよう努めています）

この説明はこう言い換えられています："In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."（つまり、人間が完全に書いた文書 100 件のうち 1 件を、AI 作成としてフラグする可能性があります）ただ、この言い換えだと「AI ライティングが 20% 超」という条件が抜けています。20% の閾値を含んだ最初の表現の方が正確です。

Turnitin はこの数字を裏付けるために、こんなテストをしていると書いています："To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate."（テスト体制を強化し、偽陽性の統計的傾向を把握するため、アップデートや新モデルの公開前に、ChatGPT 登場前に書かれた 70 万件超の学術論文を改めてテストし、偽陽性率 1% 未満をさらに裏付けています）

ここまでが Turnitin が公言している目標と検証方法です。大学規模で提出される文書数に対して「1%」が実際にどんな意味を持つかは、1% の偽陽性率が何を意味するか で計算しています。他の検出ツールは違う目標や検証方法を持っているかもしれませんし、比較できる数字を公開していないかもしれません。この情報だけでツールの精度を直接比べることはできません。Turnitin の公式資料にこう書かれていると伝えることしかできません。

文書の長さで Turnitin の検出器の動きは変わります。短い文章だと、スコアの出し方が極端な結果を生むことがあります。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語しかない短い文書では、予測はほぼ「オール・オア・ナッシング」になります。重なる余地のない 1 つのセクションだけで予測するからです）

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（つまり、AI 生成と人間の文章が混ざっているのに、すべて AI 作成としてフラグされることもあるということです）

長い文書でスコアをなだらかにする「重なり」の仕組みは、予測対象のセクションが 1 つしかない時には動きません。人間の文章と AI の文章が混ざっていても数百語なら 100% AI と出る――これが、Turnitin が 100% AI と判定する理由 で説明しているパターンの一つです。短い入力に対する制限であって、文章の構成についての確定的な判断ではありません。

GPTZero が短い文書を違うスコアで出す場合、この「オール・オア・ナッシング」の動きが一因かもしれません。スコアを出す仕組みが違うので、短い文章の扱いもツールで違います。

Turnitin は AI 検出結果が 1% から 19% の間の場合、数字のスコアを表示しません。公式資料ではこう説明しています。

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed."（偽陽性の発生を避けるため、AI 検出スコアが 1% から 19% の範囲では、スコアもハイライトも表示されません。20% の閾値を下回る AI が検出された場合、アスタリスク（%）で示され、パーセンテージは出されません）

つまり、Turnitin のモデルが AI コンテンツを 12% と推定しても、レポートには数字ではなくアスタリスクが表示されます。ハイライトも付きません。理由は、信頼度の低い範囲で偽陽性を出すのを避けるためで、Turnitin の AI スコアのアスタリスク（*%）の意味 で詳しく説明されています。

GPTZero や他のツールはこの範囲のスコアを別の出し方をします。0 以外の結果には全部パーセンテージを出すツールもあります。Turnitin は 20% 未満で数字を隠します。これもスコアが一致しない理由の一つです。片方は数字を出して、もう片方はアスタリスクだけ、ということがあるからです。

同じ文書を GPTZero と Turnitin の両方で比べているなら、次の点を覚えておいてください。

• モデルもスコアも違う。 GPTZero と Turnitin は別々のデータを学習した別の検出モデルを使っています。スコアが一致するのは期待できません。
• Turnitin はセクションをまとめてスコアを出す。 テキストを区切ってセクションごとに採点し、最後に集約します。AI スコアと Similarity スコアは完全に別物です。
• Turnitin の偽陽性目標は 1% 未満。対象は AI ライティングが 20% を超える文書で、ChatGPT の登場前に書かれた 70 万件超の学術論文で裏付けています。
• 短い文書はオール・オア・ナッシング。 数百語だと、文章が混ざっていても 0% か 100% という結果が出ることがあります。
• 20% 未満はアスタリスクで表示. 1〜19% の範囲では、パーセンテージもハイライトも出ません。

対象の箇所は無料で再チェックできます。