ZeroGPT と Turnitin の AI 検出、なぜスコアは一致しないのか

ZeroGPT と Turnitin は別々の AI 検出ツールです。モデルも学習データも、AI と判定する基準値もそれぞれ異なります。ですから、ZeroGPT で低いスコアが出たからといって、Turnitin でも低くなるとは限りません。Turnitin の FAQ には、仕組みが次のように書かれています。文章は重なり合うセグメントに分割され、それぞれに 0 から 1 の確率スコアが与えられる、と。さらに、AI による執筆が 20% を超える文書について、偽陽性率を 1% 未満に抑えることを目標としているとも明記されています。加えて Turnitin は、1〜19% の範囲のスコアをアスタリスクで表記する慣習を採っています。精度を実際より高く見せないよう、正確なパーセンテージはあえて表示しません。一方 ZeroGPT は独自の精度を公表していますが、それは提供元自身が示したものであり、Turnitin の文書と突き合わせて検証できる性質のものではありません。自分の所属先が Turnitin を使っているなら、ZeroGPT のスコアに予測力はありません。

FAQ には、検出の流れがこう書かれています。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."（Turnitin に提出された論文から文が抽出され、予測分析のために重なり合うセクションへと分割されます。各セクションは AI 検出モデルによって分類され、その文章が人間によるものか AI によるものかを示す確率として、0 から 1 の値が与えられます。）

セグメントは重なり合っているため、同じ文に複数のスコアが付き、それらがまとめられて文書全体のパーセンテージになります。ZeroGPT は独自のモデルを使っていますが、Turnitin の資料にはその記載がなく、分類の方法もまったく違う可能性があります。

FAQ にはこうあります。

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."（当社は検出器の効果を最大化するよう努めるとともに、AI による執筆が 20% を超える文書について、人間が書いた文章を誤って AI 生成と判定する割合、すなわち偽陽性率を 1% 未満に保つことを目指しています。）

その次の文はこうです。"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."（言い換えれば、完全に人間が書いた文書 100 件のうち 1 件は、AI が書いたものとしてフラグが付く可能性があるということです。）

低いスコアについては、Turnitin はあえて数値を示さない慣習を採っています。

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."（偽陽性が生じる可能性を避けるため、AI 検出スコアが 1% から 19% の範囲にある場合は、スコアもハイライトも付与しません。レポート上で AI の検出が 20% の閾値を下回る場合、現在はアスタリスク（*%）で示し、パーセンテージは付与しません。）

ZeroGPT はこの慣習を採っていません。確信度が低い範囲でも、通常は具体的なパーセンテージをそのまま表示します。Turnitin で「*%」と出る論文が、ZeroGPT では「12%」と表示されることもあります。この表示の違いは、どちらが正確かを示すものではありません。不確実な範囲の扱い方が違うというだけです。Turnitin 側の考え方は、Turnitin の AI スコアに出るアスタリスク「*%」の意味で解説しています。

短い文書については、FAQ に特有の挙動が書かれています。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語程度の短い文書では、重ね合わせができない単一のセグメントに対して予測を行うため、予測結果はほぼ「all or nothing（全部かゼロか）」になります。）

続く文はこうです。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（つまり、AI が生成した文章と自分で書いた文章が混ざっているテキストでも、全体が AI 生成としてフラグ付けされる場合があるということです。）

これは Turnitin の分割方法に固有の挙動です。ZeroGPT が短いテキストで同じ挙動を示すかどうかはわかりません。300 語の要旨を ZeroGPT で調べて 0% になったとしても、同じ文章を Turnitin がどう判定するかの手がかりにはなりません。Turnitin は単一セグメントで予測するため、入力が短いと極端な値に振れることがあるからです。Turnitin が「100% AI」と判定する理由は、その振れが最大まで振り切った姿です。

Turnitin では AI スコアと類似性スコアは独立しています。"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."（Similarity スコアと AI 執筆検出のパーセンテージは完全に独立しており、互いに影響しません。）無料ツールの中には AI 判定と類似性を 1 つの数値にまとめるものがありますが、それでは Turnitin の独立した AI パーセンテージとは構造的に比較できません。

提出にあたって意味を持つスコアは、自分の所属先が使っているツールが出したものだけです。学校が Turnitin を使っているなら、ZeroGPT でいくらテストしても Turnitin のスコアはわかりません。複数の無料検出ツールに通せば、自分の文章に AI らしい特徴があるかどうか、おおよその見当はつきます。ただし、それが所属先のツールの結果の代わりになることはありません。同じ文章が検出ツールごとに異なるスコアになる理由では、このばらつきがどちらかの不具合ではなく構造的なものだと説明しています。

ここまでの内容をまとめます。

• ZeroGPT と Turnitin はモデルが異なる別の検出ツールであり、スコアは一致しません。
• Turnitin の検出は文章を重なり合うセグメントに分割し、それぞれに確率スコアを割り当てます。
• Turnitin の偽陽性の目標値は、AI による執筆が 20% を超える文書で 1% 未満です。
• Turnitin は 1〜19% のスコアにアスタリスクを使い、偽陽性が出やすい範囲で精度を誇張しないようにしています。
• 短い文書では単一のセグメントで評価されるため、Turnitin の予測は全面 AI か全面人間かの両極端になりがちです。
• 意味があるのは、自分の所属先が使っているツールのスコアだけです。

Turnitin の AI レポートを受け取って、指摘された箇所に対応したい場合は、レポートを取り込んでそこだけを手直ししてください。対象となる段落は無料で再実行できます。