Undetectable AIとTurnitin——ドキュメントが実際に述べていること

Undetectable AIの検出器とTurnitinのAIライティング検知は、別のチームが別の基盤モデルを使って作っている。訓練データも、テキストを分類するやり方も、それぞれ独自のものだ。モデルが違えば、同じ文章でも出てくるスコアは変わる。ある段落をUndetectable AIが70% AIと判定しても、Turnitinなら25%になるかもしれないし、その逆もあり得る。どちらかが間違っているという話ではない。訓練データの異なる別々のモデルが出した、確率の推定値にすぎないのだ。

どのツールでも行き着く先が同じになる、普遍的なAI検知スコアというものは存在しない。この点は同じ文章が検出器ごとに異なるスコアになる理由で詳しく述べている。各検出器が出すのはあくまで自分自身の推定値だ。異なるツールのスコアを、同じものを同じ単位で測っているかのように扱うと、話がこんがらがる。

どちらのツールの精度が高いかを、ここで主張するつもりはない。述べているのは、Turnitinのドキュメントが自社のシステムについて語っている内容と、そのシステムがUndetectable AIとは一致しないスコアを出す理由についてだ。

Turnitinは、AIライティングスコアを導き出す手順を具体的に文書化している。

ドキュメントの該当箇所は次のとおりだ。"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文がTurnitinに提出されると、提出文から文が抽出され、予測分析のために重なり合うセクションへと分割されます。各セグメントはAI検知モデルによって分類され、そのテキストが人間由来かAI生成かという確率を示す0から1の値が与えられます。これらのセグメントに含まれる対象となる各文は、セグメントのスコアをそのまま引き継ぎます。セグメントは重なり合うため、複数のスコアを持つ文も出てきますが、それらはひとつのスコアにまとめられます。こうした文単位のスコアはさらに集約され、ドキュメント全体のAIライティングスコアの算出に用いられます。）

手順をたどると、文を抽出し、重なり合う単位に分割し、セグメントごとにスコアを付け、文のスコアをまとめ、ドキュメント全体のパーセンテージへと集約していく。Undetectable AIを含む他の検出器は、分割の戦略も、予測の単位も、集約の方法も違っているかもしれない。同じ文章を相手にしていても、両者が一致する数字を出すことはない。

Turnitinのドキュメントは、AIライティング検知のパーセンテージとSimilarityスコアが別物であることもはっきり述べている。"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."（SimilarityスコアとAIライティング検知のパーセンテージは完全に独立しており、互いに影響を及ぼすことはありません。）Similarityスコアが示すのは、提出されたドキュメントをTurnitinの網羅的な類似性チェック用コンテンツ群と照合したときに、一致が見つかったテキストの割合だ。類似性が高くてAI判定が低いドキュメントもあれば、その逆もある。TurnitinのAIライティングレポートとSimilarityレポートの違いでは、それぞれの数値が何を数えているのかを説明している。この両者の数値は互いに影響しない。

Turnitinは偽陽性に関する目標値を具体的に公表している。

その目標値は次のように述べられている。"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."（私たちは、検出器の有効性を最大化するよう努める一方で、完全に人間が書いたテキストをAI生成と誤って判定する割合、すなわち偽陽性率を、AIライティングが20%を超えるドキュメントについては1%未満に抑えることを目指しています。）

ドキュメントは同じことを別の言い方でも述べている。"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."（言い換えれば、人間が書いたドキュメント100件につき1件は、AIが書いたものとして判定してしまう可能性があるということです。）ただしこの言い直しでは、"AIライティングが20%を超えるドキュメント"という条件が抜け落ちている。20%という閾値を明記したほうの表現のほうが、正確さでは上だ。

この目標値を裏付けるものとして、Turnitinは自社のテスト体制を次のように説明している。"To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate."（テスト体制を強化し、偽陽性の統計的な傾向を把握するため、更新や新しいモデルのリリースのたびに、ChatGPTのリリース前に書かれた700,000本以上の学術論文を追加でテストし、偽陽性率が1%未満であることをさらに検証しています。）

ここまでが、Turnitinが自社のシステムについて述べている内容だ。この1%が1年間の提出件数に当てはめるとどれほどの規模になるかは、1%の偽陽性率が意味するもので取り上げている。Undetectable AIは精度の目標値も検証のプロセスも異なるかもしれないし、比較できる数字を公表していない可能性もある。精度を直接比較することは私たちにはできない。ここで伝えられるのは、Turnitinのドキュメントに書かれていることだけだ。

ドキュメントの長さは、Turnitinの検出器がテキストをどう処理するかに影響する。短いドキュメントでは、スコアの付け方そのものが変わる。ドキュメントには次のようにある。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語しかない短めのドキュメントでは、重なりを設ける余地のない単一のセグメントに対して予測を行うため、予測結果はほぼ「all or nothing」、つまり全部AIか全部人間かのどちらかになります。）

続けてドキュメントはこう述べる。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（つまり、AI生成のテキストとオリジナルのコンテンツが混ざっているテキストであっても、全体がAI生成であると判定される可能性があるということです。）

長いドキュメントではスコアを均してくれる重なりの仕組みが、テキストが単一のセグメントしか持たない場合には働かない。人間が書いた部分とAIの部分が混ざった数百語でも、100%というスコアが返ってくることがある。これはTurnitinに100% AIと判定される理由の背景にある仕組みのひとつだ。短い入力に対して構造上起きる挙動である。

同じ短いドキュメントに対してUndetectable AIが異なるスコアを出すのだとすれば、両者が短い入力を同じようには処理していないという点にも、その一因がある。

Turnitinは20%未満の数値スコアを表示しない。ドキュメントには次のようにある。

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."（偽陽性が発生する可能性を避けるため、1%から19%の範囲のAI検知スコアには、スコアもハイライトも付与されません。レポート上でAIの検知が20%の閾値を下回る場合、現在はアスタリスク（*%）で示され、パーセンテージは付与されません。）

Turnitinのモデルが8% AIと推定したドキュメントでも、レポートに出るのは数字の8%ではなくアスタリスクだ。テキストにハイライトが付くこともない。確信度の低い帯域で起きうる偽陽性を表に出さないようにするための措置で、詳しくはTurnitinのAIスコアに付くアスタリスク（*%）の意味で説明している。

Undetectable AIはこの範囲のスコアもパーセンテージとしてそのまま表示するかもしれない。他のツールでは、0でなければどんな水準でもハイライトが付くこともある。Turnitinは20%未満では、数値もハイライトも意図的に出さない。表示の取り決めがこれだけ違うため、AI比率の低い同じドキュメントでも、両者の出力は大きく違って見える。

同じドキュメントでUndetectable AIとTurnitinの結果を比べているなら、要点は次のとおりだ。

• モデルが別なら、スコアも別。 Undetectable AIとTurnitinは異なる検出モデルを使っている。両者のスコアが一致する見込みはない。
• Turnitinは分割と集約でスコアを出す。 文を抽出し、重なり合う単位に分割し、スコアを付け、まとめ、集約していく。AIスコアとSimilarityスコアは完全に独立している。
• Turnitinの目標は偽陽性率1%未満。 対象はAIライティングが20%を超えるドキュメントで、ChatGPT登場以前に書かれた700,000本以上の学術論文に対する追加テストで検証されている。
• 短いドキュメントは「全部かゼロか」の判定になる。 混在したテキストでも、数百語なら0%か100%で返ってくることがある。
• 20%未満のスコアはアスタリスクで示される。 1-19%の範囲では、数値のパーセンテージもハイライトも表示されない。

対象となる箇所は、追加料金なしで再実行できる。