Sapling AI Detector と Turnitin：ドキュメントに実際に書かれていること

Sapling の AI 検出器と Turnitin の AI ライティング検出は、別のチームが別の基盤モデルを使って作ったものです。それぞれ独自のデータで学習され、独自の方法で文章を判定します。モデルが違えば、同じ文章でも出てくるスコアは変わって当然です。Sapling が 70% AI と判定した箇所に、Turnitin が 25% をつけることもあれば、その逆もあります。どちらの結果も、それだけで間違っているというわけではありません。学習データの異なるモデルが出した確率の見積もりが、たまたま食い違っているだけです。

すべてのツールが行き着く共通の AI 検出スコアというものは存在しません。検出器ごとに同じ文章のスコアが変わる理由 では、その差がどこから生まれるのかを掘り下げています。検出器はそれぞれ自分の見積もりを出すだけです。別のツールのスコアを、同じ物差しで測った同じ単位の数字だと思って扱うと、話がこんがらがります。

ここでどちらのツールが正確かを断言するつもりはありません。Turnitin のドキュメントが自社の仕組みについて何と述べているか、そしてその仕組みがなぜ Sapling とは一致しないスコアを出すのかを、そのまま説明しているだけです。

Turnitin は AI ライティングスコアを算出する手順を、次のように明記しています。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（Turnitin に提出された論文は、まず文が抽出され、判定のために重なり合う区間に分割される。各区間は AI 検出モデルによって分類され、その文章が人間の書いたものか AI が生成したものかを示す確率として、0 から 1 の値が与えられる。区間内の条件を満たす文は、その区間のスコアをそのまま受け継ぐ。区間は重なっているので、複数のスコアを持つ文もあり、それらは 1 つのスコアにまとめられる。こうした文単位のスコアがさらに集計され、文書全体の AI ライティングスコアが算出される。）

つまり、文を取り出して重なり合う単位に分け、区間ごとにスコアをつけ、文のスコアをまとめ、文書全体のパーセンテージに集計する、という流れです。Sapling を含むほかの検出器は、区間の切り方も、判定の単位も、集計の方法も違うかもしれません。同じ文章から同じ数字が出てくることはありません。

Turnitin のドキュメントは、AI ライティング検出のパーセンテージと Similarity スコアが別のものだという点も説明しています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（Similarity スコアと AI ライティング検出のパーセンテージは完全に独立しており、互いに影響しません。）Similarity スコアは、提出された文書を Turnitin の類似性チェック用コンテンツ群と照合して見つかった一致箇所の割合を示すものです。類似性が高くて AI 判定が低い文書もあれば、その逆もあります。Turnitin の AI ライティングレポートと Similarity レポートを読み比べる では、この二つのレポートを突き合わせています。この二つの数値は互いに影響しません。

Turnitin は偽陽性について具体的な目標値を公表しています。

「We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing.」（検出器の性能を最大限に高めつつ、完全に人間が書いた文章を AI 生成と誤って判定する割合、すなわち偽陽性率を、AI の記述が 20% を超える文書については 1% 未満に保つよう努めている。）

ドキュメントは同じ内容を次のように言い換えてもいます。「In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.」（言い換えれば、完全に人間が書いた文書 100 件につき 1 件は、AI が書いたものとして検出してしまう可能性があるということです。）ただしこの言い換えでは、「AI の記述が 20% を超える文書という条件」が抜け落ちています。20% という基準つきで書かれたほうが、より正確な記述です。

この目標を検証するため、Turnitin は自社のテスト体制を次のように説明しています。「To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate.」（テスト体制を強化し、偽陽性の統計的な傾向を把握するため、更新や新モデルのリリースのたびに、ChatGPT 登場前に書かれた 700,000 件を超える追加の学術論文で検証を行い、偽陽性率 1% 未満という数値の裏付けを取っている。）

ここまでが、Turnitin 自身の仕組みについての説明です。大学が大量に提出する状況で 1% がどう響くのかは、1% の偽陽性率が意味するもの にまとめています。Sapling は目標とする精度も検証の手順も違うでしょうし、そもそも比較できる数字を出していないかもしれません。精度を直接比較することはできません。Turnitin のドキュメントに書かれていることを伝えることしかできないのです。

文書の長さは、Turnitin の検出器が文章をどう扱うかに関わります。短い文書では、スコアの付け方そのものが変わります。ドキュメントには次のようにあります。

「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」（数百語程度の短い文書では、重ね合わせの余地がない単一の区間に対して判定を行うため、予測はほぼ 'all or nothing'（全か無か）のどちらかになる。）

「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（つまり、AI が生成した部分と自分で書いた部分が混ざっている文章でも、全体が AI 生成だと判定されることがあるということである。）

長い文書でスコアをならしてくれる重ね合わせの仕組みは、文章が単一の区間でしかない場合には働きません。人間が書いた部分と AI の部分が混ざった数百語の文章が、100% というスコアで返ってくることもあります。これは Turnitin が課題を「100% AI」と判定する理由 で取り上げたケースのひとつです。入力が短いときに起きる、構造上の挙動です。

同じ短い文書に対して Sapling が違うスコアを出すのだとすれば、両者が短い入力を同じようには処理していないことも一因です。

Turnitin は 20% 未満の数値スコアを表示しません。ドキュメントには次のようにあります。

「To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.」（偽陽性が生じるおそれを避けるため、AI 検出スコアが 1% から 19% の範囲にある場合は、スコアもハイライトも付与しない。レポート上で AI の検出水準が 20% の基準を下回る場合、現在はアスタリスク（*%）で示し、パーセンテージは表示しない。）

Turnitin のモデルが 8% と見積もった文書でも、レポートには「8%」という数字ではなくアスタリスクが表示されます。本文にハイライトが付くこともありません。確信度の低い範囲で起こりうる偽陽性を、わざわざ表面化させないためです。詳しくは Turnitin の AI スコアに出るアスタリスク（*%）の意味 で解説しています。

Sapling はこの範囲のスコアも、パーセンテージとしてそのまま表示するかもしれません。0 以外の値であればどんな値でもハイライトするツールもあります。Turnitin は 20% 未満では、数字もハイライトも意図的に出さないようにしています。この表記の決まりがあるため、AI 判定が低い同じ文書でも、二つのツールの結果は大きく違って見えます。

同じ文書で Sapling と Turnitin の結果を比べているなら、要点は次のとおりです。

• モデルが別なら、スコアも別。 Sapling と Turnitin は異なる検出モデルを使っています。スコアが一致するはずはありません。
• Turnitin は分割と集計でスコアを出す。 文を取り出し、重なり合う単位に分け、スコアをつけ、まとめ、集計します。AI スコアと Similarity スコアは完全に独立しています。
• Turnitin は偽陽性率 1% 未満を目標としている（対象は AI の記述が 20% を超える文書）。ChatGPT の登場前に書かれた 700,000 件を超える追加の学術論文で検証された値です。
• 短い文書は「全か無か」のスコアになる。 数百語程度の文章は、内容が混在していても 0% か 100% で返ってくることがあります。
• 20% 未満はアスタリスク表示になる。 1〜19% の範囲では、数値のパーセンテージもハイライトも表示されません。

条件を満たす箇所は、無料で再実行できます。