Scribbr の AI 検出と Turnitin：公式ドキュメントに実際に書かれていること

Scribbr の AI 検出ツールは、誰でも使える無料のツールです。Turnitin の AI 執筆検出は教育機関限定で、自分の学校がそれを有効にしているかどうかは別の問題です。この点は大学は AI 検出ツールを使っているのかで扱っています。この二つは、異なるチームが異なるモデルを使って作ったものです。それぞれ独自のデータで学習し、独自の方法で文章を判定します。検出器が異なるモデルを使えば、同じ文章でもスコアは変わります。Scribbr が 65% の AI と判定した箇所が、Turnitin では 30% になることもあれば、その逆もあります。どちらかが間違っているというわけではありません。異なるデータセットで学習した異なるモデルによる、確率の推定値にすぎないのです。

どのツールも同じ値に落ち着くような、普遍的な AI 検出スコアは存在しません。その理由は同じ文章が検出器ごとに異なるスコアになる理由で説明しています。各検出器はそれぞれ独自の推定値を出します。異なるツールのスコアを、同じものを同じ単位で測っているかのように扱うと、混乱するだけです。

ここでどちらのツールの精度が高いかを主張しているわけではありません。述べているのは、Turnitin のドキュメントが自社システムについて何と言っているか、そしてなぜそのシステムが Scribbr とは一致しないスコアを出すのかという点です。

Turnitin は、AI 執筆スコアを導き出す具体的な手順をドキュメントで示しています。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（Turnitin に論文が提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションへと分割されます。各セクションは AI 検出モデルによって分類され、その文章が人間によるものか AI によるものかを示す 0 から 1 の値が与えられます。これらのセクションに含まれる対象となる各文は、セクションのスコアをそのまま引き継ぎます。セクションは重なり合っているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。こうした文ごとのスコアはさらに集計され、文書全体の AI 執筆スコアの算出に使われます。）

手順をたどると、文を取り出し、重なり合う単位に分割し、単位ごとにスコアをつけ、文のスコアをまとめ、文書全体のパーセンテージへと集計します。Scribbr を含む他の検出器は、分割の方法、予測の単位、集計のやり方が違うかもしれません。同じ文章で同じ数字が出ることはありません。

Turnitin のドキュメントは、AI 執筆検出のパーセンテージと類似性スコアが別の指標だとも明言しています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似性スコアと AI 執筆検出のパーセンテージは完全に独立しており、互いに影響しません。）類似性が高く AI の割合が低い文書もあれば、その逆もあります。この二つの数値は互いに影響しません。

Turnitin は、偽陽性に関する具体的な目標値を公表しています。

「We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing.」（私たちは検出器の効果を最大限に高めるよう努める一方で、人が書いた文章を AI 生成と誤って判定する割合、つまり偽陽性率を、AI による記述が 20% を超える文書については 1% 未満に保っています。）

ただし、この条件が肝心です。目標値は「AI による記述が 20% を超える文書」について明示的に述べられたものです。この閾値は、多くの人が思っているような意味ではありません。その点はAI 20% は高すぎるのかで検証しています。ここまでが、Turnitin が自社システムについて述べていることです。Scribbr は精度の目標値も検証の手順も異なるでしょうし、そもそも比較できる数値を公表していないかもしれません。精度を直接比較することはできません。私たちにできるのは、Turnitin のドキュメントの記述をそのまま伝えることだけです。

文書の長さは、Turnitin の検出器が文章をどう処理するかに影響します。短い文書では、スコアの仕組みが違う動きをします。ドキュメントには次のように書かれています。

「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」（数百語ほどの短い文書では、重なりを作る余地がないまま単一のセグメントだけで予測することになるため、予測結果はほぼ『全部かゼロか』になります。）

「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（つまり、AI が生成した文章と自分で書いた文章が混ざっているテキストが、全体が AI 生成であると指摘されることがあるということです。）

長い文書でスコアをならしてくれる重なりの仕組みは、文章が単一のセグメントになると働きません。人間が書いた部分と AI が書いた部分が混ざった数百語が、100% として返ってくることがあります。Turnitin が自分の課題を 100% AI と判定する理由で説明している経路の一つです。これは短い入力に対する構造的な挙動です。Scribbr は短い文書を別の仕組みで処理するはずで、同じ文章でも違う結果になるかもしれません。

Turnitin は 20% 未満の数値を表示しません。ドキュメントには次のように書かれています。

「To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.」（偽陽性が生じる可能性を避けるため、AI 検出スコアが 1% から 19% の範囲にある場合は、スコアもハイライトも付与されません。レポート上で AI が 20% の閾値未満で検出された場合、現在はアスタリスク（*%）で示され、パーセンテージは表示されません。）

Turnitin のモデルが 10% の AI と推定した文書には、数値の 10% ではなくアスタリスクが表示されます。文章へのハイライトも付きません。理由は、確信度が低い範囲で偽陽性をわざわざ表面化させないためです。この点はTurnitin の AI スコアに出るアスタリスク（*%）の意味で詳しく解説しています。

Scribbr はこの範囲のスコアを、そのままパーセンテージで表示するかもしれません。他のツールは、値がゼロでなければどんな低さでもハイライトを付ける場合があります。Turnitin は 20% 未満では、数値もハイライトも意図的に隠します。この表示の決まりがあるため、AI の割合が低い同じ文書でも、二つのツールの出力は大きく違って見えます。

同じ文書で Scribbr と Turnitin の結果を比べているなら、要点は次のとおりです。

• モデルが別なら、スコアも別。 Scribbr と Turnitin は異なる検出モデルを使っています。スコアが一致するとは期待できません。
• Turnitin は分割と集計で採点する。 文を取り出し、重なり合う単位に分割し、採点し、まとめ、集計します。AI スコアと類似性スコアは完全に独立しています。
• Turnitin は偽陽性率 1% 未満を目標にしている（対象は AI による記述が 20% を超える文書）。
• 短い文書は全部かゼロかのスコアになる。 内容が混ざっていても、数百語が 0% か 100% で返ってくることがあります。
• 20% 未満のスコアはアスタリスクで示される。 1-19% の範囲では、数値のパーセンテージもハイライトも表示されません。

対象となる箇所は、無料で再度実行できます。