StealthWriter と Turnitin を比べる：ドキュメントが実際に書いていること

StealthWriter の FAQ は、検出スコアを「入力のうち自然な文章と判定した割合」と定義しています。Turnitin が説明しているのは、後述の手順で算出される AI ライティングのパーセンテージです。確認したソースには、この二つの呼び方を結びつける換算ルールは書かれていません。ですから、片方の製品の数値をもう片方の数値に置き換えることはできません。

どのツールでも同じ値になるような共通の AI 検出スコアは存在しません。その差がどこから生まれるのかは、同じ文章なのに検出器ごとに判定が変わる理由でたどっています。検出器はそれぞれ独自の推定値を出します。別々のツールのスコアを、同じものを同じ単位で測っているかのように扱うと、混乱するだけです。

どちらのツールの精度が高いか、私たちが判断を示すわけではありません。この記事のために、ベンダーをまたいだ精度テストや一致率テストを再現したわけではありません。それぞれの結果は、そのベンダー自身の定義に照らして読む必要があります。

Turnitin は、AI ライティングスコアを出すまでに次のような固有の手順を踏むとドキュメントに書いています。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文が Turnitin に提出されると、提出物から文が取り出され、予測分析のために重なり合う区間に分割されます。それぞれの区間は AI 検出モデルによって分類され、その文章が人間由来か AI 生成かを示す確率として 0 から 1 の値が与えられます。これらの区間に含まれる対象となる文は、区間のスコアをそのまま引き継ぎます。区間は重なっているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。こうした文単位のスコアはさらに集計され、文書全体の AI ライティングスコアの計算に使われます。）

手順をたどると、文を取り出し、重なり合う単位に分割し、区間ごとに採点し、文のスコアをまとめ、それを文書全体のパーセンテージに集計していきます。この記事で確認した StealthWriter の公開ページには、これに相当する分割・集計の流れは書かれていません。したがって現在の情報源からは、StealthWriter が同じ手法を使っているとも、別の手法を使っているとも言えません。

Turnitin のドキュメントは、AI ライティング検出のパーセンテージと Similarity スコアが別ものであるとも説明しています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（Similarity スコアと AI ライティング検出のパーセンテージは完全に独立しており、互いに影響しません。）Similarity スコアは、提出された文書を Turnitin の類似性チェック用コンテンツ群と照合したときに、一致が見つかった割合を示すものです。類似性が高く AI の割合が低い文書もあれば、その逆もあります。Turnitin の AI ライティングレポートと Similarity レポートの違いは、この二つをきっぱり分けています。二つの数値は互いに影響しません。

Turnitin は偽陽性について具体的な目標値を公開しています。

「We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing.」（私たちは、検出器の効果を最大にするよう努めるとともに、偽陽性率、つまり完全に人間が書いた文章を誤って AI 生成と判定してしまう割合を、AI ライティングが 20% を超える文書について 1% 未満に保つことを目指しています。）

ドキュメントは同じことを次のようにも言い換えています。「In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.」（言い換えれば、完全に人間が書いた文書 100 件のうち 1 件を、AI が書いたものとして示す可能性があるということです。）この言い換えでは「AI ライティングが 20% を超える」という条件が落ちています。20% という閾値を含んだほうの記述のほうが正確です。その閾値があなた自身のスコアについて何を意味し、何を意味しないのかは、AI 20% は高すぎるのかで扱っています。

この目標を裏付けるため、Turnitin はテスト体制を次のように説明しています。「To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate.」（テスト体制を強化し、偽陽性の統計的な傾向を把握するため、私たちは更新や新モデルの公開のたびに、ChatGPT の登場前に書かれた 700,000 件を超える追加の学術論文でテストを実施し、偽陽性率が 1% 未満であることをさらに検証しています。）

これは Turnitin が自社のシステムについて述べていることです。StealthWriter は精度の目標が違うかもしれませんし、検証の手順が違うかもしれませんし、比較できる数値を公開していないかもしれません。精度を直接比較することはできません。私たちにできるのは、Turnitin のドキュメントに書かれていることをそのまま伝えることだけです。

文書の長さは、Turnitin の検出器がテキストを処理する方法に影響します。短い文書では、採点の仕組みが違う動きをします。ドキュメントには次のように書かれています。

「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」（数百語しかない短い文書では、重ね合わせを行う余地がなく一つの区間だけで予測することになるため、判定はほぼ「all or nothing（全部かゼロか）」になります。）

「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（つまり、AI 生成の文章と自分で書いた文章が混ざっているテキストでも、全体が AI 生成であると示される場合があるということです。）

長い文書でスコアをならしてくれる重ね合わせの仕組みは、テキストが一つの区間しかない場合には働きません。人間が書いた部分と AI の部分が混ざった数百語が、100% として返ってくることもあります。Turnitin があなたの課題を 100% AI と判定する理由で取り上げている経路の一つがこれです。これは短い入力に対する構造的な挙動です。

この短い入力での挙動は、Turnitin についてドキュメント化されているものです。確認した StealthWriter のページには、短い入力に関する同等の仕組みの記述がないため、この記事では StealthWriter に同じ仕組みがあるとも別の仕組みがあるとも言いません。

Turnitin は 20% 未満の数値を表示しません。ドキュメントには次のように書かれています。

「To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.」（偽陽性が生じるおそれを避けるため、AI 検出スコアが 1% から 19% の範囲にある場合は、スコアもハイライトも付与しません。レポート上で AI の検出が 20% の閾値を下回る場合、現在はアスタリスク (*%) で示し、パーセンテージは付与しません。）

Turnitin のモデルが 8% の AI と推定した文書には、レポート上では数字の 8% ではなくアスタリスクが表示されます。テキストにハイライトが付くこともありません。信頼度が低い範囲で偽陽性の可能性を表面化させないようにするのが理由で、この点はTurnitin の AI スコアに出るアスタリスク (*%) の意味で詳しく扱っています。

アスタリスクのルールは Turnitin のものです。確認した StealthWriter のページは独自のスコアを定義していますが、同じように低い値だった場合の表示については記述がありません。別途ドキュメント化されたテストなしに、換算や表示の違いを推測しないでください。

同じ文書で StealthWriter と Turnitin の結果を比べているなら、要点は次のとおりです。

• 定義が別で、換算ルールもない。 StealthWriter は自然さのパーセンテージを定義し、Turnitin は AI ライティングのスコアをドキュメント化しています。確認したソースに両者の対応づけはありません。
• Turnitin は分割と集計で採点する。 文を取り出し、重なり合う単位に分割し、採点し、まとめ、集計します。AI スコアと Similarity スコアは完全に独立しています。
• Turnitin は偽陽性 1% 未満を目標としている（AI ライティングが 20% を超える文書について）。ChatGPT 登場前に書かれた 700,000 件を超える追加の学術論文で検証されています。
• 短い文書は「全部かゼロか」のスコアになる。 数百語でも、混在した文章であれば 0% または 100% として返ってくることがあります。
• 20% 未満のスコアはアスタリスクで示される。 1% から 19% の範囲では、数値のパーセンテージもハイライトも表示されません。

条件を満たす箇所は、無料で再実行できます。