Humbot と Turnitin：公式ドキュメントに実際に書かれていること

Humbot の AI 検出器と Turnitin の AI 文章検出は、別のチームが別のモデルを使って作っています。学習に用いたデータも、テキストを判定する方法もそれぞれ独自です。モデルが違えば、同じ文章でも出てくるスコアは変わります。Humbot が 70% AI と判定した箇所に、Turnitin が 25% とつけることもあれば、その逆もあります。どちらかが間違っているという話ではありません。学習データの異なるモデルが、それぞれ確率を推定した結果にすぎないのです。

どのツールでも同じ値に落ち着く、共通の AI 検出スコアというものは存在しません。この点は検出器によって同じ文章のスコアが変わる理由で詳しく解説しています。検出器はそれぞれ独自の推定値を出します。違うツールのスコアを、同じ単位で同じものを測っているかのように扱うと、かえって混乱します。

ここでどちらの精度が高いかを主張するつもりはありません。Turnitin のドキュメントが自社のシステムについて述べている内容と、そのスコアが Humbot と一致しない理由を説明しているだけです。

Turnitin は AI 文章スコアに至るまでの一連の手順を定めています。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（Turnitin に提出された論文からは文が抽出され、予測分析のために重なり合うセグメントへと分割されます。各セグメントは AI 検出モデルによって分類され、そのテキストが人間によって書かれたものか AI によって生成されたものかを示す確率として、0 から 1 の値が与えられます。セグメント内の条件を満たす各文には、そのセグメントのスコアが引き継がれます。セグメントは重なっているため、複数のスコアを持つ文もあり、それらは 1 つのスコアに統合されます。こうして得られた文のスコアがさらに集計され、文書全体の AI 文章スコアが算出されます。）

手順をたどると、文を抽出し、重なりのある単位に分割し、セグメントごとに採点し、文のスコアを統合し、文書全体のパーセンテージへと集計していく流れになります。Humbot を含むほかの検出器は、分割の方法、予測の単位、集計の手法が異なる可能性があります。そのため、同じ文章でも両者が一致する数値を出すことはありません。

Turnitin のドキュメントは、AI 文章検出のパーセンテージと Similarity スコアが別物であるとも説明しています。"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."（Similarity スコアと AI 文章検出のパーセンテージは完全に独立しており、互いに影響を及ぼしません。）Similarity スコアは、提出された文書が Turnitin の照合用コンテンツ群と比較してどの程度の一致を含むかを示す割合です。類似性が高く AI 判定が低い文書もあれば、その逆もあります。両方の数値は互いに影響しません。

Turnitin は偽陽性について具体的な目標値を公表しています。

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."（検出器の効果を最大限に高めつつ、AI 文章の割合が 20% を超える文書については、人間が書いたテキストを AI 生成と誤って判定する割合、すなわち偽陽性率を 1% 未満に抑えるよう努めています。）

ドキュメントはこれを次のように言い換えています。"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."（言い換えれば、すべて人間が書いた文書 100 件のうち 1 件については、AI が書いたものとして警告を出す可能性があるということです。）この言い換えでは「AI 文章が 20% 超」という条件が省かれています。20% という基準を明記したほうが正確で、AI 20% は高すぎるのかでは、その数値が合格ラインではなく開発側の設計目標にすぎないことを説明しています。

この目標を裏付けるため、Turnitin はテストの枠組みについて次のように述べています。"To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate."（テストの枠組みを強化し、偽陽性の統計的な傾向を把握するため、更新や新モデルのリリースのたびに、ChatGPT の公開前に書かれた 700,000 件以上の学術論文を追加でテストし、偽陽性率が 1% 未満であることを検証しています。）

ここまでが、Turnitin 自身のシステムについて述べている内容です。偽陽性率 1% が意味するところでは、この数値を大学が実際に提出する文書の量に当てはめています。Humbot は精度の目標も検証の方法も異なる可能性があり、同等の数値を公表していないかもしれません。精度を直接比較することはできません。お伝えできるのは、Turnitin のドキュメントに書かれている内容だけです。

文書の長さは、Turnitin の検出器がテキストをどう処理するかに影響します。短い文書では、スコアの付け方が変わります。ドキュメントには次のように書かれています。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語程度の短い文書では、重ね合わせの余地がない単一のセグメントに対して予測を行うため、予測結果はおおむね「all or nothing（全部かゼロか）」になります。）

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（つまり、AI が生成した文章と自分で書いた文章が混ざっているテキストであっても、全体が AI 生成と判定されることがあるということです。）

長い文書でスコアをならしてくれる重ね合わせの仕組みは、テキストが単一のセグメントしかない場合には働きません。人間が書いた部分と AI が書いた部分が混在する数百語の文章が、100% というスコアになって返ってくることもあります。これはTurnitin が提出物を 100% AI と判定する理由で挙げている原因のひとつです。短い入力に対して構造的に起こる挙動です。

同じ短い文書でも Humbot のスコアが違ってくるのは、短い入力の処理の仕方が両者で異なることも一因です。

Turnitin は 20% 未満の数値スコアを表示しません。ドキュメントには次のように書かれています。

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."（偽陽性が発生するおそれを避けるため、AI 検出スコアが 1% から 19% の範囲では、スコアもハイライトも付与されません。レポート上で AI の割合が 20% の基準を下回る場合、現在はアスタリスク（*%）で示され、パーセンテージは付与されません。）

Turnitin のモデルが 8% AI と推定した文書でも、レポートに表示されるのは 8% という数値ではなくアスタリスクです。テキストにハイライトが付くこともありません。確信度の低い範囲で偽陽性を表面化させないようにするための措置で、この点はTurnitin の AI スコアに出るアスタリスク（*%）の意味でさらに掘り下げています。

Humbot はこの範囲のスコアをそのままパーセンテージで表示するかもしれません。ほかのツールでは、AI の割合がわずかでもあればハイライトを付けるものもあります。Turnitin は 20% 未満では数値もハイライトも意図的に表示しません。この表示ルールの違いがあるため、AI の割合が低い同じ文書でも、両者の出力は大きく異なります。

同じ文書で Humbot と Turnitin の結果を比べているなら、要点は次のとおりです。

• モデルが別なら、スコアも別。 Humbot と Turnitin は異なる検出モデルを使っています。スコアが一致することは想定されていません。
• Turnitin は分割と集計でスコアを出す。 文を抽出して重なりのある単位に分割し、採点して統合し、集計します。AI スコアと Similarity スコアは完全に独立しています。
• Turnitin は偽陽性率 1% 未満を目標としている。 対象は AI 文章の割合が 20% を超える文書で、ChatGPT の公開前に書かれた 700,000 件以上の学術論文で検証されています。
• 短い文書のスコアは「全部かゼロか」になる。 数百語の文章は、内容が混在していても 0% または 100% と返ってくることがあります。
• 20% 未満のスコアはアスタリスクで示される。 1% から 19% の範囲では、数値のパーセンテージもハイライトも表示されません。

条件を満たす箇所は、追加料金なしで再実行できます。