Originality.ai と Turnitin の AI 検出：公式ドキュメントが語る内容

Originality.ai と Turnitin は別々の AI 検出ツールで、モデルも学習データも判定基準も異なります。そのため、片方のスコアからもう片方を予測することはできません。Turnitin の FAQ によれば、文章は重複するセグメントに分割され、それぞれが 0 から 1 の確率スコアで判定されます。また、AI 執筆が 20% を超える文書において、誤検出率を 1% 未満に抑えることを目標としており、1〜19% の範囲ではアスタリスク表示を採用しています。Originality.ai も独自に精度を公表していますが、これはベンダー側の主張であり、Turnitin のドキュメントと独立して検証できるものではありません。本当に重要なのは、あなたの所属機関が使っているツールのスコアです。学校が Turnitin を使っている場合、第三者のツールで Turnitin のスコアを事前に知ることはできません。

FAQ では検出プロセスを以下のように説明しています：

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."（論文が Turnitin に提出されると、文章から文が抽出され、予測分析のために重複するセクションに分割されます。各セグメントは AI 検出モデルによって分類され、0 から 1 の値が割り当てられます。これは、その文章が人間によるものか AI 生成のものかを示す確率です。）

セグメントは重複しているため、一つの文が複数のスコアを受けることがあり、それらが統合されます。この統合によって個々の判定誤差が平滑化され、文書全体のスコアに反映されます。Originality.ai は独自の分類アプローチを採用していますが、Turnitin の資料には記載されていません。両システムは構造も文章の評価方法も異なります。

FAQ では具体的な目標値が示されています：

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."（当社は検出ツールの効果を最大化しつつ、誤検出率（完全に人間が書いた文章を AI 生成と誤って判定する割合）を、AI 執筆が 20% を超える文書において 1% 未満に抑えることを目指しています。）

続けてこう説明されています： "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."（つまり、完全に人間が書いた文書 100 件のうち 1 件は、AI 執筆と誤ってフラグが立つ可能性があります。）

この目標は Turnitin 独自のもので、AI 執筆が 20% を超える文書に適用されます。Originality.ai も独自の誤検出率を持っている可能性がありますが、両者を比較するには、各ベンダーが誤検出をどのように定義・測定しているかを理解する必要があります。当社は第三者の検出ツールについて精度の主張は行いません。分かっているのは、Turnitin が自社のモデルについてこの目標を明示しているという点です。この誤検出率が大学レベルで 75,000 件の論文を処理する際にどのような意味を持つかについては、大学が 75,000 件の論文を提出する際の 1% 誤検出率の意味 で詳しく解説しています。

Turnitin には低スコア時の表示ルールがあります：

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed."（誤検出の発生を防ぐため、AI 検出スコアが 1% から 19% の範囲ではスコアもハイライトも表示されません。レポート上で AI が 20% の閾値を下回って検出された場合、アスタリスク（%）で示され、百分比は表示されません。）

つまり、Turnitin のスコアに「%」と表示されている場合、20% 未満の AI が検出されたことを意味しますが、誤検出が出やすい低信頼度範囲で精度を過大評価しないよう、正確な百分比は伏せられています。Originality.ai はこのルールを採用しておらず、この範囲でも具体的な百分比を表示します。Turnitin で「%」と表示された論文が、Originality.ai では「15%」と表示されることもあります。これは片方が他方より正確だという意味ではありません。低信頼度範囲の扱い方が異なるだけです。Turnitin のアスタリスク表示については、Turnitin の AI スコアでアスタリスク（*%）が意味するもの をご覧ください。

異なる AI 検出ツールが同じ文章に対して異なるスコアを出すのは、使用するモデル、学習データ、閾値がすべて異なるためです。Turnitin の FAQ によれば、同社のモデルは重複するセグメントのスコアを統合して文書レベルの百分比を算出します。他の検出ツールなら、異なるセグメント分割戦略、異なるスコアリング尺度、異なる集計方法を使っているかもしれません。FAQ では短い文書についても言及されています： "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語しかない短い文書では、予測はほぼ「オール・オア・ナッシング」になります。重複の機会がない単一のセグメントで予測を行うためです。）Originality.ai が短い文書で同じ挙動を示すかどうかは不明です。

Turnitin では AI スコアと類似性スコアも独立しています： "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."（類似性スコアと AI 執筆検出百分比は完全に独立しており、互いに影響しません。）AI と類似性を一つのスコアにまとめる検出ツールの場合、Turnitin の AI 百分比と比較できない数値になります。同じ文章が検出ツールごとに異なるスコアになる理由については、なぜ同じ文章が検出ツールごとに異なるスコアになるのか にまとめてあります。

ここまで説明したことをまとめると：

• Originality.ai と Turnitin は異なるモデルを持つ別の検出ツールです。スコアは一致しません。
• Turnitin の検出ツールは文章を重複するセグメントに分割し、0 から 1 の確率スコアを割り当てます。
• Turnitin の誤検出目標は、AI 執筆が 20% を超える文書において 1% 未満です。
• Turnitin は精度を過大評価しないよう、1〜19% の範囲でアスタリスクを表示します。
• 短い文書では単一セグメントでの評価となるため、Turnitin ではオール・オア・ナッシングの予測になります。
• 本当に重要なのは、あなたの所属機関が使っているツールのスコアです。

Turnitin の AI レポートを受け取ってフラグが立った箇所を対処したい場合は、レポートをインポート して作業を進めてください。対象となる箇所は無料で再実行できます。