Winston AI と Turnitin：AI 判定スコアが食い違う理由

Winston AI と Turnitin は別の AI 判定ツールです。モデルも学習データも、判定のしきい値も違います。片方のスコアからもう片方のスコアを予測することはできません。Turnitin の FAQ は仕組みをこう説明しています。テキストは重なり合う区間に分割され、それぞれに 0 から 1 の確率が付けられる、と。同じ FAQ には、AI 記述が 20% を超える文書について偽陽性率を 1% 未満に抑えるという目標値と、1〜19% のスコアにはアスタリスクを使うという決まりも書かれています。Winston AI は独自の精度を公表していますが、それはベンダー自身が出した数字であり、Turnitin のドキュメントと突き合わせて確かめることはできません。意味を持つのは、自分の所属先が使っているツールのスコアだけです。学校が Turnitin を使っているなら、第三者ツールのスコアから自分の Turnitin スコアを知ることはできません。

FAQ には、判定の流れがこう書かれています。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."（論文が Turnitin に提出されると、提出文から文が抽出され、予測分析のために重なり合う区間に分割されます。各区間は AI 判定モデルによって分類され、0 から 1 の値が与えられます。これは、そのテキストが人間によるものか AI によるものかを示す確率です。）

区間は重なり合っているため、同じ文に複数のスコアが付くことがあり、それらがまとめられて文書全体のパーセンテージになります。Winston AI は独自の分類方法を使っていますが、Turnitin の資料にはその記載がありません。仕組みが違えば、テキストの見方も変わります。

FAQ には、はっきりとした目標値が示されています。

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing."（私たちは判定器の効果を最大限に高めることを目指しつつ、偽陽性率、つまり人が書いたテキストを誤って AI 生成と判定してしまう割合を、AI 記述が 20% を超える文書について 1% 未満に保つよう努めています。）

その次の文です。"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents."（言い換えれば、人が書いた文書 100 件のうち 1 件は、AI が書いたものとして判定してしまう可能性があるということです。）

この目標値は Turnitin 独自のもので、AI 記述が 20% を超える文書に適用されます。Winston AI が公表している偽陽性率はこれと異なるかもしれませんが、2 つの数字を比べるには、それぞれのベンダーが偽陽性をどう定義し、どう測っているのかを押さえておく必要があります。私たちは第三者ツールの精度について断言しません。

低いスコアについては、Turnitin には独自の表示ルールがあります。

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."（偽陽性が生じる可能性を避けるため、AI 判定スコアが 1% から 19% の範囲にある場合、スコアもハイライトも付与されません。レポート上で AI が 20% 未満と判定された場合は、アスタリスク（*%）で示され、パーセンテージは表示されません。）

Winston AI はこの決まりを使わず、この範囲でも具体的なパーセンテージを表示します。Turnitin で「*%」と出るレポートが、Winston AI では「14%」と出ることもあります。だからといって、どちらかが正確だということではありません。信頼度の低い範囲の扱い方が違う、ということです。Turnitin 側の話はアスタリスク（*%）が Turnitin の AI スコアで意味するものにまとめています。

FAQ には、短い文書がどう振る舞うかも書かれています。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語程度の短い文書では、重ね合わせの機会がないまま単一の区間に対して予測を行うため、予測はほぼ「全部かゼロか」になります。）

その次の文です。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（つまり、AI が生成した内容と自分で書いた内容が混ざっているテキストでも、全体が AI 生成と判定される可能性があるということです。）

これは Turnitin の区間分割のやり方によるものです。Winston AI が短いテキストで同じ挙動を示すかどうかは分かりません。短い抜き書きを Winston AI で調べて 0% になったとしても、それは Turnitin がどう動くかを何も教えてくれません。この挙動の反対側にあるのがTurnitin に 100% AI と判定された場合です。

Turnitin では、AI スコアと類似性スコアは独立しています。"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."（類似性スコアと AI 記述判定のパーセンテージは完全に独立しており、互いに影響しません。）AI と類似性を 1 つの数字にまとめてしまう判定ツールもありますが、それでは Turnitin が別に出している AI のパーセンテージとは構造的に比べようがありません。提出にあたって意味を持つのは、自分の所属先が使っているツールが出したスコアだけです。同じテキストが判定ツールごとに違うスコアになる理由では、この差がなぜ構造的なものなのかを説明しています。

ここまでの内容をまとめます。

• Winston AI と Turnitin はモデルが異なる別の判定ツールです。スコアは一致しません。
• Turnitin の判定器はテキストを重なり合う区間に分割し、それぞれに確率を付けます。
• Turnitin の偽陽性の目標値は、AI 記述が 20% を超える文書について 1% 未満です。
• Turnitin は 1〜19% のスコアにアスタリスクを使い、精度を過大に見せないようにしています。
• 短い文書では、Turnitin の判定は「全部かゼロか」になります。
• 意味を持つのは、自分の所属先が使っているツールのスコアだけです。

Turnitin の AI レポートを受け取って、指摘された箇所に手を入れたい場合は、レポートを取り込んで作業してください。対象となる箇所は、追加料金なしで再実行できます。