単語の確率とTurnitin：分類器が実際に読んでいるもの

文中のどの単語にも、その文脈の中で現れる確率があります。たとえば「実験で有意な」と書いた場合、次に来る単語は「パイナップル」よりも「結果」である可能性が高くなります。言語モデルは手前の文脈からこうした確率を見積もりますが、Turnitinの分類器も同じことをしています。やり方は違いますが。

単語の確率とは、前に並んでいる単語を踏まえて、その語の選択がどれだけ予測しやすいかを指します。文章を生成するモデルは、最も予想されやすい、統計的にありふれた選択肢を選ぶ傾向があります。対照的に人が書く場合は、予測しにくい語、めずらしい動詞、その分野特有の名詞、AIモデルなら従うはずの統計的なパターンから外れる言い回しを選ぶことが少なくありません。

Turnitinは次のように明言しています。同社の分類器は「trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」（こうした単語の確率の違いを見分けるよう訓練されており、人が書く文章に特有の単語の確率の並びによく通じている）。分類器はキーワードを数えているわけではありません。人が書いた文章とAIが生成した文章の両方を含む学習データからつかんだパターンと、ご自身の語の選択が示す確率の分布とを照らし合わせているのです。

これが大切なのは、文法の上では完璧な文章が二つあっても、単語の確率は大きく違うことがあるからです。人が書いた文章には、思いがけない比喩が入ったり、学術的な文の中に口語的な表現が混ざったり、AIモデルなら類義語を使うだろう箇所で同じ語が繰り返されたりします。その一つ一つが、分類器の読む確率の輪郭を動かします。

論文がTurnitinに届くと、処理は分割から始まります。文が取り出され、重なり合う区間に分けられ、それぞれの区間がAI検出モデルによって個別に採点されます。各区間には0から1までの値が与えられ、それは人による文章ではなくAIによる生成である確率を表します。

Turnitinはこの処理の流れをはっきり説明しています。「Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.」（各区間はAI検出モデルによって分類され、0から1までの値が与えられます。その値は、文章が人によるものかAIによって生成されたものかという確率を示すものです）。重なり合う区間に含まれる文はその区間のスコアを引き継ぎ、ある文が複数の重なり合う区間に現れた場合は、それらのスコアが一つの値にまとめられます。そして文単位のスコアが集まって、文書全体のAI執筆スコアになります。

この流れの中核にあるのは、transformerに基づくモデルです。Turnitinのアーキテクチャに関するドキュメントにはこうあります。「Our current system uses a modern deep learning approach based on the transformer architecture.」（現行のシステムは、transformerアーキテクチャに基づく現代的な深層学習の手法を用いています）。transformerは区間をまたいで単語の確率の並びを読み取り、どの並びが人による執筆に特徴的で、どの並びがAIによる生成に特徴的かを学びます。

押さえておきたいのは、分類器が単語を一つだけ取り出して見ているわけではないという点です。テキストの区間全体にわたって、語の選択の並びを読んでいます。めずらしい単語が一つあるだけではスコアは大きく動きません。ところが、人がごく自然に生み出すような、確率の低い語の選択が続くパターンは、人によるものとして記録されます。逆に、確率が高く統計的に予測しやすい選択が続くパターンは、AIらしいものとして記録されます。

AI検出を扱う記事の多くは、中心的な指標として「パープレキシティ」に触れています。パープレキシティは定義の上では、単語の確率を測る尺度です。ある語の並びに対して言語モデルがどれだけ驚くかを数値にしたものです。パープレキシティが低ければ、その語は予測できたということであり、高ければ予測できなかったということです。

ここで決定的に大事な微妙な点が出てきます。Turnitinは、パープレキシティを名前のついた指標として計算していることをはっきり否定しています。「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.」（当社のモデルは、「burstiness」や「perplexity」といった、公開の議論でときおり言及される個別の指標を評価するよう明示的にプログラムされているわけではありません）。そして続けてこう述べます。「Instead, it learns statistical patterns from our training data.」（その代わりに、学習データから統計的なパターンを学びます）。

では、Turnitinはパープレキシティを見ているのでしょうか、見ていないのでしょうか。答えは単純な二者択一よりも込み入っています。パープレキシティは単語の確率の尺度であり、Turnitinの分類器は単語の確率のパターンで訓練されています。とはいえ分類器は、パープレキシティのスコアを一つ計算して数式に流し込んでいるわけではありません。transformerは学習データから複雑な統計的パターンを学びます。そのパターンには単語の確率も含まれますが、名前のついた一つの指標に還元できるものではありません。

Turnitinは次のように説明しています。「As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules.」（そのため出力は、人間にも読める少数の透明なルールによってではなく、学習された多くのパターンが組み合わさって生み出されます）。実践的な結論としては、「Turnitinはパープレキシティを調べている」と言うのは単純化のしすぎだということです。分類器は単語の確率のパターンを全体として学んでおり、そのパターンはすべての区間のスコアに影響しますが、自分で計算できる数式に落とし込めるものではありません。

2026年七月、Turnitinはアーキテクチャを大きく変えました。同社のドキュメントは次のように確認しています。「In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate.」（2026年七月に、複数のモデルからなるアンサンブルを単一のモデルにまとめるため、モデルアーキテクチャを更新しました。この更新によりAI執筆レポートは改善・簡素化され、誤検出率は1%未満に保たれます）。

この変更の前は、複数のモデルが使われ、その出力が組み合わされていました。複数のモデルによるアンサンブルは、スコアの集約の仕方を複雑にする可能性があり、モデルごとに単語の確率のパターンへの重みづけが違うこともあります。単一のモデルになったことで、分類器が訓練中に学んだ単語の確率のパターンが、文書全体に一貫して適用されるようになりました。

誤検出率は1%未満のままです。つまり、完全に人が書いた文書100件のうち、AI生成だと誤って指摘されるのは1件未満です。この率を低く保つために、モデルは実際にAIが生成した文章の一部を見逃す可能性があります。この両立の問題については、次のセクションで見ていきます。

分類器が単語の確率の並びを読んでいると分かると、実践的な気づきがいくつか見えてきます。

第一に、磨き上げられた紋切り型の文章は、AIに見えやすくなります。Turnitin自身、誤検出には「content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（構造の変化に乏しい内容、文字どおり同じことを繰り返す文章、新しい考えを深めずに言い換えられた文章）が関わることが多いと述べています。文章の構造が均一で、ありふれた予測しやすい語ばかり使われていると、分類器がAI生成と結びつける確率の高いパターンに似てくることがあります。

第二に、本物の個性のある文章は人らしく見えやすくなります。めずらしい語の選択、変化に富んだ文の構造、独自の言い回しは、人による執筆と結びつく確率の低い並びを生みます。これは誤りを混ぜ込むという話ではなく、統計的な平均ではなく本物の自分自身の声が出るように考えを表現するという話です。

第三に、AI文章の一部は見逃されるとTurnitinははっきり認めています。同社はこう述べています。「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.」（誤検出率をこの1%という低い水準に保つため、文書内のAIが書いた文章の一部を見逃す可能性があります）。さらに具体的な例も示しています。「If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」（文書の50%がAIツールによって書かれた可能性が高いと判定した場合、実際には最大65%のAI文章が含まれている可能性があります）。ご自身の文書が中ほどの割合で指摘されたなら、実際のAI文章の割合はそれより高いかもしれません。

この較正の差には二つの意味があります。学生にとっては、誤検出はまれですが起こり得ます。とりわけ磨き上げられた、あるいは反復的な学術文章ではなおさらです。教員にとっては、示された割合は正確な測定値ではなく、控えめな推定として読むべきだということです。指針は明快です。語の選択と構造に本物の変化をつけて書き、スコアは決定的な数え上げではなく確率の評価だと理解してください。HumanPenというツールをこちらから試せます。