Turnitin は Claude を個別に検出するのか?モデル一覧が示すこと

Turnitin が公開しているモデル一覧には、複数の Claude 系モデルが名前入りで記載されています。本記事では、その一覧が実際に何を述べているのか、検出の仕組みが文単位でどう働くのか、なぜ一部の AI 生成文は検出されないまま残るのか、そして burstiness や perplexity ではなくモデルが何を手がかりにしているのかを検討します。

HumanPen チーム

· 5 分

まず結論から

はい。Turnitin が公開しているモデル一覧には、複数の Claude 系モデルが記載されています。一覧には、英語で提出された文書に対する Turnitin の AI ライティング検出モデルが、Claude-3-Haiku、Claude Sonnet-3.5、Claude Sonnet-3.7、Claude Sonnet-4.5、Claude Sonnet-4.6、Claude-Haiku-4.5、Claude-Opus-4.5 を含む一群のモデルに由来するコンテンツを検出できるとあります。一覧はさらに「tools based on these LLMs as well,」(これらの LLM を基盤としたツールも同様に)に及ぶとしており、Claude の言語モデルの上に構築されたアプリケーションも、示された検出対象の範囲に入ることを意味します。

とはいえ、一覧に載っているからといって、Claude が生成したすべての箇所が指摘されるわけではありません。Turnitin 自身、AI が書いた文の一部は検出されないまま残ること、そしてモデルが更新されるにつれて検出能力は変化していくことを認めています。つまり正直な答えはこうです。Claude は対象に含まれているが、対象であることと保証は別だ、と。

モデル一覧には何と書かれているか

Turnitin は、モデルごとに検出の合否をまとめた表を公開しているわけではありません。その代わり、ドキュメントの中に一覧が本文埋め込みで示されています。導入文は次のように始まります。「Currently, Turnitin's AI writing detection model for English submissions can detect content from」(現在、英語で提出された文書に対する Turnitin の AI ライティング検出モデルは、以下に由来するコンテンツを検出できます)そして、上で挙げた Claude 系モデルに加えて GPT、Gemini、LLaMA、Mistral、Deepseek、Nova、Grok、o1-mini を含む一覧が続きます。この並びこそ、Turnitin は Claude や Copilot、Gemini を検出するのか が逆側から検討しているものです。一覧の結びでは、対象は「tools based on these LLMs as well.」(これらの LLM を基盤としたツールも同様に)にまで及ぶとされています。一覧の後に続く文はこうです。「We will continue to expand our detection capabilities to other models in the future.」(今後も他のモデルへと検出能力を拡大していきます)

鍵になる表現は「can detect content from」(に由来するコンテンツを検出できる)です。この言い回しから分かるのは、検出器がこれらのモデルの生成文を認識するよう訓練されているということです。完璧な検出を約束するものではありません。Claude について言えば、Claude の言語モデルを使って文章を生成するツールやサービスはすべて、示された範囲に入るということです。検出器がすべての事例を捕捉できるかどうかは別の問題であり、それは後ほど扱います。

検出の仕組みはどうなっているのか

検出が単純な二者択一にならない理由を理解するには、Turnitin が説明している仕組みを見るのが近道です。文書が Turnitin に提出されると、提出文から文が抽出され、予測分析のために重なり合う区間に分割されます。それぞれの区間は AI 検出モデルによって分類され、0 から 1 の間の値が与えられます。これは、そのテキストが人間によるものか AI によるものかを示す確率です。区間内の各対象文は、その区間のスコアを引き継ぎます。区間は重なり合っているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。こうした文ごとのスコアはさらに集約され、文書全体の AI ライティングスコアの算出に使われます。

レポートに出る最終的なパーセンテージは、文単位の小さな予測を多数集計したものです。文書全体に AI か人間かの判子を押す、一度きりのスキャンではありません。どの文も全体値に寄与しており、区間の重なりによって境界線上のケースがならされます。

検出能力は時間とともに変わる

Turnitin のモデルは固定されたものではありません。ドキュメントには次のようにあります。「As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed.」(より新しい LLM を検出できるようモデルの改良と開発を続けるなかで、検出能力も変化していく可能性が高く、それは AI の割合にも影響します。ただし、提出済みの文書については、再度提出されて処理されない限り、AI の割合は変わりません)

これには実務上の意味があります。今日文書を提出してある AI の割合が出たとしても、同じ文書を数週間後や数か月後に再提出すれば、別の割合になる可能性があります。モデルは更新されますし、その更新はスコアをどちらの方向にも動かし得ます。今日は人間が書いたように見える箇所が、更新後は AI 生成と判断されることもあれば、その逆もあります。

Claude のテキストについては、今あなたが経験する検出率が、後で経験するものと一致するとは限らないということです。モデル一覧は Claude が対象内にあることを示していますが、Turnitin がモデルを改良していくなかで、その検出の感度は変わり得ます。

一部の AI 文が見逃される理由と、検出を動かしているもの

Turnitin は、検出器がすべてを捕捉できるわけではないことを隠していません。ドキュメントには次のようにあります。「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.」(偽陽性を 1% という低い水準に保つため、文書内の一部の AI 生成文を見逃す可能性があります)

これは意図されたトレードオフです。Turnitin は偽陽性率の低さを優先しており、だからこそ一部の AI 文がすり抜けることを受け入れています。検出器は慎重な側に倒れていて、人間の文章を誤って指摘するくらいなら、AI 文を見逃すほうを選びます。

検出器がこのように働く理由を理解するには、それが実際に何を測っているのかを見る必要があります。Turnitin のモデルは、AI 検出についての公の議論でよく話題になる指標には依拠していません。Turnitin は AI 検出に perplexity や burstiness を使っているのか があの結び方になるのは、そのためです。ドキュメントには次のようにあります。「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data.」(私たちのモデルは、'burstiness,' 'perplexity,' といった特定のシグナルや、公の議論で引き合いに出されることのある個別の指標を評価するよう明示的にプログラムされているわけではありません。その代わり、訓練データから統計的なパターンを学習します)モデルはその学習結果をテキストの分類に適用します。Turnitin の言い方を借りれば、「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」(私たちの分類器は、単語確率におけるこうした違いを検出するよう訓練されており、人間の書き手に特有の単語確率の並びに精通しています)とのことです。

言い換えれば、検出器が見ているのは単語確率のパターンであって、文の長さのばらつきや語彙の珍しさといった表層的な手がかりではありません。だからこそ、編集や書き直しが大きく入った AI 文が検出をすり抜けることがあり、Turnitin は AI 人間化ツールを検出するのか が個別のケースごとに答えるほかないのです。編集の過程で単語確率の並びが十分に変われば、分類器はそのテキストを AI 生成と認識しなくなることがあります。

レポートで指摘されたときにすべきこと

Turnitin のレポートで一部の箇所が AI 生成と指摘された場合、最も現実的なのは、文書全体を書き直すのではなく指摘された箇所だけに対応することです。Turnitin のレポートで指摘された段落だけを書き直す で紹介している方法がまさにこれです。Turnitin は文単位で採点するため、検出の引き金となった区間を特定し、そこに修正を集中させることができます。

引用、表、書式はそのままにしておいてください。手を入れる必要があるのは、AI と指摘された箇所だけです。修正して再提出する場合は、AI の割合は自分の編集だけでなくモデルの更新によっても動き得ることを覚えておいてください。

対象となる箇所は、追加料金なしで再実行できます。

続きを読む