Turnitin は LLaMA を検出できる？公式モデル一覧の中身

答えはイエスだ。Turnitin が公開しているモデル一覧には、LLaMA がはっきりと名前を挙げられている。一覧によれば、英語で提出された文書を対象とする Turnitin の AI ライティング検出モデルは、LLaMA をはじめ GPT、Gemini、Claude、Mistral、DeepSeek、Nova、Grok、o1-mini といったモデル群による生成物を検出できるという。さらに一覧は「tools based on these LLMs as well,」（これらの LLM を基にしたツールも同様に）対象に含めており、LLaMA の言語モデルの上に築かれたアプリやサービスも、うたわれている検出範囲に収まることになる。

LLaMA はオープンソースのモデルファミリーであり、ここに一つやっかいな点がある。土台となる LLaMA モデルの上に、さまざまな組織がファインチューニングを施した派生版を数多く作っているからだ。Turnitin の文言にある「tools based on these LLMs」（これらの LLM を基にしたツール）という一節は、まさにこの例を拾い上げるためのもので、同じオープンウェイト特有の厄介さはMistral の AI テキストは Turnitin に検出されるかでも顔を出す。とはいえ、すべてのファインチューニング版が同じ精度で捕捉されるかどうかは別の問題であり、その点については一覧自身が何も答えていない。

Turnitin は、モデルごとに検出の可否をまとめた表を出しているわけではない。その代わり、ドキュメントの中にコンマ区切りの一覧を本文に埋め込む形で示している。導入部の文は「Currently, Turnitin's AI writing detection model for English submissions can detect content from」（現在、英語で提出された文書を対象とする Turnitin の AI ライティング検出モデルは、以下による生成物を検出できる）と続き、そこに LLaMA が他の主要言語モデルと並んで挙げられている。同じ行には Claude と Gemini も載っており、そのクローズドウェイト側の読み解きはClaude、Copilot、Gemini は Turnitin に検出されるかに譲る。一覧の締めくくりでは、対象が「tools based on these LLMs as well.」（これらの LLM を基にしたツールにも同様に）及ぶと述べられている。

ここで効いてくるのが「can detect content from.」（〜による生成物を検出できる）という言い回しだ。この表現から分かるのは、検出器がこれらのモデルの生成テキストを見分けられるよう訓練されているという点であって、完璧に検出できると約束しているわけではない。一覧の直後に置かれた一文も同じくらい重要で、「We will continue to expand our detection capabilities to other models in the future.」（今後も他のモデルへ検出能力を広げていく予定である）と続く。

LLaMA に限って言えば、このモデルファミリーがオープンソースである以上、そこから派生した下流のツールやファインチューニング版が数多く存在する。「tools based on these LLMs」（これらの LLM を基にしたツール）という一節は、そうした派生版を包摂し、うたわれている検出範囲の中に引き込むために置かれている。もっとも、その範囲がどこまで鋭敏に働くかは変わりうる。この点については以降のセクションで扱う。

検出が白黒はっきりした二者択一にならない理由をつかむには、Turnitin が説明している仕組みを見るのが手っ取り早い。論文が提出されると、テキストから文が取り出され、予測分析のために重なり合う区間に分割される。それぞれの区間は AI 検出モデルによって分類され、その文章が人間によるものか AI によるものかを示す確率として、0 から 1 までの値が与えられる。区間に含まれる対象となる文は、その区間のスコアをそのまま引き継ぐ。区間は重なっているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられる。こうした文ごとのスコアがさらに集約され、文書全体の AI ライティングスコアの算出に使われる。

つまり、レポートに出る最終的なパーセンテージは、文レベルの細かな予測を数多く積み上げた結果だ。文書全体を AI か人間か一度で判定するスキャンではない。一文一文が合計に効いており、区間を重ねることで境目ぎわのケースがならされている。

Turnitin のモデルは固定されたものではない。ドキュメントには「As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed.」（新しい LLM をよりよく検出できるようモデルを改良していく過程で、検出能力も変化し、AI の割合に影響が及ぶ可能性が高い。ただし提出済みの文書については、再度提出して処理し直さない限り、AI の割合は変わらない）とある。

これには実務上の意味がある。今日提出してある AI 割合が出た文書でも、数週間後、あるいは数か月後に再提出すれば、違う割合になる可能性がある。モデルは更新され、その更新がスコアをどちらの方向にも動かしうるからだ。今日は人間が書いたと読まれた箇所が、更新後には AI 生成と読まれることもあれば、その逆もある。

LLaMA のテキストについて言えば、いま体感している検出率が、後から体感するそれと一致するとは限らない。LLaMA が対象に含まれることはモデル一覧が裏づけているが、その検出の感度は、Turnitin がモデルを磨き上げていくにつれて変わりうる。

検出器がすべてを捕らえるわけではないという点について、Turnitin は隠さず述べている。ドキュメントには「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」（この 1% という低い誤検知率を維持するため、文書内の AI 生成テキストの一部を見逃す可能性がある。人間が書いたテキストを誤って AI 生成として強調したくないので、我々はそれで構わないと考えている。たとえば文書の 50% が AI ツールによるものと判定された場合、実際には最大 65% の AI ライティングが含まれている可能性がある）とある。

これは意図的なトレードオフだ。Turnitin は誤検知率の低さを優先しており、その分、一部の AI テキストがすり抜けることは織り込み済みである。50% と表示された文書が、実際には最大 65% の AI を含んでいることもある。検出器は慎重な側に倒れていて、人間のテキストを誤って指摘するくらいなら、AI テキストを見逃す方を選ぶ。

なぜ検出器がこのような動きをするのかを理解するには、それが実際に何を測っているのかを見る必要がある。Turnitin のモデルは、AI 検出についての公開された議論でよく挙げられる指標には依拠していない。この点全体についてはTurnitin は AI 検出にパープレキシティとバースト性を使っているのかで扱っている。ドキュメントには「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data.」（我々のモデルは、'burstiness'（バースト性）や 'perplexity'（パープレキシティ）といった特定のシグナル、あるいは公開の議論で時に言及される個別の指標を明示的に評価するようにはプログラムされていない。その代わり、学習データから統計的なパターンを学ぶ）とある。モデルはそこで学んだことをテキストの分類に適用する。Turnitin の言葉を借りれば、「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」（我々の分類器は、単語確率のこうした違いを検出するよう訓練されており、人間の書き手に特有の単語確率の並びに通じている）ということだ。

言い換えれば、検出器が見ているのは文の長さのばらつきや語彙の珍しさといった表層の特徴ではなく、単語確率のパターンだ。だからこそ、編集や書き直しを重ねた AI テキストが検出をすり抜けることがあり、またAI 人間化ツールを Turnitin は検出できるかの答えが書き直しの度合い次第になる。編集の過程で単語確率の並びが十分にずれれば、分類器はそのテキストを AI 生成と認識しなくなる可能性がある。LLaMA の派生版について言えば、検出器が見るのはテキスト自体の統計的なパターンであり、どの派生版がそれを生成したかではない。

Turnitin のレポートで AI 生成だと指摘されたなら、文書全体を書き直すのではなく、指摘された箇所だけに対処するのが最も現実的だ。この方針についてはTurnitin レポートが指摘した段落だけを書き直すで詳しく述べている。Turnitin は文単位でスコアを付けているため、検出の引き金となった区間を特定し、そこに修正を集中させることができる。

引用、表、書式はそのまま残す。手を入れる必要があるのは、AI だと指摘された箇所だけだ。修正して再提出するなら、AI の割合は自分の編集だけでなくモデルの更新によっても動きうる、という点は覚えておきたい。

対象となる箇所は、無料で再実行できる。