TurnitinはDeepSeekを検知できるのか——公表モデル一覧が示すもの

答えはイエスだ。DeepSeekは、Turnitinが公開しているモデル一覧にはっきりと名を連ねている。その一覧によれば、英語提出向けのTurnitinのAIライティング検知モデルは、DeepSeekをはじめGPT、Gemini、Claude、LLaMA、Mistral、Nova、Grok、o1-miniといったモデル群によるコンテンツを検知できる。さらに一覧は対象を「tools based on these LLMs as well,」（これらのLLMを土台にしたツールも同様に）まで広げており、つまりDeepSeekの言語モデルの上に構築されたアプリケーションも、公表された検知の射程に入るということだ。

もっとも、一覧に載っているからといって、DeepSeekが書いた箇所がすべて判定されるわけではない。Turnitin自身、AIが書いたテキストの一部は検知されないこと、そしてモデルが更新されるのに伴って検知能力も変化していくことを認めている。率直に言えばこうだ。DeepSeekは対象に入っている。だが、対象であることと、必ず検知されることは別の話だ。

Turnitinは、モデルごとに検知できるか否かを一覧表にして公表しているわけではない。ドキュメント本文の中に、コンマ区切りのリストを埋め込む形で示しているだけだ。その導入文は「Currently, Turnitin's AI writing detection model for English submissions can detect content from」（現時点で、英語提出向けのTurnitinのAIライティング検知モデルは、以下からのコンテンツを検知できます）と続き、そこに並ぶリストには他の主要言語モデルと並んでDeepSeekが含まれる。ClaudeとGeminiも同じ行にあるが、その行を一件ずつ検討しているのがTurnitinはClaude、Copilot、Geminiを検知できるのかだ。リストの末尾では、対象範囲が「tools based on these LLMs as well.」（これらのLLMを土台にしたツールにも及びます）にまで及ぶと述べられている。

ここで効いてくるのが「can detect content from.」（〜からのコンテンツを検知できる）という表現だ。この言い回しが示しているのは、検知器がこれらのモデルの生成テキストを見分けるよう訓練されているという点だけであって、完璧な検知を約束するものではない。リストの直後に置かれた一文も同じくらい重要だ。「We will continue to expand our detection capabilities to other models in the future.」（今後も検知能力を他のモデルへと広げていく予定です）

DeepSeekに絞って言えば、DeepSeekの言語モデルを使ってテキストを生成するツールやサービスは、いずれも公表された範囲に含まれる。ただし検知器がその一つひとつを実際に捕まえるかどうかは別の問題で、そこは以下のセクションで扱う。

検知が単純な二者択一にならない理由をつかむには、Turnitinが説明している仕組みを見るのが手っ取り早い。論文が提出されると、文が取り出され、予測分析のために重なり合う区間に分割される。それぞれの区間はAI検知モデルによって分類され、0から1までの値が与えられる。そのテキストが人間によるものかAIによるものか、という確率を示す値だ。区間に含まれる対象文は、その区間のスコアをそのまま引き継ぐ。区間は重なっているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられる。こうした文単位のスコアがさらに集計され、文書全体のAIライティングスコアが算出される。

つまり、レポートに出る最終的なパーセンテージは、文単位の細かな予測を積み上げたものにすぎない。文書全体をAIか人間か一度で断定する走査があるわけではない。各文が全体の値に寄与し、区間を重ねることで境界線上のケースがならされる、という仕組みだ。

Turnitinのモデルは固定されていない。ドキュメントにはこうある。「As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed.」（新しいLLMをよりよく検知できるようモデルの改良を重ねるなかで、検知能力も変化し、AI率に影響することが考えられます。ただし、提出済みの文書については、あらためて再提出されて処理されない限り、AI率が変わることはありません。）

これは実務上、無視できない。今日提出してあるAI率が出た文書でも、数週間後、数か月後に再提出すれば違う値になる可能性がある。モデルは更新され、その更新でスコアはどちらの方向にも動きうる。再提出でTurnitinのAIスコアが変わる理由で挙げているいくつかの理由の、これが一つだ。今日は人間の文章に読める一節が、更新後はAI生成と読まれることもあれば、その逆もある。

DeepSeekのテキストについて言えば、いま体感している検知率が、後になって同じだとは限らない。モデル一覧が示しているのはDeepSeekが対象範囲に入っているという事実であり、Turnitinがモデルを改良していく過程で、その検知の感度は変わりうる。

検知器があらゆるものを捕まえるわけではない、という点はTurnitinも隠していない。ドキュメントにはこう記されている。「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」（偽陽性率をこの1%という低さに保つため、文書内のAI生成テキストの一部を見逃す可能性があります。人間の書いたテキストを誤ってAI生成として指摘しないためであり、私たちはそれを受け入れています。たとえば文書の50%がAIツールによるものと判定された場合、実際には最大65%のAIライティングが含まれている可能性があります。）

これは意図的なトレードオフだ。Turnitinは偽陽性の少なさを優先し、その代わりにAIテキストの一部がすり抜けることを受け入れている。50%と表示された文書に、実際には65%までのAIコンテンツが入っていることもありうる。検知器は慎重な側に倒れていて、人間の文章を誤って判定するくらいなら、AIテキストを見逃すほうを選ぶ。

なぜ検知器がこのような働きをするのかを理解するには、それが実際に何を測っているのかを見る必要がある。Turnitinのモデルは、AI検知についての世間の議論でよく引き合いに出される指標には依存していない。この否定の中身はTurnitinはAI検知にパープレキシティとバーストネスを使っているのかで検証している。ドキュメントにはこうある。「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data.」（当社のモデルは、『バーストネス』『パープレキシティ』といった特定のシグナルや、公の議論で時に言及される個別の指標を評価するよう明示的にプログラムされているわけではありません。むしろ、学習データから統計的なパターンを学びます。）」そしてモデルは、学んだことをテキストの分類に適用する。Turnitinの言葉を借りれば、「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」（当社の分類器は、こうした語確率の違いを検出するよう訓練されており、人間の書き手に特有の語確率の並びを捉えるのが得意です。）

言い換えれば、検知器が見ているのは語の確率のパターンであって、文の長さのばらつきや語彙の珍しさといった表層的な特徴ではない。だからこそ、編集や書き直しを大きく加えたAIテキストが検知をすり抜けることがあり、TurnitinはAI人間化ツールを検知できるのかに単純なイエス・ノーがないのも同じ理由だ。編集の過程で語確率の並びが十分にずれれば、分類器はそのテキストをAI生成と認識しなくなることがある。

TurnitinのレポートでAI生成と判定された箇所があるなら、文書全体を書き直すのではなく、判定された部分だけを手当てするのが最も現実的だ。Turnitinレポートが判定した段落だけを書き直すで紹介している進め方である。Turnitinは文単位で採点しているため、検知の引き金となった区間を特定し、そこに修正を集中させられる。

引用、表、書式はそのまま残す。手を入れる必要があるのは、AIと判定された箇所だけだ。修正して再提出する際は、AI率が動くのは自分の編集のせいばかりではなく、モデルの更新によるものでもあると心得ておきたい。

対象となる箇所は、無料で再実行できる。