Turnitin は Grok を検出するのか。モデル一覧が語っていること

はい。Grok は Turnitin が公開しているモデル一覧に、はっきりと名前が挙げられている。一覧によれば、英語で提出された文書を対象とする Turnitin の AI ライティング検出モデルは、Grok をはじめ GPT、Gemini、Claude、LLaMA、Mistral、DeepSeek、Nova、o1-mini といったモデル群が生成したコンテンツを検出できるとされる。一覧はさらに "tools based on these LLMs as well,"（これらの LLM を基盤とするツールも同様に）対象に含めており、Grok の言語モデルの上に築かれたアプリやサービスも、示された検出範囲に入ることになる。

Grok は複数のバージョンを重ねてきており、それぞれ性能も公開の経緯も異なる。"tools based on these LLMs"（これらの LLM を基盤とするツール）という一節があるため、Grok を土台のモデルとして動くアプリケーションも、示された範囲に含まれる。ただし Grok のどのバージョンも同じ精度で捕らえられるかどうかは別の問題で、その点は一覧自身が何も答えていない。

Turnitin は、モデルごとに検出できるか否かを表で公開しているわけではない。ドキュメントの中に、カンマ区切りのリストを文中に埋め込む形で示しているだけだ。その導入文は "Currently, Turnitin's AI writing detection model for English submissions can detect content from"（現在、英語で提出された文書を対象とする Turnitin の AI ライティング検出モデルは、以下からのコンテンツを検出できる）と続き、Grok をほかの主要な言語モデルと並べて列挙している。Claude や Gemini も同じ行に載っており、そのあたりは Claude・Copilot・Gemini は Turnitin に検出されるのか で詳しく追っている。リストは末尾で、対象が "tools based on these LLMs as well."（これらの LLM を基盤とするツールにも）及ぶと締めくくっている。

ここで効いてくるのが "can detect content from."（～からのコンテンツを検出できる）という表現だ。この言い回しから読み取れるのは、検出器がこれらのモデルの生成テキストを見分けるよう訓練されているという点までで、完璧な検出まで約束しているわけではない。リストのすぐ後に置かれた一文も、同じくらい重い。"We will continue to expand our detection capabilities to other models in the future."（今後も検出能力を他のモデルへと広げていく予定である）。

Grok について言えば、Grok の言語モデルを使ってテキストを生成するツールやサービスは、どれも示された範囲に入るということだ。もっとも、その網羅の感度は変わりうる。そこについては、この後のセクションで扱う。

検出が白黒つく二者択一ではない理由を知るには、Turnitin が説明している仕組みを見るのが手っ取り早い。論文が提出されると、文が取り出され、予測分析のために重なり合う区間に分割される。各区間は AI 検出モデルによって分類され、0 から 1 の間の値が与えられる。そのテキストが人間によるものか AI によるものか、という確率を示す値だ。区間内の条件を満たす文は、それぞれその区間のスコアを引き継ぐ。区間は重なっているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられる。こうした文ごとのスコアがさらに集計され、文書全体の AI ライティングスコアが算出される。

つまりレポートに出る最終的なパーセンテージは、文レベルの細かな判定を数多く積み上げた結果だ。文書全体を一度のスキャンで AI か人間かと決めつけているわけではない。一文一文が合計に効いており、区間を重ねることで際どい箇所のブレもならされている。

Turnitin のモデルは固定されたものではない。ドキュメントにはこうある。"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed."（より新しい LLM を検出できるようモデルの改良を重ねていく中で、検出能力も変化し、AI の割合に影響することが考えられる。ただし、提出済みの文書については、再提出して処理し直さない限り AI の割合は変わらない。）

これには実務上はっきりした意味がある。今日提出してある AI の割合が出た文書でも、数週間あるいは数か月後に再提出すれば、違う割合が出る可能性がある。モデルは更新され、その更新がスコアを上下どちらにも動かしうるからだ。今は人間が書いたように読める箇所が、更新後は AI 生成と判定されることもあれば、その逆もある。

Grok のテキストに当てはめれば、今この時点で体感している検出率が、後から体感するものと一致するとは限らない。Grok 自身が複数の世代を重ねてきたうえ、Turnitin のモデルも開発が続いている。同じファイルで二本のレポートを手にしているなら、二つのスコアではなく二本のレポートを見比べる 以外に、どちらが動いたのかを見分ける方法はない。モデル一覧が確認しているのは Grok が対象に入っているという事実までで、Turnitin がモデルを磨いていくにつれ、その検出の感度は変わりうる。

検出器がすべてを捕らえるわけではないという点は、Turnitin 自身がはっきり認めている。ドキュメントにはこう記されている。"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."（偽陽性をこの 1% という低い水準に保つため、文書内の AI 生成テキストの一部を見逃す可能性がある。人間が書いたテキストを誤って AI 生成として示したくないので、我々はそれでよいと考えている。たとえば、文書の 50% が AI ツールによるものと判定された場合、実際には最大 65% の AI ライティングが含まれている可能性がある。）

これは意図したうえでのトレードオフだ。Turnitin は偽陽性の少なさを優先しており、そのぶん一部の AI テキストがすり抜けることを受け入れている。AI 50% と表示された文書が、実際には最大 65% の AI コンテンツを含んでいることもあるということだ。検出器は慎重な側に倒れていて、人間のテキストを誤って指摘するくらいなら、AI テキストを見逃すほうを選ぶ。

なぜ検出器がこのような動きをするのかを理解するには、それが実際に何を測っているのかを見る必要がある。Turnitin のモデルは、AI 検出についての公開の議論でよく取り沙汰される指標には依存していない。この点は Turnitin は AI 検出に perplexity や burstiness を使っているのか と照らして読む価値がある。ドキュメントにはこうある。"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data."（我々のモデルは、'burstiness' や 'perplexity'、あるいは公開の議論で時に言及される個別の指標を明示的に評価するようにはプログラムされていない。その代わり、訓練データから統計的なパターンを学習する。）モデルはそこで学んだことをテキストの分類に適用する。Turnitin の言い方を借りれば、"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."（我々の分類器は、こうした単語確率の違いを検出するよう訓練されており、人が書く固有の単語確率の並びに通じている。）

言い換えれば、検出器が見ているのは単語確率のパターンであって、文の長さのばらつきや語彙の珍しさといった表層的な手がかりではない。だからこそ、編集や書き直しを重ねた AI テキストが検出をすり抜けることがあり、Turnitin は AI 人間化ツールを検出するのか という問いにも単純な「はい」とは答えられない。編集の過程で単語確率の並びが十分にずれれば、分類器はそのテキストを AI 生成と認識しなくなる可能性がある。Grok のテキストについて言えば、検出器が見ているのは文章そのものの統計的パターンであり、出所が Grok だと特定することではない。

Turnitin のレポートで AI 生成だと指摘された箇所があるなら、文書全体を書き直すのではなく、指摘された部分だけを手当てするのが最も現実的だ。Turnitin のレポートが指摘した段落だけを書き直す で述べているのも、まさにこの方針である。Turnitin は文単位で採点しているため、検出の引き金となった区間を特定して、そこに絞って修正できる。

引用、表、書式はそのまま残すこと。手を入れる必要があるのは、AI だと指摘された箇所だけだ。修正して再提出する際は、AI の割合が動くのは自分の編集のせいとは限らず、モデルの更新による場合もあると覚えておきたい。

条件を満たす箇所は、無料で再実行できる。