TurnitinはGeminiとCopilotを検出できるのか — FAQに書かれていること

Geminiについては「はい」、Copilotについても実質的には「はい」です。TurnitinのFAQは、検出機能がコンテンツを判別できるAIライティングモデルの一覧を公表しています。一覧にはGeminiのほか、GPT、Claude、LLaMA、Mistral、Deepseek、Nova、Grok、o1-miniが含まれます。公式に使われている表現は「can detect content from.」（これらのモデルに由来するコンテンツを検出できる）です。一覧は次の言葉で締めくくられています。「and tools based on these LLMs as well.」（これらのLLMを基盤とするツールも同様です。）CopilotはGPTモデルを基盤としており、GPTはこの一覧に載っています。つまりCopilotは、一覧に載っているLLMを基盤とするツールの区分に当てはまります。FAQはさらに次のように述べています。「We will continue to expand our detection capabilities to other models in the future.」（今後も検出能力を他のモデルへと拡大していきます。）またFAQは、検出能力は固定的なものではなく、モデルが更新されるにつれて変化していくことも認めています。

FAQは、コンテンツを検出できるモデルをカンマ区切りで並べた一覧を提示しています。導入文は次のとおりです。「Currently, Turnitin's AI writing detection model for English submissions can detect content from …」（現在、英語で提出された課題に対するTurnitinのAIライティング検出モデルは、……に由来するコンテンツを検出できます）。その後に、GPT、Gemini、Claude、LLaMA、Mistral、Deepseek、Nova、Grok、o1-miniを含む一覧が続きます。一覧は次の言葉で終わります。

「and tools based on these LLMs as well.」（これらのLLMを基盤とするツールも同様です。）

次の一文です。「We will continue to expand our detection capabilities to other models in the future.」（今後も検出能力を他のモデルへと拡大していきます。）

この表現は重要です。一覧は個々のツールやラッパーを一つひとつ挙げているわけではありません。基盤となるモデルのファミリーを挙げ、その上に構築されたものすべてを対象としています。CopilotはGPTモデルで動いているため、これらのLLMを基盤とするツールの範囲に含まれます。Geminiは一覧に直接名前が挙がっています。拡大していくという表明は、新しいモデルが登場し、検出モデルが更新されるにつれて、一覧が今後も伸びていく可能性があることを意味します。

FAQは、検出の仕組みを分割と確率スコアリングという観点から説明しています。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.」（論文がTurnitinに提出されると、提出物から文が抽出され、予測分析のために重なり合う区間に分割されます。それぞれの区間はAI検出モデルによって分類され、0から1までの値が与えられます。これは、そのテキストが人間によるものかAIによるものかの確率を示すものです。）

区間ごとに個別のスコアが付きます。全体のパーセンテージは、モデルがAI生成と分類した区間の割合を反映したものです。検出機能は透かしや単一の決定的な特徴を探しているわけではありません。確率スコアに基づいて、テキストを区間ごとに分類しているのです。それぞれのスコアに何が含まれるのかは、AI検出器がperplexityとburstiness以外に測定しているもので解説しています。

FAQは、誤検知とAIテキストの見逃しの間のトレードオフを認めています。

「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.」（誤検知率をこの1%という低い水準に保つため、文書内のAIが書いたテキストの一部を見逃す可能性があります。）

検出機能は、学生がAIを使ったと誤って断定しないように調整されています。その調整の代償として、AIが生成したテキストの一部が検出されないまま残ることがあります。これはTurnitin自身が文書化している、意図的な設計上の選択です。人間の単語確率のパターンに近いテキストを生成するモデルは、検出モデルがそれに対応するよう更新されるまでは、検出が難しくなるでしょう。この同じ遅れが、TurnitinはAIヒューマナイザーを検出するのかでの問いそのものです。

FAQは、検出が固定的な対象ではないと明確に述べています。

「As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.」（新しいLLMをよりよく検出できるようにモデルの改良と開発を進めていく中で、検出能力も変化していく可能性が高く、それはAIの割合に影響します。）

次の一文です。「However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed.」（ただし、提出済みの文書については、再度提出されて処理された場合にのみ、AIの割合は変化します。）

ここから二つの意味が導かれます。第一に、検出モデルは新しいLLMを標的として更新され続けているため、GeminiやCopilotのようなモデルに対する適用範囲は、時間とともに改善されたり移り変わったりする可能性があります。第二に、モデルの更新前に採点された文書は、再提出されない限り元のスコアを保持します。過去の提出時のスコアは、その提出時点の検出能力を反映したものであり、現在の能力を反映したものではありません。だからこそTurnitinの再チェック後も指摘が残る場合では、数字を二つ比べるのではなくレポートを二つ比べることを勧めています。

まとめると、次のとおりです。

• Geminiは、Turnitinが公表している「コンテンツを検出できるモデル」の一覧に直接名前が挙がっています。
• Copilotは一覧に載っているGPTモデルを基盤としています。一覧は「tools based on these LLMs as well.」（これらのLLMを基盤とするツールも同様です。）も対象としています。
• FAQは「continue to expand our detection capabilities to other models in the future.」（今後も検出能力を他のモデルへと拡大していく）と約束しています。
• 検出機能はテキストを重なり合う区間に分けて処理し、それぞれに0から1までの確率スコアを割り当てます。
• 誤検知率を低く保つため、検出機能はAIが生成したテキストの一部を見逃すことがあります。
• 検出能力は時間とともに変化します。モデルの更新前に採点された文書は、再提出されない限り元のスコアを保持します。

TurnitinのAIレポートを受け取り、指摘された箇所に対応したい場合は、レポートを読み込んで取り組みましょう。条件を満たす箇所は、無料で再度処理できます。