TurnitinはPerplexity AIを検出するのか？ドキュメントに書かれていること

TurnitinのFAQは、検出できるAI作成モデルの一覧を公開しています。そこにはGPT、Gemini、Claude、LLaMA、Mistral、Deepseek、Nova、Grok、o1-miniが含まれます。一覧の末尾は"and tools based on these LLMs as well."（これらのLLMを土台にしたツールも同様です。）という一文で閉じられています。FAQはさらに次のように述べています。"We will continue to expand our detection capabilities to other models in the future."（今後も検出能力を他のモデルへと拡大していきます。）Perplexity AIは検索ツールであり、土台となる言語モデルを使って文章を生成できます。Turnitinの検出器がPerplexity由来のコンテンツを指摘するかどうかは、どの土台のモデルがそのテキストを生成したか、そしてそのモデルまたはその系統が検出一覧に載っているかどうかで決まります。FAQは、検出能力が固定されたものではないことも認めています。"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage."（より新しいLLMを検出できるようにモデルを改良し開発を続けるなかで、検出能力も変化していくと考えられ、それはAIの割合にも影響します。）

FAQは、検出できるモデルの一覧を提示しています。導入文は「コンテンツを検出できる」という言い回しを取り、その後にコンマ区切りの一覧が続きます。一覧には主要なLLMの系統が含まれます。GPT、Gemini、Claude、LLaMA、Mistral、Deepseek、Nova、Grok、o1-miniです。一覧は次の言葉で終わります。

"and tools based on these LLMs as well."（これらのLLMを土台にしたツールも同様です。）

続く一文はこうです。"We will continue to expand our detection capabilities to other models in the future."（今後も検出能力を他のモデルへと拡大していきます。）

つまり、一覧が対象としているのは名前の挙がったモデルだけではなく、その上に作られたツールも含まれるということです。Perplexity AIのようなツールが、挙げられているLLMの系統のいずれかを通してテキスト生成を行っている場合、その出力は「これらのLLMを土台にしたツール」という句に当てはまる可能性があります。TurnitinはClaude、Copilot、Geminiを検出するのかでは、名前の挙がった項目を一つずつ確認しています。

検出モデルは、テキストを重なり合う区間に分割し、確率の値を割り当てることで処理します。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."（論文がTurnitinに提出されると、提出物から文が取り出され、予測分析のために重なり合う区間に分割されます。それぞれの区間はAI検出モデルによって分類され、0から1までの値が与えられます。この値は、そのテキストが人間によるものかAIによるものかという確率を示します。）

モデルは、バースト性や困惑度という名前の指標を評価するようには作られていません。"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions."（当社のモデルは、公開の議論でときおり言及される'burstiness,' 'perplexity,'といった特定の指標を明示的に評価するようには設計されていません。）続く一文はこうです。"Instead, it learns statistical patterns from our training data."（そうではなく、学習データから統計的なパターンを学びます。）同じFAQには次のようにも書かれています。"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."（当社の分類器は、こうした語の確率の違いを検出するように学習されており、人が書く文章に特有の語の確率の並びに精通しています。）検出器が評価するのは、学習データから得た語の確率のパターンであって、表面的な指標ではありません。この名前の衝突は、それ自体として整理しておく価値があります。Turnitinは困惑度とバースト性を使っているのか

FAQは、検出が固定されたものではないと明示しています。

"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage."（より新しいLLMを検出できるようにモデルを改良し開発を続けるなかで、検出能力も変化していくと考えられ、それはAIの割合にも影響します。）

続く一文はこうです。"However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed."（ただし、提出済みの文書については、再度提出して処理が行われない限り、AIの割合は変わりません。）

つまり、検出モデルはより新しいLLMを狙えるように更新され続けているということです。Perplexity AIなどが、まだ一覧に載っていない新しいモデルを使っている場合、次の検出モデルの更新まで空白期間が生じる可能性があります。すでに採点済みの文書が自動的に再評価されることはありません。

FAQは、このトレードオフを認めています。

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document."（偽陽性をこの低い水準である1%に保つため、文書内のAI作成テキストの一部を見落とす可能性があります。）

検出器は、AIテキストの一部を見落としてでも偽陽性を避けるように調整されています。語の確率のパターンが人の文章に近いテキストを生成するツールは、少なくとも検出モデルが更新されるまでは検出が難しくなるでしょう。"continue to expand our detection capabilities"（検出能力を拡大し続ける）という約束がその釣り合いを取りますが、新しいツールの登場と検出の対象範囲の間には、避けられない遅れがあります。同じ遅れがTurnitinはAI人間化ツールを検出するのかにもつながっています。

ここまで見てきたことをまとめます。

• Turnitinは、検出できるモデルの一覧を公開しており、そこにはGPT、Gemini、Claudeなどが含まれます。
• 一覧は"tools based on these LLMs as well,"（これらのLLMを土台にしたツールも同様、）と対象にしているため、挙げられているモデルを経由するツールは検出されうる可能性があります。
• FAQは、今後ほかのモデルへも検出を広げると約束しています。
• 検出能力は、モデルの更新に伴って時間とともに変化します。
• 検出器は、偽陽性の割合を低く保つ代わりに、AIテキストの一部を見落とすことを受け入れています。
• モデルが変わっても、すでに採点済みの文書が自動的に再評価されることはありません。

TurnitinのAIレポートを受け取り、指摘された箇所に対応したい場合は、レポートを取り込んで作業してください。条件を満たす箇所は、無料で再実行できます。