Turnitin はコピー&ペーストを検出するのか

Turnitin は独立した二つのシステムを動かしています。コピー&ペーストを検出するのは Similarity Report です。提出されたテキストを、公開済みのコンテンツ、他の学生のレポート、Web 上の情報源のデータベースと照合し、一致した文字列に印をつけます。コピー元がデータベースに含まれていれば、Similarity Report にそれは表示されます。AI Writing Report はコピー&ペーストを検出しません。こちらは散文における単語の確率パターンを分析して、そのテキストが AI によって生成されたものかどうかを推定します。本や論文からコピーしてきた人間が書いたテキストは AI 検知を作動させません。人間の文章は、AI が生成したテキストとは確率パターンが違うからです。

この二つのスコアは互いに影響しません。以下では、それぞれのシステムがどのように動くのか、そしてどこからかテキストを貼り付けた場合にそれが何を意味するのかを見ていきます。

Similarity Report こそ、多くの人が「Turnitin はコピー&ペーストを検出するのか」と尋ねるときに思い浮かべている働きをしています。提出された文書を取り込み、Turnitin のコンテンツ群と照合します。そのコンテンツ群には、公開された著作物、Web ページ、以前に Turnitin へ提出された他の学生のレポートが含まれており、何と照合されているのか でさらに詳しく説明しています。システムが、文書内の文字列とデータベース内の文字列の一致を見つけると、その一致をハイライトし、類似度のパーセンテージに算入します。

仕組みは文字列の照合です。Web サイトから段落を、デジタル化されて索引登録された本から一文を、あるいは以前に提出された友人のレポートから一節を貼り付けた場合、その出典がデータベースにあれば Similarity Report は一致を検出します。レポートには、どの文字列が一致したか、それがどの出典由来かが正確に示されます。

Turnitin の AI 文章検出の機能に関する FAQ は、この切り分けをはっきりと述べています。

「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似度スコアと AI 文章検出のパーセンテージは完全に独立しており、互いに影響しません。）

同じページの次の文はこうです。

「The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking.」（類似度スコアは、提出された文書を Turnitin の類似性チェック用の包括的なコンテンツ群と照合したときに見つかった一致テキストの割合を示します。）

この二つ目の文は、まさに Similarity Report の働きを説明しています。一致するテキストを探すのです。そのテキストが人間と AI のどちらによって書かれたかは判定しません。誰が書いたかは問題にしません。問題にするのは、同じ文字列がデータベースのどこかに存在するかどうかです。これが、引用符と出典を付けたテキストも Similarity Report に表示され続ける 理由でもあります。

AI Writing Report はまったく異なる原理で動きます。テキストを文字列のデータベースと照合するわけではありません。モデルに通し、散文の区間に確率スコアを割り当てます。FAQ はその仕組みを次のように説明しています。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文が Turnitin に提出されると、提出物から文が抽出され、予測分析のために重なり合う区間に分割されます。それぞれの区間は AI 検出モデルによって分類され、0 から 1 の値が与えられます。これは、そのテキストが人間によるものか AI によって生成されたものかを示す確率を表します。これらの区間に含まれる対象となる各文は、区間のスコアを引き継ぎます。区間は重なり合うため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。こうした文ごとのスコアはさらに集計され、文書全体の AI 文章スコアの算出に使われます。）

鍵となる表現は、次の句です。「the probability of the text being likely human or AI-generated.」（そのテキストが人間によるものか、AI によって生成されたものかを示す確率）モデルは、単語がどのように選ばれ、どのように並べられているかを見ています。AI が生成したテキストは、直前の文脈に対して高い予測可能性を持つ単語を並べる傾向があります。言語モデルが次に確率の高いトークンを選ぶからです。人間の文章は、単語の選択において予測が難しい傾向があります。モデルが読み取っているのは、この確率パターンの違いです。

だからこそ、コピーしてきた人間のテキストは AI 検知を作動させません。公開された本から段落を自分のレポートに貼り付けたなら、その段落は人間が書いたものです。単語の確率パターンは人間の文章に近く、AI が生成したテキストには見えません。モデルはそれを人間によるものと分類します。AI Writing Report には印がつきません。

逆もまた同じです。AI ツールで段落を生成してレポートに貼り付けた場合、AI Writing Report はそれを検出する可能性があります。その段落の確率パターンが AI の出力に見えるからです。しかし Similarity Report は検出しません。その文字列は Turnitin の公開コンテンツのデータベースにはおそらく存在しないからです。AI は新しいテキストを生成したのであって、既存の出典からコピーしたわけではありません。

これが核心的な違いです。Similarity Report が見つけるのは、すでに他の場所に存在するテキストです。AI Writing Report が見つけるのは、機械が生成したように読めるテキストです。コピー&ペーストは類似性の問題で、AI 生成は確率の問題です。その確率に何が入っているかは別の問いであり、Turnitin がパープレキシティとバースト性を使っているのか は、多くの人がそれを尋ねるときの形です。

AI Writing Report の働きにはもう一つの層があり、コピー&ペーストの場面ではそれが重要になります。モデルは文書内のすべてを分析するわけではありません。FAQ には次のようにあります。

「The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures).」（このモデルは、散文ではない形式やコードの形をした AI 生成テキストを確実に検出するわけではなく、箇条書きのような短い形式・非定型の文章、つまり文になっていない短い構造も検出しません。）

次の文はこうです。

「This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.」（これは、いくつかの異なる文章タイプを含む文書では、パーセンテージとハイライトの間に食い違いが生じることを意味します。）

FAQ は、何が分析対象になるのかも明示しています。

「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この対象テキストには散文の文だけが含まれます。つまり、標準的な文法的文で書かれたテキストのまとまりだけを分析し、リスト、箇条書き、つまり文になっていない短い構造、あるいはその他の文ではない構造といった種類の文章は含めないということです。）

次の文はこうです。

「This percentage is not necessarily the percentage of the entire submission.」（このパーセンテージは、必ずしも提出物全体のパーセンテージではありません。）

実務的な意味はこうです。箇条書きのリスト、データの表、コードのブロックをコピーして貼り付けた場合、AI モデルはそれらをそもそも読まない可能性があります。分析を実行する前に、散文ではない内容を除外するからです。一方、Similarity Report はすべてを読みます。貼り付けたリストも、貼り付けたコードのブロックも、貼り付けた段落と同じように簡単に見つけます。文書全体に対して文字列の照合を行うからです。

つまり、散文ではない内容を出典から貼り付けた場合、結果は非対称になります。Similarity Report は見つけます。AI Writing Report は見つけません。そもそも目にしないからです。

二つの仕組みを合わせると、学生が最もよく尋ねる場面が説明できます。Web サイトや本で段落を見つけた。それをレポートに貼り付けた。類似度スコアも AI スコアも気になっている。そのときに起こるのは次のことです。

Similarity Report は、その出典がデータベースにあれば、貼り付けた段落に印をつけます。文字列が一致する。パーセンテージが上がる。出典が特定される。レポートが自分の仕事をしている状態です。

AI Writing Report は、元のテキストが人間によって書かれたものであれば、貼り付けた段落に印をつけません。モデルはその段落を散文として読み、区間に確率スコアを割り当て、単語の選択が人間的に見えると判断します。段落は人間が書いたものとして分類されます。AI の印はつきません。

これは、貼り付けたテキストが長い場合にも当てはまります。AI モデルは、そのテキストがどこから来たかを気にしません。気にするのは、そのテキストがどう読めるかです。1990年代の学術論文からコピーした段落は、1990年代の人間の学術散文の単語確率パターンを持っています。AI が生成したテキストはそうは見えません。

FAQ はこの独立性を明示しています。Turnitin は次のように述べています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似度スコアと AI 文章検出のパーセンテージは完全に独立しており、互いに影響しません。）貼り付けたテキストによる高い類似度スコアが、AI スコアを押し上げることはありません。生成されたテキストによる高い AI スコアが、類似度スコアを押し上げることもありません。これらは、別のものを探す別のシステムによって計算されます。だからこそ、二つのスコアを同じものとして読んではいけない のです。

どこからかテキストを貼り付け、二つのレポートを前にしているなら、次のように読み解いてください。

貼り付けたテキストが Similarity Report に出てくるなら、それは想定どおりです。システムが一致を見つけたのです。自分の言葉で言い換える、引用符と出典を付けて提示する、削除する、いずれかの対応が必要です。引用符と出典を添える形は、貼り付けたテキストが正当となる唯一のケースです。Turnitin はそれでも一致を表示しますが、指導教員はそれが適切に帰属されていると分かります。

貼り付けたテキストが人間によって書かれたもので、AI Writing Report を確認しているなら、そこに印はつかないはずです。もし印がついていて、そのテキストが本当に人間の出典からのものなら、それは誤検知です。AI モデルは確率を推定するものであって、確実性を示すものではありません。誤って分類することもあります。しかし、より多い説明は、印がついたのが貼り付けたテキストではないというものです。実際にハイライトされているテキストを読んでください。貼り付けた箇所そのものではなく、その隣にある自分で書いた部分かもしれません。

AI ツールでテキストを生成してそれを貼り付けた場合、状況は反転します。Similarity Report はおそらく検出しません。文字列が新しいからです。AI Writing Report は検出する可能性があります。その確率パターンは、モデルが認識するよう訓練されたものだからです。

Turnitin がコピー&ペーストを検出するのかと尋ねる人へのまとめです。

1. Similarity Report はコピー&ペーストを検出します。データベースに対して文字列の照合を行うため、出典がデータベースにあれば、貼り付けたテキストは一致として表示されます。
2. AI Writing Report はコピー&ペーストを検出しません。散文における単語の確率パターンを分析します。コピーしてきた人間のテキストは人間の文章として読めるため、印はつきません。
3. 二つのスコアは独立しています。類似度スコアが高いからといって AI スコアが高くなることはなく、その逆も同じです。
4. リスト、コード、表といった散文ではない内容を貼り付けた場合、Similarity Report はそれを見つける可能性がありますが、AI モデルは分析すらしないかもしれません。散文の文しか読まないからです。
5. AI が生成したテキストを貼り付けた場合、Similarity Report が検出しなくても、AI Writing Report がそれに印をつける可能性があります。文字列は新しくても、確率パターンは見分けがつくからです。

それぞれのシステムが何を探しているかが分かれば、この違いは細かいものではなくなります。類似性のチェックは既存の文字列を探します。AI 検知は散文における確率パターンを探します。コピー&ペーストは文字列の問題で、AI 生成はパターンの問題です。