TurnitinのAI検出が何をチェックしているのか：スコアはどう作られる

TurnitinのAIライティング検出は、類似性（盗用）チェックとは別の分析です。類似性スコアは既存の情報源と一致するテキストを探します。AIライティングスコアは、機械が生成したテキストに似た、語選択の統計的なパターンを探します。TurnitinのFAQでは、この二つは「completely independent and do not influence each other.」（完全に独立しており、互いに影響し合わない）とされています。AI検出器は、提出物を重なり合うテキストセグメントに分割し、それぞれのセグメントを人間が書いたかAIが生成したかの確率で分類し、それらのスコアを文書全体のパーセンテージに集計する、という仕組みで動いています。分析対象は散文の文だけです。リスト、箇条書き、そのほか文の形をしていない構造は除外されます。また、AIスコアを見られるのは教員と管理者だけです。ただし、教員がPDFレポートの共有を選んだ場合はこの限りではありません。

TurnitinのFAQでは、この処理の流れを次のように説明しています。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文がTurnitinに提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションに分割されます。各セクションはAI検出モデルによって分類され、0から1までの値が与えられます。この値は、そのテキストが人間によるものかAIによって生成されたものかという確率を示します。これらのセクション内の対象となる各文は、セクションのスコアを引き継ぎます。セクションは重なり合っているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。こうした文のスコアはさらに集計され、文書全体のAIライティングスコアの算出に使われます。）

これは処理の流れとして読んでください。テキストが入り、重なり合う断片に切り分けられ、それぞれの断片に確率スコアが付き、文は自分のセグメントのスコアを引き継ぎ、重複したスコアは一つにまとめられ、まとめられたスコアが一つの数値に集計されます。モデルはあなたの主張を読んでいるのでも、考えが独創的かどうかを確かめているのでもありません。単語の並びの統計的な特徴を読んでいるだけです。

同じFAQの二つの記述が、モデルが何を測定し、何を測定していないのかをはっきりさせています。一つ目：「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.」（私たちのモデルは、'burstiness'や'perplexity'、あるいは公開の議論で時に言及される他の個別指標といった特定のシグナルを評価するようには、明示的にプログラムされていません。）次の文はこう続きます。「Instead, it learns statistical patterns from our training data.」（その代わりに、私たちの訓練データから統計的なパターンを学習します。）二つ目：「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」（私たちの分類器は、こうした単語確率の違いを検出するように訓練されており、人間の書き手に特有の単語確率の並びに精通しています。）

最初の記述は、モデルが名前の挙がっている二つの指標を計算していないと言っています。二つ目は、モデルが単語確率をもとに訓練されていると言っています。この二つは矛盾しません。モデルはperplexityという数値を計算して基準値と比べているわけではありません。ただ、単語確率のデータから学習はしています。この違いが大事なのは、AI検出を避ける方法についての助言の多くが、「名前のついた指標を動かせばよい」という前提の上に成り立っているからです。モデルがその指標を計算していないのなら、それを調整しても人々が考えるほどのてこにはなりません。この点はPerplexityやBurstiness以外にAI検出器が測定しているものでさらに掘り下げています。

散文の文だけが対象です。FAQには次のように書かれています。

「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この対象テキストに含まれるのは散文の文だけです。つまり、標準的な文法的文として書かれたテキストの塊のみを分析し、リスト、箇条書き（文になっていない短い構造）、そのほか文になっていない構造といった種類の記述は含みません。）

次の文です。「This percentage is not necessarily the percentage of the entire submission.」（このパーセンテージは、必ずしも提出物全体のパーセンテージというわけではありません。）

つまり、文書にリストや箇条書き、そのほか散文でない内容が多く含まれている場合、AIのパーセンテージは文書全体ではなく散文部分だけに適用されます。表示されているパーセンテージは、あなたが思っているより狭い範囲しか表していない可能性があります。

1%から19%のスコアは数値では表示されません。FAQでは次のように説明されています。

「To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.」（誤検出が起きる可能性を避けるため、1%から19%の範囲のAI検出スコアには、スコアもハイライトも付与されません。レポート上でAIが20%の基準値を下回って検出された場合、現在はアスタリスク(*%)で示され、パーセンテージは付与されません。）

レポートに数値ではなくアスタリスクが表示されている場合、検出器はAIらしいパターンをいくらか見つけたものの、具体的なパーセンテージを付けるほどではなかったということです。低い範囲での誤検出を減らすための、意図的な設計上の判断でした。残りはTurnitinのAIスコアにあるアスタリスク(*%)の意味に書いてあります。

FAQは閲覧権限について明確です。「only instructors and administrators are able to see the indicator.」（この表示を見られるのは教員と管理者だけです。）学生は自分のAIスコアを直接見ることはできません。FAQはさらに続きます。「However, with the PDF download feature, instructors can download and share the AI report with students.」（ただし、PDFダウンロード機能を使えば、教員はAIレポートをダウンロードして学生と共有できます。）学生の方で自分のスコアを知りたい場合は、教員にレポートのPDF版を共有してもらう必要があります。その次のステップがTurnitinのAIライティングレポートの読み方です。

ここまで見てきたことをまとめると、次のようになります。

• TurnitinのAIスコアと類似性スコアは、まったく独立した測定値です。
• AI検出器はテキストを重なり合うセグメントに分割し、それぞれを単語確率のパターンで分類します。
• 分析されるのは散文の文だけです。リスト、箇条書き、文になっていない構造は除外されます。
• 1%から19%のスコアは誤検出を減らすため、数値ではなくアスタリスクだけが表示されます。
• AIスコアを見られるのは教員と管理者だけですが、そのPDFを学生と共有することはできます。

TurnitinのAIレポートが手元にあり、指摘された箇所を手直ししたい場合は、レポートを取り込むことで直接対処できます。条件を満たす箇所は、無料で再度実行できます。