英語論文におけるAIGC検出とは:その意味と仕組み

英語論文に対するAIGC検出が指しているのは、AI執筆検出と同じ工程である。Turnitinの検出器はテキストを重なり合う区間に分割し、それぞれの区間について人間が書いた確率かAIが生成した確率かを分類し、それらのスコアをまとめて文書全体の割合にする。「AIGC」（AI生成コンテンツ）という用語は中国の学術界でよく使われるが、呼び方が違っても検出の仕組みは同じだ。検出器は、特定のAIツールの固有の署名や透かしを探しているわけではない。読み取っているのは語の選択に現れる統計的なパターン、具体的には学習中に身につけた単語確率のパターンである。AIスコアは類似度（剽窃）スコアとは完全に独立しており、AIの表示を見られるのは教員または管理者だけである。

TurnitinのFAQは、検出の処理の流れを次のように説明している。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文がTurnitinに提出されると、提出物から文が抽出され、予測分析のために重なり合う区間に分割される。各区間はAI検出モデルによって分類され、そのテキストが人間によるものかAI生成によるものかを示す確率として、0から1の値が与えられる。これらの区間に含まれる対象となる各文は、その区間のスコアを引き継ぐ。区間は重なり合うため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられる。こうした文のスコアはさらに集計され、文書全体のAI執筆スコアの算出に用いられる。）

検出器は「AIのように見える」特定の言い回しを探し回っているのではない。学習データから統計的なパターンを学んだモデルを使って、テキストの区間を分類しているのだ。区間ごとに確率が与えられ、それらの確率がまとめられ、集計されて一つの割合になる。その割合が示すのは、対象となるテキストのうち、モデルがAI生成と分類した部分の割合である。

FAQの記述のうち二つが、モデルの考え方をはっきりさせている。第一に、"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions."（我々のモデルは、「burstiness」や「perplexity」、あるいは公開の議論でときおり言及される他の個別指標といった特定のシグナルを評価するよう明示的にプログラムされていない。）次の文はこう続く。"Instead, it learns statistical patterns from our training data."（代わりに、我々の学習データから統計的なパターンを学習する。）第二に、"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."（我々の分類器は、単語確率におけるこうした違いを検出するよう訓練されており、人間の書き手に特有の単語確率の並びにも精通している。）

モデルはバースト性やパープレキシティといった名前の付いた指標を計算していない。ただし単語確率のデータで訓練はされている。学習するパターンは、語がどう選ばれどう並べられるかという点に現れるものであり、文の長さのばらつきや語彙の多様さといった表層的な特徴に現れるものではない。だからこそ、語を少し差し替える、つなぎの表現を足す、といった表層的な手直しではスコアが変わらないことがある。検出器が読んでいるのは語の並びのより深い統計的特徴であり、それについてはパープレキシティやバースト性以外にAI検出器が測っているもので扱っている。

FAQは、分析対象となるテキストが何かを次のように定めている。

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."（この対象テキストに含まれるのは散文の文だけである。すなわち、標準的な文法にかなった文で書かれたテキストの塊のみを分析の対象とし、箇条書き、ビュレットポイント（文になっていない短い構造）、その他の非文構造といった種類の記述は含まない。）

その次の文はこうである。"This percentage is not necessarily the percentage of the entire submission."（この割合は、必ずしも提出物全体に対する割合ではない。）

英語の学術論文でいえば、方法の表、数式のブロック、図のキャプション、参考文献リストは、AI分析からおおむね除外されるということだ。割合が対象とするのは原稿のうち散文の部分だけである。表や数式が多い論文は対象テキストが少なくなるため、AIの割合が示すのは見た目より小さな一部分だということになる。TurnitinのAI執筆レポートの読み方では、その差がページのどこに現れるのかを順に追っている。

この二つのスコアは別々の測定値である。

"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other."（類似度スコアとAI執筆検出の割合は完全に独立しており、互いに影響を及ぼさない。）

類似度スコアは、自分のテキストがデータベース内の既存の文献とどれだけ一致しているかを示す。AIGCスコアは、自分のテキストのうちどれだけをモデルがAI生成と分類したかを示す。類似度が高く（正しく引用した文献のために）AIGCスコアが低い論文もあれば、類似度が低くAIGCスコアが高い論文もある。一方に手を入れても、もう一方には影響しない。AIGCスコアを下げたいからといって類似度スコアを下げても意味はないし、その逆も同じだ。二つのスコアを同じものとして読んでしまうことが、たいてい失敗のもとになっている。

ここまで見てきたことを整理しよう。

• 英語論文のAIGC検出は、AI執筆検出と同じ仕組みで動いている。散文の区間における単語確率のパターンを分類しているのである。
• モデルはバースト性やパープレキシティを名前の付いた指標として計算していないが、単語確率のデータでは訓練されている。
• 分析されるのは散文の文だけである。表、数式、参考文献リストはおおむね除外される。
• AIGCスコアと類似度スコアは完全に独立している。一方を変えても他方は変わらない。
• AIの表示を見られるのは教員と管理者だけである。学生は教員にPDF版を依頼できる。

どの箇所が指摘されたかを示すTurnitinまたはiThenticateのレポートがあるなら、レポートを取り込んで、その箇所だけを手直ししてほしい。対象となる箇所は無料で再実行できる。