非母語話者の英文がAI判定される？公式ドキュメントに書かれていること

英語を母語としない人が、自分で書いた文章に対してAI判定を受けることはあり得ます。TurnitinのFAQでは、モデルの学習データが"took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries"（第二言語として英語を学ぶ人や、非英語圏で英語を使う人など、統計的に十分に代表されていない集団を考慮に入れた）とされ、バイアスを抑える目的だったと説明されています。これは企業自身の主張であり、第三者による検証が行われたわけではありません。判定エンジンの仕組み自体は変わらず、散文テキストに含まれる単語の確率パターンを分類しています。非母語話者に教えられる形式的なアカデミックライティングは、決まった型や定型の接続表現を重視するため、構造的な変化に乏しい文章になりがちです。そしてその特徴は、Turnitin自身が挙げている誤判定を招きやすいテキストの種類に含まれています。つまり判定されたからといって、あなたの英語が「上手すぎる」「機械的すぎる」ということではありません。あなたの文章の統計的な特徴が、モデルがAIと結びつけて覚えたパターンと重なったということです。

FAQはバイアスについて正面から触れています。

"While creating our sample dataset, we also took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments, and less common subject areas such as anthropology, geology, sociology, and others to minimize bias when training our model."（サンプルデータセットを作成する際、私たちはモデルの学習にあたってバイアスを抑えるため、第二言語として英語を学ぶ人、非英語圏で英語を使う人、多様な学生構成の大学やカレッジに在籍する学生、さらに人類学・地質学・社会学などの一般的でない分野といった、統計的に十分に代表されていない集団も考慮に入れました。）

これが、Turnitin自身による学習手法の説明です。主張の内容は、第二言語による文章が学習データに含まれていたというものです。ただしこの主張には、第二言語による文章に対してモデルがどの程度うまく機能するかを示す数字、テスト結果、外部検証が一切含まれていません。FAQには、母語話者と非母語話者に分けた誤判定率も公表されていません。つまり「多様なデータを使った」とは主張されているものの、その取り組みがどれだけ効果があったのかは、公開ドキュメントからは独立に測定できないということです。

判定の流れは、どのテキストでも同じです。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文がTurnitinに提出されると、提出文から文が抽出され、予測分析のために重なり合うセクションに分割されます。各セクションはAI判定モデルによって分類され、そのテキストが人間によるものかAIによるものかの確率を示す0から1の値が与えられます。これらのセクション内の対象となる各文は、セクションのスコアを引き継ぎます。セクションは重なっているため、複数のスコアを持つ文もあり、それらは1つのスコアに統合されます。こうした文のスコアはさらに集計され、文書全体のAI執筆スコアの算出に使われます。）

判定エンジンは、あなたがどんな言語的背景を持っているかを知りません。単語の並びを読み、それを分類するだけです。形式的な英語教育によって形作られたあなたの書き方が、モデルがAI生成テキストと結びつけて学んだものと重なる確率の並びを生むなら、スコアは想定より高く出ることがあります。どんなパターンが該当するのかは、AI判定ツールはperplexityやburstiness以外に何を見ているのかで解説しています。

FAQは誤判定を招きやすいテキストを挙げています。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（誤判定、つまり人が書いたテキストを誤ってAI生成と判定することが起きる場合、そこには構造的な変化に乏しい内容、文字どおり同じことを繰り返す文章、新しい考えを展開せずに言い換えただけの文章が含まれることがあります。）

その次の一文です。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."（この種のテキストでAI執筆の割合が高く示された場合、表示されたパーセンテージを見る際にはその点を考慮に入れることをお勧めします。）

非母語話者向けの英語教育は、型にはまったアカデミックな構成を重視しがちです。学習者は決まった文型、形式的な接続表現、均一な段落構造を身につけます。その結果生まれるのが、FAQが誤判定を招きやすいと述べる均質性を備えた文章です。この重なりは意図したものではありません。非母語話者にアカデミックな英語がどう教えられているか、そして判定エンジンがテキストをどう特徴づけるか、その結果にすぎません。では、書き方を変えることが正しい対応なのか。それはそれで別の問題です。判定を避けるために書き方を変えるべきか

FAQには次のように書かれています。

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors."（したがって、AI執筆インジケーターのパーセンテージは、対応を判断する唯一の根拠として、あるいは教員が最終的な評価指標として用いるべきではないことを強調しておかなければなりません。）

自分で書いた文章が判定されたなら、担当教員と話し合う材料があります。FAQが挙げる誤判定を招きやすいテキストの記述を示し、自分の執筆過程を説明し、スコアはあくまで一つの材料にすぎないと伝えることができます。学習データの多様性に関する主張に触れることもできますが、それが誤判定されないことを保証するものではない点は正直に述べるべきです。その材料をどうまとめるかは、判定された、でも自分で書いたで解説しています。

ここまでをまとめます。

• Turnitinは学習データに第二言語学習者を含めたと主張しているが、その効果を検証できる数字は示していない。
• 判定エンジンは、言語的背景にかかわらず単語の確率パターンを読んでいる。
• 非母語話者によくある形式的なアカデミック文章は、誤判定を招きやすい特徴と重なり得る。
• FAQは、スコアを対応の唯一の根拠にすべきではないとしている。
• 判定された場合、自分の執筆過程とFAQ自身の誤判定に関する記述が、話し合いの材料になる。

どの箇所が指摘されたかを示すTurnitinレポートがあるなら、そのレポートを取り込んで、該当箇所だけを手直ししてください。条件を満たす箇所は無料で再実行できます。