英語が母語でなくてもAI検出器に判定される？GPTZero「914本中0件」テストの実態

2つの検出器、そして1種類のエッセイに限れば、最新の数値は極めて低くなっています。GPTZeroの発表によると、現行モデル「GPTZero 4o」は、学習に使われていないテストセット内の英語学習者によるエッセイ914本すべてを「人間が書いたもの」と判定しました。同日にメリーランド大学、Google DeepMind、サイモンフレーザー大学の研究チームが公開したプレプリントでは、Pangram 4で英語学習者のエッセイ3,909本を判定したところ、AIと判定された割合は0.0%でした。なお、どちらのデータセットも米国の生徒（中高生）が書いたものであり、いずれの研究でもTurnitinは検証されていません。

この「ゼロ」という数字は、前提条件と合わせて読む必要があります。GPTZeroのテストは自社で実施・公開されたものであり、914本中0本という結果であっても、実際の誤判定率は最大で約300分の1に達する計算と整合します。また、この不安の発端となった2023年のスタンフォード大学の研究が無効になるわけでもありません。同研究では、2023年3月時点のGPTZeroが91本のTOEFLエッセイ（すべて150語未満）の52%をAIと判定しました。使われたモデルも、エッセイの種類も文章の長さも異なるため、2つの結果は矛盾しません。そしてどちらの結果も、あなたが書いたエッセイの安全性を保証するものではありません。

問題の投稿は、Anna Gao氏が執筆し、2026年10月5日にGPTZeroの公式ブログに掲載された"Biased Against ESL and Students with Disabilities? We Put GPTZero 4o to the Test"（ESLや障害を持つ学生にバイアスはあるか？GPTZero 4oをテスト検証）です。GPTZeroは9月24日に4oを発表し、9月20日には全ユーザーのデフォルトモデルになったとしています。

テストに使われたエッセイは、自動ライティングフィードバックの改善を目的として構築された研究用コーパス「PERSUADE 2.0」から抽出されたものです。これには、米国の第6学年〜第12学年の生徒が書いた2万5,000本以上の意見文（議論型エッセイ）が収録されています。各エッセイには執筆者に関する情報が付与されており、その生徒が英語学習者（ELL）に分類されていたか、またIEP（個別教育計画）や504プラン（米国の学校における障害児支援計画）の対象者であったかどうかが記録されています。バージョン2.0は、最初に公開された「PERSUADE 1.0」のエッセイにスコア情報を追加したものです。1.0では、単語数が150語以上、かつ単語の75%以上が正しく綴られているエッセイのみが収録されており、平均語数は402語でした。PERSUADE 1.0は、OpenAIが2022年11月30日にChatGPTを公開する前の2022年10月に学術誌で発表されたため、これらのエッセイがChatGPTを使って書かれた可能性は一切ありません。

GPTZeroがテストしたのは、同社が言うところの"PERSUADE2.0's official held-out test split, which GPTZero 4o was not trained on."（PERSUADE 2.0公式のホールドアウト・テスト分割データであり、GPTZero 4oの学習には使用されていない）に含まれるエッセイです。これには英語学習者によるエッセイ914本と、IEPまたは504プランを持つ生徒によるエッセイ1,172本が含まれており、147本は両方のグループに重複していました。GPTZero 4oはそのすべてを人間が書いたものと判定しました。グラフでは、英語学習者によるエッセイ914本すべてが「Human probability」目盛りの最上位を示す1本のバーに収まっており、両グループに重複する147人の生徒の最低スコアは0.997でした。

このブログ記事で言及されていない点が2つあります。1つ目は、どのスコア以上であればエッセイが「人間が書いたもの」とみなされるのかが示されていないことです。2つ目は、PERSUADEの残りの部分が4oの学習に使われたかどうかが書かれていないことです。その学習用データ部分は、Kaggleのデータサイエンスコンペティション「Feedback Prize 2021」以降一般に公開されており、テストデータと同じ米国の第6〜第12学年による意見文コーパスから取られています。そのため、このホールドアウト分割データは同種のエッセイに対する検証としては妥当ですが、大学の実験レポートのような文章に対する検証力は大幅に弱くなります。

また、これはGPTZeroが自社で選んだデータセットを使い、自社のブログ上で発表した自社テストであり、コードや採点されたエッセイへのリンクは公開されていません。だからといって数値が間違っているわけではありませんが、あくまでベンダー側による自社製品の説明を読んでいるのだという前提が必要です。GPTZero自身もこの結果について、"a great milestone; however, it is not a finish line."（素晴らしいマイルストーンですが、ゴールではありません）と述べています。

914本中0本というのは単なる件数であり、正確な確率を決定づけるものではありません。914本のエッセイを検証して誤判定がゼロ件だったとしても、実際の誤判定率は最大で約0.33%、およそ300本に1本程度の水準である可能性が残ります。これは、914回の試行で一度も発生しなかった場合に適用される一般的な95%信頼区間の上限値です。非常に低い確率ではありますが、ゼロではありません。

2つ目の限界は、一見すると分かりにくい点にあります。GPTZeroの4oリリース時のブログ記事では、PERSUADEのテストセットにおいて"only 1 false positive out of 10,402 essays"（10,402本のエッセイのうち誤判定はわずか1本）であったと報告されていました。このテスト用分割データの総数がまさに10,402本であるため、914本はその中から抽出されたことになります。私たちの試算では、もし英語学習者が他の執筆者とまったく同じ頻度で誤判定されると仮定した場合、914本中での誤判定の期待値は約0.09本となり、ほぼ毎回「ゼロ件」という結果が出ることになります。さらに、もし英語学習者の誤判定率が他の人の10倍高かったとしても、10回中少なくとも4回は「ゼロ件」が観測される計算になります。

したがって、914本中0本という結果をもって、英語学習者が他の学生と同等に扱われている（バイアスがない）と証明することはできません。この規模のテストでは、両者の違いを見分けることができないからです。このデータが示しているのは、対象となったこれらのエッセイにおいて、英語学習者を含めたすべての生徒の誤判定率が非常に低かったということにとどまります。

2つ目のデータ群は、Rishanth Rajendhran氏ら8名の共著者によるプレプリント"IdeaLens: Detecting AI Ideas in Long-form Writing"（IdeaLens：長文におけるAIのアイデア検出）の付録に掲載されています。この論文は2026年10月5日にarXivへ投稿されました。論文の主眼は著者らが独自に開発した研究用検出器にあります。商用検出器であるPangram 4は、一般の人間が書いた19組の文章データセットを用いて比較されたツールの1つです。このテストはPangram自身が実施したものではありません（ただし著者らは研究用クレジットの提供に対して謝意を述べています）。また、この論文はまだ査読（ピアレビュー）を受けていません。

その19のデータセットの1つが「ELLIPSE」です。これは米国の第8学年〜第12学年の英語学習者によるエッセイ約6,500本を集めたコーパスです。いずれも米国の州共通テストにおいて、コンピュータ上で25〜30分の制限時間内に執筆されたものです。訓練を受けた評価者が各エッセイの英語力を1〜5のスケールで採点しており、1は初歩的な能力、5は"native-like facility"（母語話者並みの運用力）を示します。同論文ではそのうち3,909本が使用されました。私たちが検証したところ、この本数および学年別・スコア別の内訳は、コーパスの公開学習ファイル（3,911本収録）と1〜2本の誤差を除いて一致していました。この3,909本のうち約70%が500語未満の文章です。

著者らの基準では、Pangramが算出した「AI生成」の割合に「AI支援」の割合の半分を足した数値が半分以上になった場合を「AI判定」と定義しています。このルールに基づくと、PangramがAIと判定した割合は3,909本中0.0%でした。この数値は小数点第1位に四捨五入されているため、最大でも1本が含まれる余地があります。著者が公開した結果ファイルでは、習熟度のすべての区分（バンド）においても0.0%となっていましたが、各区分のサンプル数には偏りがあります。最低ランクは8本、最高ランクは28本である一方、バンド2、3、4はそれぞれ1,000本以上を占めています。

このテストではベースレート（基準発生率）との比較が有効です。同論文が一般的な人間による文章全体に対するPangramの挙動も報告しているためです。全19回の評価を平均すると、PangramがAIと判定した人間執筆文書は0.3%でした。この平均値の大部分は、多様な文章を混ぜたベンチマークと、研究提案書に対する専門家の査読コメントという2つのデータセットによって引き上げられたものです。19組中15組（ELLIPSEを含む）では、結果が0.0%でした。他のデータセットは査読文からウェブページまで多岐にわたるため、これは学習者とネイティブのクラスメイトを比較したものではなく、人間が書いた文章全般に対するPangramの挙動と学習者を比較したものです。これは、「英語学習者が他の書き手よりもAI判定されやすいのか」という問いに対し、今回の2つの新テストの中で最も直接的に迫ったデータと言えます。少なくともPangramにおいて、これらのエッセイを対象とする限り、学習者が余計に判定されるということはありませんでした。

これは性能ランキングではありません。各行で検出器やバージョンが異なり、「AI判定」の定義もそれぞれ異なり、テスト対象となった書き手も異なります。表の1行目にある語数は、スタンフォード大学の研究チームがコードと共に公開したエッセイをもとに私たちがカウントしたものです。この研究については英語非ネイティブの文章がAI検出器に誤判定されやすい理由で、Turnitinの検証についてはTurnitinによる英語学習者への判定バイアス検証：長文と短文で異なる結果で詳しく解説しています。なお、Turnitinの行に記載されているのは2023年時点のモデルであり、Turnitinはその後検出器を変更しています。

今回の証拠からそう結論づけることはできません。2026年の数値自体は事実ですが、それがカバーしている範囲は一般的な「英語学習者」全体よりもはるかに限定的な状況です。

• 文章の長さ。 スタンフォード大学のデータセットに含まれるエッセイは、すべて150語未満でした。Turnitinの2023年の検証でも、150〜300語のテキストで学習者とネイティブの判定差が広がることが示されています。今回の2つの新しいデータセットは、その基準を大きく上回っています。PERSUADEのエッセイは平均402語であり、ELLIPSEのエッセイの30%は500語以上です。2023年の衝撃的な数値をもたらしたような超短文は、2026年のテストでは検証されていません。
• 文章のレベル。 今回の2つのデータセットは、いずれも中高生の文章です。Turnitinの2023年の検証における学習者テキストは確かに大学レベルの学習者のものでした（データセットの表では両方の学習者コーパスに"higher ed"（高等教育）とラベル付けされています）。しかしTurnitin自身の説明によると、それらは主に短めの説得的・説明的な課題文であり、300語グループのネイティブ執筆者のほぼ全員が米国の高校生でした。また、同社は次のように記しています。"A comparable collection of publicly available full-length university level documents from L2 and L1 writers was not available for this evaluation."（今回の検証において、比較対象として利用可能な、公開された大学レベルのL2およびL1執筆者による長文テキストのコレクションは存在しなかった）
• 英語力が最も低い層のサンプル数が極めて少ない。 PERSUADEではスペルミスが多すぎるエッセイが除外されており、ELLIPSEの最も低い習熟度バンドには8本しかエッセイがありません。
• Turnitin。 同社のAI検出に関するFAQによると、2026年7月に複数モデルのアンサンブルを単一モデルに統合したとされていますが、バイアスに関する質問への回答では学習データの選定方法が説明されているのみで、具体的な数値は提示されていません。FAQの本文中、「English learner」、「ESL」、「L2」、「native」という単語の出現回数はすべて0回であり、「second language」という表現が4回使われているものの、数字は一切示されていません。
• バージョン。 GPTZero 4oがデフォルトになったのは9月20日のことにすぎません。また、論文にはPangramが具体的にいつエッセイを採点したかが記載されていません。どちらの検出器も今後アップデートされていきます。

見出しの派手さとは裏腹に、公平に要約すればその範囲は限定的です。「2026年秋の時点で、特定の2つの検出器が、米国の生徒（中高生）によって書かれた数百語程度のエッセイを検証した場合、それらをAIと判定することはほぼ皆無だった」というのが実態です。

1. どの検出器が、いつ使用されたかを確認する。 今回のデータはあくまでGPTZero 4oとPangram 4に関するものです。学校がTurnitinを使用している場合や、2026年9月20日より前にGPTZeroで判定が行われた場合には、これらの数値は当てはまりません。
2. 判定ラベルやパーセンテージだけでなく、完全なレポートの開示を求める。 どの箇所が指摘され、どのようなスコアが出ているのかを自分の目で確認する必要があります。
3. 指摘された文章が短い場合は、その点を主張する。 過去の研究でバイアス問題が発覚したのは短い文章においてであり、Turnitin自身のレポートでも通常の散文テキストが300語未満の場合はAI判定のパーセンテージが表示されません。短いディスカッション投稿への判定は、本格的な論文に対する判定と比べてはるかに少ないテキスト量を根拠にしています。
4. 執筆プロセスの証拠を保管しておく。 初期のドラフト、メモ、参照した文献リスト、そしてバージョン履歴こそが、あなた自身のエッセイに関する確たる証拠になります。他人のエッセイを対象にした研究の統計数値は、あなたの文章の証明にはなりません。Word、Google Docs、Overleafでバージョン履歴を確実に残す方法では、どの設定を行えば履歴が確実に保持されるかを解説しています。
5. 研究結果を引用する場合は、正確に伝える。 もしGPTZeroで指摘されたのであれば、同社自身が公表したテストで英語学習者のエッセイ914本すべてが人間執筆と判定された事実に言及するのは妥当です。ただし、それは「決定的な証拠」としてではなく、「自分の下書きや履歴を確認してもらうための理由」として提示してください。学校の生徒が書いた914本のエッセイのテスト結果は、あなたの文章に起きたことを直接証明できるものではありません。

これは、Turnitinが自分のエッセイをAI判定しないという意味ですか？ 今回の研究からは判断できません。Turnitin自身の2023年の検証では、300語以上の英語学習者のテキストの1.4%がAIと判定され（ネイティブ執筆者の1.3%に近い数値）、その当時のモデルはすでに変更されています。また、現在のFAQには英語学習者に関する具体的な数値は一切記載されていません。

私は大学生ですが、これらの結果は当てはまりますか？ 参考程度にとどまります。2026年の2つのデータセットはどちらも米国の生徒（中高生）による文章であり、PERSUADEは授業の課題、ELLIPSEは25〜30分のテストエッセイです。大学の文献レビュー（文献調査）ははるかに長く、専門的で、数週間かけて執筆されます。最も近いデータはTurnitinの2023年の検証ですが、学習者テキストは大学生レベルだったものの、主に短文の課題でした（300語以上のテキストで1.4%が判定。なお、このモデルは現在変更されています）。

AI判定を避けるために、英語をよりシンプルにしたり、逆に難解・華やかにしたりすべきですか？ 今回の結果を見る限り、そうした対策を支持する根拠はありません。Pangramのテストでは、習熟度レベル2、3、4のエッセイ（それぞれ1,000本以上）がすべて0.0%という結果であり、著者らの結果ファイルにある文法や語彙のスコア帯でも同様でした。これは1つの検出器のデータにすぎませんが、自分本来の文体ではない不自然な文体で書くべき理由にはなりません。

障害を持つ学生についての結果はどうですか？ 同じGPTZeroの投稿では、IEPまたは504プランを持つ生徒のエッセイ1,172本すべてを4oが人間による執筆と判定したと報告されています。ただし、ベンダー自身の自社テストであること、中高生のエッセイであること、そして「ゼロ」という結果であってもわずかな実際の発生率が存在し得ることなど、同様の注意点が当てはまります。

• Anna Gao, Biased Against ESL and Students with Disabilities? We Put GPTZero 4o to the Test, GPTZero, 2026年10月5日（本文およびページ内の画像5枚）; GPTZero Team, Introducing GPTZero 4o, 2026年9月24日; いずれも2026年10月7日閲覧。
• Rishanth Rajendhran, Minjoon Choi, Jenna Russell, Ramya Namuduri, Deniz Bölöni-Turgut, Marzena Karpinska, John Wieting, Mohit Iyyer, IdeaLens: Detecting AI Ideas in Long-form Writing, arXiv:2610.06778v1, 2026年10月5日（付録E.3、セクションG.1、表17）、および著者らによるELLIPSE結果ファイル; 2026年10月7日閲覧。
• Scott Crossleyら, A large-scale corpus for assessing written argumentation: PERSUADE 2.0, Assessing Writing 61 (2024), プレプリント; The persuasive essays for rating, selecting, and understanding argumentative and discourse elements (PERSUADE) corpus 1.0, Assessing Writing 54 (2022); 2026年10月7日閲覧。
• Scott Crossleyら, The English Language Learner Insight, Proficiency and Skills Evaluation (ELLIPSE) Corpus, International Journal of Learner Corpus Research 9(2), 2023, プレプリントおよびコーパスファイル; 2026年10月7日閲覧。
• OpenAI, ChatGPT: Optimizing Language Models for Dialogue, 2022年11月30日（Internet Archive 2022年12月2日付アーカイブ）; 2026年10月7日閲覧。
• Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu, James Zou, GPT detectors are biased against non-native English writers, arXiv:2304.02819v3（図1aおよびMaterials and Methods; Patterns誌にて2023年掲載）、および著者らによるデータリポジトリ; 2026年10月7日閲覧。
• David Adamson, New research: Turnitin's AI detector shows no statistically significant bias against English Language Learners, Turnitin, 2023年10月26日（本文および結果テーブル画像）; Turnitin, AI writing detection capabilities FAQs および Using the AI Writing Report; 2026年10月7日閲覧。