チャットボットは人間が書いた文章をどれほどAIと誤判定するのか？ 15モデルを検証した2026年の調査

結論から言えば、どのモデルに尋ねたかによって大きく異なります。2026年のプレプリントでは、チャットボットの背後にあるような15種類の汎用AIモデルをAPI経由で検証しました。人間が執筆した1,000件のテキストに対し、同一の固定質問を用いて「人間が書いたものか、機械が書いたものか」を判定させたのです。前世代（GPT-4oおよび2024〜25年のその他4モデル）は、人間のテキストの平均36.5%に対して「機械」と回答しました。一方、最新世代（GPT-5.5、Claude Opus 4.7、Gemini 3.1 Pro Previewを含む2026年の8モデル）ではそれが3.6%にとどまり、個別のモデルでも0.1%から8.6%の範囲でした。したがって、チャットボットが人間の文章を誤って「機械」と判定する頻度はモデル次第であり、今回の検証でも全体の3分の1以上に達するものから、ほぼ皆無のものまで様々でした。ただし、こうした数値は大量のテキスト群全体を対象とした統計であり、あなた個人のレポート1本にそのまま当てはまるわけではありません。また、チャットボットの回答単体では証拠にはなり得ません。検証対象のテキストは学生のレポートではありませんでしたし、スクリーンショットだけではどのモデルが使われ、どのように質問されたのかが分からないからです。

この研究は、ケント大学、上海交通大学、バーミンガム大学の Haiyue Yuan、Jie Guo、Weidong Qiu、Zheng Huang、Ruizhe Li、Shujun Li による論文「Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis」（大規模言語モデルを用いたLLM生成テキストの検出：世代間分析）です。2026年9月28日に arXiv に投稿されたプレプリントであり、査読は受けていません。

研究チームはまず、公開研究用データセット「M4GT-Bench」から人間が執筆した1,000件のテキストを用意しました。論文ではこれについて "covering a broad range of topics, styles, and formats"（幅広いトピック、文体、形式を網羅）と説明されています。公開されたファイルを確認したところ、そこには百科事典の項目、ハウツーガイド、フォーラムの回答、学術論文の要旨、査読レポートなどが含まれていました。論文中では、これらが学生の課題であるとは一切説明されていません。さらに、15種類のモデルにも対応するプロンプトを与えてそれぞれ1,000件のテキストを生成させました。そのプロンプトの多くは150〜300語の長さを求めるものでした。

続いて、各モデルが交代で検出器役を務めました。すべてのテキストが、冒頭に "Please determine whether the following text is generated by large language models or by a human"（以下のテキストが大規模言語モデルによって生成されたものか、人間によって書かれたものかを判定してください）と記された同一の指示とともに各モデルに入力され、モデルは「human」か「machine」のいずれかで回答した上でその理由を説明することが求められました。これにより、233,000件を超える有効な判定結果が得られました。

研究チームは、公開時期に基づいてモデルを次の3世代に分類しました。

• 最古世代（2023年〜2024年初頭）： GPT-3.5 Turbo Instruct、Mixtral 8×22B Instruct。
• 前世代（2024〜25年）： GPT-4o、DeepSeek-V3、Llama 3.3 70B Instruct、GLM-4 32B、および72BパラメータのQwenモデル（論文のモデル一覧表では Qwen2.5-72B Instruct、本文の他の箇所では Qwen2-72B と表記）。
• 最新世代（2026年）： GPT-5.5、Claude Opus 4.7、Gemini 3.1 Pro Preview、DeepSeek-V4-Pro、Qwen3.6-Max-Preview、GLM-5.1、MiMo-V2.5-Pro、Kimi K2.6。

これらのモデルへのアクセスは主に OpenRouter および各ベンダー独自のAPIを通じて行われており、論文中には ChatGPT、Gemini、Claude の各アプリ版を検証したという記述はありません。また、検証が実施された正確な日程も明記されていません。最新世代のグループについては "at the time of our experiments"（実験実施時点）で最新のモデルと表現されており、2026年9月3日に各モデルのデフォルト設定を確認したことが記録されています。

本サイトの過去の記事「ChatGPTはAI検出器として使えるか？ OpenAIが独自分類器について公表したデータ」では、OpenAIが2023年に開発・検証した後に公開を取り下げた分類器を取り上げ、チャットモデルに「AIが書いたものか」と尋ねる行為は検出とは呼べないと論じました。その記事では、チャットモデル自体に判定を行わせた実測値までは引用していませんでした。今回の研究はまさにその実測データを補うものです。15種類のチャットモデルに対し、同一の問いを直接投げかけてテストしています。独立した分類器を用いるよりも、教員がチャット画面にレポートを貼り付ける状況に近いAPI環境で検証されています（完全に同じ条件ではないものの）。

各数値は、該当グループに含まれるモデルの平均値です。最後の列の範囲は、AIテキストをどの世代のモデルが作成したかによって異なります。

これら3つのグループは、それぞれ異なる方向に誤認を起こしました。最古のモデル群はほとんどを「人間」と回答したため、人間の文章を誤判定する割合こそ次世代より低かったものの、AIテキストの5分の4以上を見逃しました。前世代はその逆の極端に振れ、AIテキストをより多く検出した反面、人間が書いた文章の3分の1以上を「機械による作成」と判定してしまいました。最新世代はどちらのエラーも低い水準に抑えられていますが、それでも旧世代のAIテキストに比べ、2026年モデルが生成したAIテキストの見逃し率（13.4%）は高くなっています。

表の1行目は、単体で見ると誤解を招く罠となります。13%という誤判定率は36.5%より良好に見えますが、これはそもそも「機械」と滅多に答えないモデルだからこその数値です。誰も疑わない検出器は、当然ながら何も検出できません。

3.6%という平均値の裏には、大きなばらつきが隠されています。著者らが公開した結果データには、同一の1,000件の人間のテキストに対する最新世代モデルごとの誤判定率が記録されています。

全15モデルを通してみると、誤判定率は0.1%から55.3%にまで及び、最も高かったのは前世代の Llama 3.3 70B でした。この論文の主要な結論はさらに広い視点に立っています。すなわち、検出の精度は "is primarily driven by detector capability rather than generator provenance"（生成元のモデルではなく、検出器自体の能力に主に左右される）ということです。どのモデルがその文章を書いたかよりも、どのモデルに判定を尋ねたかのほうがはるかに大きな影響を持つのです。

この表は、モデル間にどれほどの格差があるかを示すものです。ただし、あなたの状況にそのまま当てはめる対照表としては使えません。実際のチャットアプリでは検証時と異なるバージョンが稼働している可能性があり、教員の質問の言い回しも実験のプロンプトとは異なっていたはずですし、各モデルの判定もテキスト1件につき1回きりだったからです。

提出されるスクリーンショットには、多くの場合「構成が整いすぎている」「内容が一般的すぎる」「文章が滑らかすぎる」といった理由が添えられています。今回の研究では、すべてのモデルに理由の提示が義務付けられました。研究チームが別のAIモデル（GPT-5.6 Sol）を用いてそれらの説明のサンプルを並べて比較させたところ、まったく同一の特徴が両方向の根拠として都合よく使われていることが明らかになりました。著者らは、詳細で一貫性のある文章について "may be treated as evidence of human expertise by one detector, but as evidence of formulaic LLM generation by another."（ある検出器には人間ならではの専門性の証拠とみなされる一方で、別の検出器にはLLMによる定型的な生成の証拠として扱われる可能性がある）と記しています。

著者らはまた、そうした説明が "may be post-hoc justifications rather than accurate and reliable descriptions of how a decision was made"（判定がどのように下されたかの正確かつ信頼できる説明ではなく、事後的な正当化にすぎない可能性がある）とも警告しています。著者らが同じ説明に対して行ったキーワード出現頻度の分析も同様の傾向を示しており、これらの所見を確定させるには人間のアノテーターによる確認がまだ必要であるとしています。スクリーンショットに「構成が明確で論理展開が滑らかである」と書かれていたとしても、それは単にあなたのレポートの文面を描写しているにすぎず、その文章がどこから生まれたのかを証明するものではありません。

• チャットボットが学生のレポートをどう判定するか： 人間が執筆したテキストの中に、学生の課題と説明されているものは1件もありませんでした。また、どちらのテキストも非常に短いものでした。本サイトの集計では、人間のテキストの単語数の中央値は233語であり、AIテキストのプロンプトも大半が150〜300語を求めるものでした。長文のレポートでは異なる結果が出る可能性があり、今回の研究からその変化の方向性を推測する根拠は得られません。
• もう一度質問すると回答が変わるかどうか： 各モデルはテキスト1件につき1回しか判定を行っていないため、同じチャットボットに2回目の判定を求めた際にどれほどの頻度で回答を覆すかについては、この研究からは何も分かりません。
• 結論の堅牢性： これはプレプリントであり、著者自身も3世代による分類を "rather simplistic"（かなり単純化しすぎたもの）と認めています。
• 来年登場するモデルの挙動： 研究チームが当初検討したモデルの多くは、すでに非推奨化されたり提供終了になったりしていました（最古世代が2モデルにとどまっているのもそれが一因です）。ここで示された数値はこれら15のモデルに関するものであり、今後登場するモデルに当てはまるわけではありません。

1. 実際に何が実行されたのかを正確に把握する： 礼儀正しく確認しましょう。「どのチャットボットを使ったのか」「入力したプロンプトを含む会話の全文を見せてもらえるか」「これが唯一の確認なのか、それともTurnitinなどの正式なレポートもあるのか」を尋ねてください。その回答次第で、あなたが対処すべき対象が根本から変わってきます。
2. 履修コースや所属大学の規定を確認する： AI使用の疑惑がどのように処理され、何が「証拠」として認められるのかを確認してください。大学によっては、教職員が使用できる検出ツールを制限していたり、検出器の出力結果に認められる証拠能力の重みを制限していたりします。「AI検出ツールの利用や証拠能力を制限する大学19校：公式声明のまとめ」では、そうした大学の公式見解をまとめています。チャットボットがそれらの制限規定の対象に含まれるかどうかは、所属大学の規程の文言によって異なります。
3. 執筆プロセスの証拠を提示する： 下書き、メモ、読んだ参考文献、そしてファイル自体の編集履歴を用意しましょう。「AIを使っていないことを証明する方法：WordとGoogleドキュメントのバージョン履歴」では履歴のエクスポート方法を解説しています。自身の論理をどのように組み立てていったかを自ら順序立てて説明できること――これこそが、チャットボットの機械的な判定では決して見抜けない決定的な証明になります。
4. この研究を引用するなら、両面を正確に伝える： "Chatbots are wrong a third of the time"（チャットボットは3回に1回間違える）というのは前世代のモデルに限った話です。今回のテストにおける最新世代のモデルが人間のテキストを機械製と判定した割合は0.1%〜8.6%であり、前世代より大幅に低下しています。さらに、統計的な割合は大量のテキスト群全体を語るものであり、あなた個人のレポート1本を直接説明するものではありません。この点については「大学が年間75,000本のレポートを提出する際、1%の誤検知率が何を意味するか」で詳しく解説しています。
5. 別のチャットボットのスクリーンショットで反論しない： 別のチャットボットに「人間が書いた」と言わせたところで、上述した限界がすべてそのまま当てはまります。下書きや執筆ログはレポートがどう書かれたかの確固たる証拠になりますが、別のチャットボットの見解は何の証拠にもなりません。

チャットボットの回答は正式なレポートではなく、具体的にどの箇所が指摘されているかのハイライトもありません。また、すでに不正を疑われて調査対象になっているレポートを後から書き直しても、何の解決にもなりません。HumanPenのHumanize機能は、まったく別のケースを想定して設計されています。すなわち、まだ提出前の下書きであること、手元にその下書きのTurnitinまたはiThenticateのレポートがあること、そして受講中のコース規定でツールを用いた表現の推敲が認められているという状況です。最後の点については、まずシラバスや大学の規程を必ず確認してください。Turnitin または iThenticate のレポートを読み込み、指摘された箇所だけを書き換えます。同じ形式の編集可能なファイルを受け取れます。

これは現在のChatGPTがAI文章を見分けられるようになったことを意味するのか？ この研究結果単体からそう結論づけることはできません。論文に記載されているのはAPI経由での検証であり、実際のChatGPTアプリを使ったテストではありません。GPT-5.5を含む15種類のモデルに対し、それぞれ1つの固定質問を与えた検証です。その条件下において、最新世代のモデルは人間のテキストの平均3.6%を誤って判定し、AIテキストの6.1%〜13.4%（テキストを作成したモデルの世代による）を見逃しました。

より新しいチャットボットのほうが常に信頼性が高いのか？ 必ずしもそうとは言えません。前世代のモデル群は、人間のテキストを「機械」と判定した割合が最古世代よりも高くなっていました（13.0%に対して36.5%）。また、前世代のモデルの一つである Qwen 72B は、人間のテキストを機械と判定した割合が4.4%にとどまり、これは最新世代の3つのモデル（Claude Opus 4.7 の6.1%、MiMo-V2.5-Pro の7.9%、DeepSeek-V4-Pro の8.6%）よりも低い数値でした（ただしこれは、ほぼすべての問いに「人間」と回答した結果にすぎません）。

この研究は査読を受けているのか？ 受けていません。2026年9月28日にプレプリントとして arXiv に投稿されたものです。著者らは、検証に使用した全テキスト、プロンプト、各モデルの生の回答、および分析用コードを公開しています。

• Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li and Shujun Li, Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis, arXiv:2609.34691v1, 2026年9月28日提出（プレプリント、査読前）、2026年10月2日閲覧（表1および5、セクション3、4、5、付録A.2およびA.3）。
• 著者公開のデータおよび結果（GitHub上の hyyuan/detect-llm-generated-texts）：モデルごとの割合は `dataset/results/eval/paper_reproducible/detector_error_profiles.csv`、人間のテキストは `dataset/human-generated-text/human.json` より。2026年10月2日閲覧。