修士論文はどのくらいの割合でAIと判定されるのか？1,163本を検証した2026年の研究

ある学部の2024–2025年度の修士論文において、Pangramは1,163本中529本（45.5%）をAIによるものとして検出しました。検出された論文におけるAI生成割合の推定値の中央値は30%で、80%を超えると推定された論文はわずか1.9%でした。研究チームには、これらの数値が実際にどう執筆されたかと突き合わせて検証する手段はありませんでした。一方、執筆者が判明している論文を用いた別の対照実験では、Turnitin、Pangram、GPTZero、Copyleaksのすべてが、人間が書いたすべての論文を0〜20%の範囲でスコアリングしました。

この研究は、ブリュッセル自由大学（Vrije Universiteit Brussel）の Marijke Van Vlasselaer、Filip Van Droogenbroeck、Bram Spruyt による論文 "Who wrote this? Evaluating the reliability of AI detection tools in higher education"（誰がこれを書いたのか？高等教育におけるAI検出ツールの信頼性評価）で、2026年6月29日に学術誌『International Journal for Educational Integrity』においてオープンアクセスで公開されました。著者らは、テストしたどのツールとも金銭的または組織的な利害関係はないと表明しています。

研究チームは、それぞれ4,000語以上からなる英語の学術論文40本ずつのセットを4つ作成しました：

• 人間が執筆。 英語を母語としない学生が2017年から2019年の間に提出した修士論文で、大学のアーカイブから抽出。
• 完全にAI生成。 ChatGPTのモデルによって生成された完全な論文。
• ハイブリッド。 人間が執筆した論文の文献レビューと結論部分を、AIが生成したテキストに差し替えたもの。
• リライトされたハイブリッド。 ハイブリッド論文のAIセクションを、ChatGPTに対して"sounds more like it was written by a real person"（より生身の人間が書いたように読める文章）にするよう求める単一のプロンプトでリライトしたもの。

その後、各ツールのスコアと、各論文における既知のAIテキストの実際の割合とを比較しました。

人間が執筆した論文において、4つのツールはいずれもすべての論文を0〜20%の範囲に収めました。PangramとCopyleaksは0%を返しました。Turnitinは3本の論文で数字の代わりにアスタリスクを表示しました。Turnitinの公式ドキュメントでは、アスタリスクは1%から19%の間のスコアを示すものとされており、これについてはTurnitinのAIスコアに付くアスタリスクの意味で解説しています。GPTZeroは一部の論文にごくわずかなスコアを付けました。著者らはこの結果を、非母語話者を対象とした2023年の研究と対比させています："Unlike Liang et al. (2023), who reported substantial false-positive bias against non-native writers using seven early-generation GPT detectors, we found no false positives for Pangram, Copyleaks, and Turnitin"（第1世代のGPT検出ツール7種を用いて非母語話者に対する大幅な誤判定バイアスを報告したLiangら（2023）とは異なり、今回の検証ではPangram、Copyleaks、Turnitinにおいて誤判定は見られなかった）。その初期の研究については、英語を母語としない書き手がAI検出で誤判定されやすい理由で詳しく取り上げています。著者らは、過去の研究に鑑みると誤判定が"almost absent"（ほぼ皆無）であったことに驚いたと記す一方で、次のような注意点も付け加えています："some tools may use conservative thresholds to avoid falsely labelling human-written text as AI-generated, which may increase the number of false negatives."（一部のツールでは、人間が書いた文章をAI生成と誤判定するのを避けるために保守的なしきい値を用いている可能性があり、その結果、見落とし（偽陰性）が増える恐れがある）。

実際にAIテキストを含んでいた論文では、ツール間で評価が大きく分かれました。3つのAIカテゴリすべてにおいて、Pangramの推定値が実際の割合に最も近い結果となりました。Turnitinを含む他の3つのツールは、完全にAI生成された論文を著しく過小評価しました。これらの論文はそのセットに使用された同一のモデルから生成されたものであり、著者らはこの乖離について、当時利用可能だった最新のモデルであったことに関連付けています。ハイブリッド論文において、正しい範囲内に収めたのは、Pangramが40本中37本、Turnitinが24本、Copyleaksが12本、GPTZeroは0本でした。

Turnitinの数値を読み解く上で重要な詳細が1点あります。研究チームはTurnitinでアスタリスクが表示された論文を最も低い区分としてカウントしました。当サイトのPangramとTurnitinの比較でも、この研究について取り上げています。

既知のAIコンテンツの追跡においてPangramの精度が最も高かったため、研究チームはPangramを使用し、社会科学・経済学部の全プログラムで2024–2025年度に提出された全1,163本の修士論文をスキャンしました。

著者らはこの分布について、次のように読み解いています："the majority showed low-to-moderate AI usage, with very high AI usage (> 80%) being rare."（大半は低度から中程度のAI利用にとどまり、80%を超える極めて高いAI利用は稀であった）。

著者らはその限界について明確に述べています：

• 正解となる実態（グラウンドトゥルース）の不在。 1,163本の論文が実際にどのように書かれたのかは誰にも分からないため、"the flagging percentages cannot be interpreted as confirmed prevalence rates of AI use."（検出された割合は、AI利用が確認された確定割合として解釈することはできない）とされています。著者らはこの分析を依然として"a valuable first indication"（価値ある最初の目安）と呼んでいますが、これらの数値はPangramによる推定値であり、確定した利用率ではありません。
• 単一の学部、単一のツール。 対象となった論文はある1つの大学の社会科学・経済学部のものであり、スキャンに用いられたのもPangramのみでした。
• 特定の一時点の記録。 テスト内のAIテキストは2025年5月に生成されたものであり、著者らは自身の結果について"are valid only for a specific snapshot in time."（特定の時点におけるスナップショットにのみ有効である）と述べています。
• 単一のリライト手法。 「リライトされたハイブリッド」のセットでは、ChatGPTへの1つのプロンプトのみが使用されました。著者らは、実際の学生は複数の手法を組み合わせる可能性があるため、そのセットの結果がそのまま当てはまるとは限らないと指摘しています。

人間が執筆した論文のグループも、2017年から2019年の間にある1つの学部で提出された修士論文という特定の母集団でした。それらの論文で誤判定が出なかったことは好材料ですが、すべての論文において誤判定がないことを保証するものではありません。

1. どの検出ツールによるスコアかを確認する。 この研究では、同じ論文であってもツールによって判定に大きな開きがあることが示されました。Pangramの推定値、Turnitinのパーセンテージ、GPTZeroのスコアは、同列に扱えるものではありません。
2. そのツールが論文全体を読み込めるか確認する。 例えばTurnitinは、30,000語を超える提出物に対してはAI Writing Reportを生成しません。詳しくはTurnitinは論文丸ごと1本をチェックできるのかをご覧ください。
3. どのセクションが指摘されたかを確認する。 レポートでハイライトされた箇所こそが、下書きやバージョン履歴を用意して説明できるようにしておくべき部分です。
4. スコアがどのように扱われるのかを確認する。 研究の著者ら自身も、検出されたという事実は"should trigger a more thorough review of the student's paper content, rather than relying on an AI detection tool to draw a final conclusion."（AI検出ツールに頼って最終的な結論を下すのではなく、学生の論文内容をより詳細に精査する契機とすべきである）という立場をとっています。

人間が書いた文章をAIで推敲した場合にどのくらいの頻度で検出されるかを検証した、もうひとつの2026年の研究については、AIによる推敲は検出対象になるのかをご覧ください。

論文の中で指摘された部分が修正を要する一連の箇所である場合、HumanPenのHumanize機能はその作業のために設計されています。Turnitin または iThenticate のレポートを読み込み、指摘された箇所だけを書き換えます。同じ形式の編集可能なファイルを受け取れます。なお、大学によるAI利用の規定が何よりも優先されます。手元に戻ってきた各章は、提出前に必ず全体を通読して確認してください。

人間が執筆した論文を誤ってAIと判定した検出ツールはありましたか？ 20%を超えて誤判定したツールはありませんでした。4つのツールはいずれも、人間が書いたすべての論文のスコアを0〜20%の範囲に収めました。Turnitinは3本でアスタリスクを表示し、GPTZeroは一部にわずかなスコアを付けましたが、PangramとCopyleaksはすべて0%と判定しました。ただし著者らは、保守的なしきい値を設定することで誤判定（偽陽性）を減らせる反面、より多くのAIテキストを見落とす（偽陰性）リスクがあると注意を促しています。

45.5%という数値は、修士課程の学生の半数近くがAIを使用したという意味ですか？ 確定的な数値としてそう解釈することはできません。この数値は、Pangramが全論文の45.5%において何らかのAI生成コンテンツが含まれていると推定したことを意味します。著者らはこれを、AIを活用した執筆がすでに一般的になっていることを示す"a valuable first indication"（価値ある最初の目安）と捉えつつも、実際の執筆実態（グラウンドトゥルース）が不明である以上、これらの割合は"cannot be interpreted as confirmed prevalence rates of AI use."（AI利用が確認された確定割合として解釈することはできない）と述べています。

どの検出ツールが最も正確でしたか？ 今回のテストでは、Pangramの推定値が既知のAI割合に最も近い結果となりました。ただしこれは、2025年5月に生成された特定の論文セットを用いた単一の研究結果にすぎず、それ以降も検出ツールやAIモデルは変化を続けています。

実際の修士論文にTurnitinはテストされましたか？ いいえ。1,163本の論文に対して実行されたのはPangramのみです。

• Marijke Van Vlasselaer、Filip Van Droogenbroeck、Bram Spruyt、Who wrote this? Evaluating the reliability of AI detection tools in higher education、『International Journal for Educational Integrity』第22巻第16号、2026年6月29日公開、2026年9月27日閲覧。