AIで推敲した文章はAI判定されるのか？2026年の研究が測定したデータ

今回の研究でテストされた2つの商用検知ツールでは、高頻度で検知されます。研究者らがAIモデルに対し、公表済みの論文要旨642編を "to sound better and more human-like"（より洗練され、人間らしく聞こえるように）書き直すよう指示したところ、Pangramは推敲版の64〜80%を、GPTZeroは38〜49%をAIとして判定しました。一方、同じ検知ツールが2013〜2015年に執筆されたオリジナルの要旨をAIと判定した割合は0%でした。なお、Turnitinはテスト対象外です。論文の著者は、"detector scores should not serve as standalone misconduct evidence."（検知ツールのスコア単独で不正の証拠とすべきではない）と結論付けています。

この研究は、ノートルダム大学の4名の研究者による論文 "Why AI Detection Fails for Academic Integrity"（学術的誠実性においてAI検知が機能しない理由）です。2026年8月6日にarXivに公開され、ACM AI Leadership Summit（AILS '26）に向けて執筆されました。

この問題を取り上げた研究は、これが初めてではありません。メリーランド大学のSaha氏とFeizi氏による2025年の研究（Findings of ACL 2025に掲載）では、あるAIモデルによる "only extremely minor edits"（ごくわずかな修正のみ）の後であっても、人間が書いたサンプルのうちPangramで42.56%、GPTZeroで64.71%がAIとして検知されたことが明らかになっています（各ツール個別の閾値を使用）。これら2つの研究では使用したモデル、閾値、対象テキストが異なるため、数値を単純に合算することはできませんが、示している方向性は完全に一致しています。

研究チームは、化学、コンピューターサイエンス、政治学、神学の4分野から、公表済みの学術論文の英語要旨642編を抽出しました。そのうち306編はChatGPTのようなツールが存在しなかった2013〜2015年のもの、336編は2023〜2025年のものです。

すべての要旨はGemini 3 Flashによって書き直されました。ここで注目すべきは、論文の著者が "refine"（推敲）と呼び、"a proxy for guideline-compliant AI assistance"（ガイドラインに準拠したAI利用の代理指標）と位置付けているバージョンです。モデルに与えられたプロンプトの冒頭は以下の通りです。

"You are an expert scientist who excels in writing papers. Your task is to rewrite a given paper abstract to sound better and more human-like."（あなたは論文執筆に長けた一流の科学者です。与えられた論文のアブストラクトを、より洗練され、人間らしく聞こえるように書き直すのがあなたの役割です。）

著者は、この指示がどのような修正を生み出すかについて、次のように明記しています。"Our refine prompt is closer to light generative rewriting than to grammar-only editing; assisted-writing flag rates should be read accordingly."（私たちの推敲プロンプトは、文法修正のみの編集というよりも軽度の生成的な書き直しに近く、AI支援を受けた文章の検知率はその点を考慮して解釈されるべきである。）ご自身の執筆プロセスと比較する前に、この点を念頭に置いておく必要があります。

その後、すべてのオリジナル版と書き直し版がPangram 3.2とGPTZeroによってスコアリングされました。著者が公開したコードによると、GPTZeroで用いられたスコアは "AI" クラスの確率であり、0.50以上が検知としてカウントされました。

著者自身から2つの注意点が挙げられています。第一に、2023〜2025年のオリジナル版には記録されていない何らかのAI支援がすでに入っていた可能性があるため、それらの検知は "not confirmed false positives"（確認された偽陽性ではない）とされています。第二に、推敲版は人間のみが書いた文章とは別物です。論文では、その検知率を "must not be abbreviated as FPR"（FPR［偽陽性率］と略してはならない）と明記しているため、当記事でもこれを偽陽性率とは呼びません。この数値が測定しているのは、「人間が書いた要旨をAIが推敲した場合、どの程度の割合でAIと判定されるか」です。

判定の閾値を動かしても、全体の傾向は大きく変わりませんでした。0.4〜0.6の範囲において、Pangramは2023〜2025年の推敲版の80〜85%をAIと判定し、GPTZeroは48〜49%をAIと判定しました。

2023〜2025年の要旨において、判定率は学問分野によって大きく異なりました。

未編集のオリジナル版において、STEM分野（化学、コンピューターサイエンス）とそれ以外の分野（政治学、神学）との間のスコア差には統計的有意差が認められました。また著者は、テキストのどのような特徴が高いスコアと連動しているかも測定しました。最も強い相関を示した2つの要素は、「長い単語の割合」と、学術論文で頻出する標準語彙リストである「Academic Word Listの単語の割合」であり、相関係数はおよそ0.30〜0.35でした。一方で、数字や英字以外の文字の割合が高いほど、スコアは低くなる傾向がありました。著者らは、これらの "associations are correlational and do not establish causal mechanisms."（関連性は相関関係を示すものであり、因果関係を証明するものではない）と明記しています。

これらはPangramとGPTZeroに関する測定結果であり、Turnitinを対象としたものではありません。上手に書かれた文章がAI検知で判定されてしまう理由の記事執筆にあたって調査したAI検知に関するTurnitinの3つのヘルプページには、文章の質を評価・採点するという記述はありませんでした。この2つの知見は異なるツールを対象としており、互いに矛盾するものではありません。

著者自身が研究の限界を挙げており、これらは読者自身の状況に当てはめて考える上で極めて重要です。

• 学生のレポートではなく、公表された論文の要旨であること。 著者の言葉を借りれば、"We analyze English published abstracts, not student essays; detector behavior on classroom genres may differ."（私たちが分析したのは公表済みの英語要旨であり、学生のレポートではありません。授業の課題文体における検知ツールの挙動は異なる可能性があります）ということです。
• Turnitinではなく、2つの商用検知ツールであること。 検証された商用ツールはPangram 3.2とGPTZeroであり、補助的にAIモデルのベースラインが用いられました。論文中にTurnitinへの言及はありません。また、Pangramはその後新しいバージョンをリリースしているため、現在のPangramの判定結果が当時と同じモデルによるものとは限りません。
• 単一のモデル、単一の推敲方法であること。 すべての書き直しはGemini 3 Flashと前述のプロンプトによるものです。単なるスペルチェックや文法修正のみの推敲は個別にはテストされていません。
• 4分野のみ、かつ英語のみであること。 今回の研究で化学の判定率が低かったからといって、化学専攻の学生が他の検知ツールや別の形式の文章でも安全であるとは言えません。
• PangramがAPIアクセスを提供していること。 謝辞によると、本研究のためにPangramからAPIアクセスが提供されています。

この論文ではさらに、AIによる書き直し版を市販のヒューマナイザー（人間らしい文体に変換するツール）に通す検証も行っており、その結果、いずれの検知ツールでもAIと判定された割合は4%未満にまで低下しました。この結果を、正当な推敲で記録された38〜80%という高い検知率と並べることが、検知ツールのスコア単独では信頼できないとする著者らの主張のもう一つの柱となっています。彼らの結論は次の通りです。"Integrity programs therefore need transparent AI-use norms and process evidence, not standalone detector scores."（したがって、学術的誠実性に関する制度には、検知ツールのスコア単独ではなく、透明性のあるAI利用規範とプロセスの証拠が必要である。）

1. どのツールによって判定されたのかを確認する。 もしTurnitinだった場合、今回の研究の数値はTurnitinには当てはまりません。指導教員から提示されたレポートで、実際にどの箇所がハイライトされているかを確認してください。
2. 所属機関やジャーナルの規程を確認する。 多くの学術出版社のポリシーでは、言語表現の推敲と文章内容の生成を区別して扱っており、推敲の開示を義務付けている場合もあります。詳しくは学術出版社のAI開示方針の比較をご参照ください。大学の課題の場合は、シラバスの指示や大学の規定に従います。
3. 推敲前のバージョンを必ず保存しておく。 この論文の実践的なアドバイスとして、"Any flag must be paired with drafting history"（いかなる判定フラグも、執筆履歴と組み合わせて検証されなければならない）と述べられています。自分自身の言葉で書かれた、バージョン履歴付きのドラフトこそが、その執筆履歴の証拠となります。
4. 全体のパーセンテージだけでなく、どの箇所が判定されたかを確認する。 指摘された箇所こそが、自分がどのように執筆し、AIがどう変更したのかを説明できるように準備しておくべき部分です。

TurnitinやiThenticateのレポートがあり、指摘された箇所の書き換えが必要な場合、それを行うのがHumanPenのHumanize機能です。Turnitin または iThenticate のレポートを読み込み、指摘された箇所だけを書き換えます。同じ形式の編集可能なファイルを受け取れます。利用する前に、まずAI支援に関する所属コースの規定を確認し、提出前には書き換えられた内容を必ずご自身で確認してください。

Grammarlyの使用は、この研究でいうAI推敲に該当しますか？ 直接該当するわけではありません。この研究における推敲はGemini 3 Flashによる書き直しであり、著者らも "closer to light generative rewriting than to grammar-only editing"（文法修正のみの編集というよりも軽度の生成的な書き直しに近い）と説明しています。スペルや文法のチェックのみの処理はテストされていません。なお、TurnitinはGrammarlyによるスペル、文法、句読点の修正を検知対象としていない旨を別途公表しています。詳細はGrammarlyを使うとTurnitinに検知されるのかをご覧ください。

AIの使用を疑われた際、この研究を異議申し立ての根拠として使えますか？ 「これらの検知ツールは人間が書いた文章をAIで推敲しただけでも高確率で判定してしまい、そのスコアは "should not serve as standalone misconduct evidence"（単独で不正の証拠とすべきではない）と著者らが述べている」という一般的な論点を補強することはできます。ただし、この論文はTurnitinや学生のレポートを対象としたものではなく、読者自身の文章で実際に何が起きたかを証明できるわけではありません。それを証明できるのは、あなた自身のドラフトとバージョン履歴です。

未編集の2013〜2015年の要旨は0%だったのに、2023〜2025年のものが検知されたのはなぜですか？ 論文ではその要因を一つに断定していません。著者自身の表現によれば、2023〜2025年の期間は "cannot separate model vintage from unobserved real-world AI use on original abstracts"（言語モデルの世代による影響と、オリジナルの要旨において観察不能な現実のAI利用とを切り分けることができない）とされています。そのため、論文ではこれらの数値を「偽陽性率」ではなく「検知率」として報告しています。

GPTZeroは推敲されたテキストに別のラベルを付けますか？ GPTZeroにはMixed（混合）判定の下に "AI Polished"（AI推敲済み）というラベルが存在します。その詳しい意味についてはGPTZeroの「Mixed」と「AI Polished」ラベルの意味で解説しています。著者のコードによると、本研究ではGPTZeroの "AI" クラスの確率が用いられたため、GPTZeroによってMixed（AI Polishedを含む）に分類されたテキストであっても、AIクラスの確率が0.50に達していた場合にのみ「検知」としてカウントされました。

• Jonathan A. Karr Jr., Grigorii Khvatskii, Ting Hua, Nitesh V. Chawla, Why AI Detection Fails for Academic Integrity, arXiv:2608.11256（v1 2026年8月6日、v2 2026年8月20日）, AILS '26; 2026年9月27日閲覧（表1〜6、付録A、B、D）、および著者の公開コード。
• Shoumik Saha, Soheil Feizi, Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing, Findings of ACL 2025（arXiv:2502.15666）; 2026年9月27日閲覧。