自分で書いた文章を機械翻訳するとAI判定されるのか?2026年のテストでPangramが出した判定結果

中国語やアラビア語、スペイン語などで初稿を書き、翻訳ツールを使って英語にしたとします。すると不安が湧いてきます。この英語を出力したのは機械なのだから、検知ツールにも機械製だと判定されてしまうのではないか、と。2026年10月5日に公開されたプレプリント論文が、ある検知ツールを対象にこの点を検証しました。検出率はごくわずかでした。しかし、数字そのものよりもそれが成立する前提条件のほうが重要であり、そもそも受講している講義で翻訳が認められているのかという別の問題には、その条件のどれも答えてくれません。

HumanPen チーム

· 11 分

自分で書いた文章を翻訳した場合、AI検知ツールはどれくらいの頻度でフラグを立てるのか?

2026年のある検証では、ごくまれでした。研究チームは、すべて2022年以前に人間が作成した24言語のウェブページを集め、Gemini 3.7 Flashを使って可能な限り忠実に英語へと翻訳させました。その結果、Pangram 4がAI判定を下したのは英訳文1,197件中26件(2.17%)にすぎませんでした。なお、翻訳前の原文1,198件の中にはAIと判定されたものは皆無でした。しかし、文章自体をモデルが執筆していた場合、結果は一変しました。人間が書いたアウトラインをもとにGeminiが書き起こしたページは、英語に翻訳された途端、1,197件中1,161件(97.0%)でフラグが立ったのです。

ただし、これはPangram単独での結果です。TurnitinやGPTZeroといった他の検知ツールは検証されていないため、この2.17%という数字がそのまま当てはまるわけではありません。論文はプレプリント段階で査読を受けておらず、検証対象も課題論文ではなくウェブページであり、翻訳も意図的に極めて忠実な直訳形式で行われました。また、検知ツールにフラグを立てられるかどうかと、そもそも翻訳行為が許可されていたかどうかは別の問題です。複数の大学や、GCSEおよびA-levelのコースワーク規則を策定するJCQは、まさにその点について明文の規定を置いています。

この研究は、メリーランド大学、Google DeepMind、サイモンフレーザー大学のRishanth Rajendhran氏ら8名による論文"IdeaLens: Detecting AI Ideas in Long-form Writing"(長文執筆におけるAIの着想の検出)で、2026年10月5日にarXivへ投稿されました。翻訳の検証はその付録にある副次的な実験です。論文の主なテーマは、文書内のアイデアが人間とモデルのどちらに由来するものかを識別する研究用検知器の開発です。著者らは、今回検証された検知器であるPangramから研究クレジットの提供を受けたことに謝辞を記しています。

研究チームは何を翻訳したのか

人間が書いたテキストは、一般に公開されている大規模なウェブページコレクション『FineWeb2』から採取されました。著者らはチャットボットが執筆した可能性を極めて低くするため、2022年より前に書かれたページのみを残し、さらに長文の8つのカテゴリ(学術的文書、創作文章、知識解説記事、ニュース記事、ノンフィクション、個人の「About(自己紹介)」ページ、個人ブログ、ユーザーレビュー)に対象を絞りました。翻訳テスト用には、24の言語から各50ページ、計1,200ページが抽出されました。言語リストは、中国語、スペイン語、ドイツ語、日本語、フランス語、ロシア語から、アラビア語、ヒンディー語、ペルシャ語、ベトナム語、ウクライナ語、さらにはアムハラ語、ヨルバ語、シンハラ語、タミル語にまで及びます。

人間が書いた各ページに対して、同じ言語でGemini 3.7 Flashが作成した2つのAIバージョンが用意されました。

  • トピックのみ指定: モデルにはページの種類とテーマを記した1行の説明文のみが与えられたため、本文の内容はすべてモデル自身が作成したものです。
  • 人間が作成したアウトラインから生成: モデルにはページの完全なアウトライン(構成案)が渡され、各項目を順番どおりに漏れなく書き起こし、それ以外の要素は一切付け足さないよう指示されました。要点はすべて人間が提示し、すべての文章の執筆をモデルが行いました。

その後、これら3つのバージョンはすべて、同じくGemini 3.7 Flashによって英語へ翻訳されました。その際のプロンプトでは、"nothing added, nothing removed, nothing improved"(何も追加せず、何も削除せず、何も改善しない)ことが求められ、さらに"Keep the register, repetition, fragments and clumsy phrasing."(文体、重複、文の断片、稚拙な言い回しをそのまま残すこと)と指示されました。これは、下書きをチャットボットに貼り付けて「もっと自然な英語にして」と頼むようなやり方よりも、細心の注意を払う人間の翻訳者に近いアプローチです。そして翻訳の前後に、すべてのテキストがPangram 4によって判定されました。

翻訳の前後でPangramはどう判定したか

テキストの種類原語でのAI判定英語翻訳後のAI判定
人間が執筆1,198件中0件(0%)1,197件中26件(2.17%)
人間が作成した完全なアウトラインをもとにモデルが執筆1,200件中616件(51.3%)1,197件中1,161件(97.0%)
1行のトピック指示のみをもとにモデルが執筆1,200件中942件(78.5%)1,200件中1,200件(100%)

ここでいう「フラグ(判定)」には明確な定義があります。Pangram 4はテキストを、AI判定、AI支援、人間による執筆という3つの割合に分割します。著者らは、AI判定の割合とAI支援の割合の半分を足した合計が50%以上に達したテキストを「AI」としてカウントしました。したがって、Pangramがごく一部だけをAIと判定した翻訳ページはこの26件には含まれておらず、そのようなページが何件あったのかについて論文は言及していません。

つまり、人間が書いた文章を翻訳したページの約46件に1件がAIと判定されたことになります。なお、表の残る2行については誤解しやすい点があります。

この97%という結果は、人間が書いた文章に対する誤判定(誤検知)ではありません。 この論文の主眼はアイデアの検出にあり、この行のアイデア自体は人間によるものだったため、論文内では偽陽性として分類されています。しかし、一文一文を書いたのはモデルであり、Pangramはまさにそうした文面の言い回しを読み取るよう設計されています。データセット自体の解説にも、"An idea detector should not flag level 5; a prose detector should."(着想検出ツールはレベル5にフラグを立てるべきではないが、文章表現検出ツールはフラグを立てるべきである)と率直に記されています(レベル5とはアウトラインをもとに生成したバージョンのことです)。自分の母国語で書いたメモやアウトラインをチャットボットに渡して本文を書かせた場合、返ってくる英語はチャットボットが書いた文章そのものであり、今回のテストでPangramはそのほぼすべてを検出しました。

今回のテストでは、翻訳によってAIテキストが隠れることはありませんでした。むしろ、より露骨にあぶり出される結果となったのです。 原語のままの段階では、Pangramもかなりの数を見逃していました。今回のテストではトピックのみから生成された1,200件のうち258件を見落としており、ネット上のテキスト量が少ない言語ほど見逃しが多くなりました。論文の多言語データ全体を見ると、著者らが低リソースと分類した10言語では、トピックのみから生成されたテキストの58.0%しか検出できていませんでした。しかし英語への翻訳後には、トピックのみから生成された1,200件のテキストすべてにフラグが立ちました。母国語でチャットボットに文章を書かせてから翻訳しても、今回のテストに関する限り、検知を逃れるどころか、より確実に検出されたのです。

同じ論文内で行われたもう一つの検証も、同様の傾向を示しています。別の研究グループによるデータセット『CoCoNUTS』には、2022年以前に英語で書かれた査読コメントが収録されています。その一部を言語モデルで一度中国語に翻訳し、再び英語へと戻したところ、1,493件のうちPangram 4がフラグを立てたのはわずか0.1%でした。一方で、同じデータセットから言語モデルによって推敲・リライトされた文章では、1,497件中61.2%でフラグが立ちました。中国語を往復させた翻訳は、皆さんが書く下書きとは異なります。それでも2つのデータセットを通じて言えるのは、モデルが忠実に翻訳した箇所ではなく、モデルが文章を執筆したり手を入れたりした箇所にこそ、AI判定が集中したという事実です。

この研究から読み取れないこと

  • Turnitinに関するあらゆる点。 本研究からはTurnitinに関するデータは一切得られておらず、Pangramの判定とTurnitinのパーセンテージは測定の性質自体が異なります(詳しくはPangram対Turnitin:2つのAIスコアが一致しない理由を参照)。翻訳ツールとチャットボットは同種の言語モデルに基づいているため、翻訳された英語はどの検知ツールでも機械製と判定されるはずだという主張が一般的によく見られます。しかし、Pangramと忠実な翻訳の組み合わせに関する限り、今回の測定結果はその見解をほぼ支持していません。この研究ではTurnitinをテストしていないため、Turnitinが翻訳テキストをどう判定するかについては何も示されていません。2023年の少し古いテストでは、14の検知ツールのひとつにTurnitinが含まれていました。それら14ツールの全体平均として、英語で人間が書いたテキストに対する正確度は96%でしたが、DeepLやGoogle翻訳で英訳された人間執筆のテキスト9件では、著者いわく"dropped by 20%"(20%低下した)と報告されています。これは14ツール全体の平均でありTurnitin単体の数字ではないうえ、検知ツールはその後も更新されています。Turnitin自身のドキュメントがどのようなパターンを誤検知と結びつけているかについては、中国語から英語への翻訳はTurnitinでAI判定されるのか?で整理しています。
  • あなたが使用する個別の言語について: 翻訳テストの結果は、24言語(各50ページ)を合算した全体数値としてのみ公表されています。この検証において、中国語単独やアラビア語単独での検出率は示されていません。
  • あなたが使う翻訳ツールについて: テストされたのは、厳格に忠実さを求めるプロンプトを与えられた単一のモデルのみです。DeepLやGoogle翻訳、あるいは「もっと学術的な響きにして」と指示されたチャットボットなどは検証されていません。査読コメントを推敲させた実験結果から見ても、最後に挙げたようなケースはまったく別の状況になると考えられます。
  • 学術エッセイやレポートについて: 検証に用いられたのはブログ、ニュース記事、レビューなどの一般的なウェブページであり、大学の評価基準(ルーブリック)に沿って執筆された課題論文ではありません。
  • 査読の有無について: この論文はプレプリントであり、まだ査読を通過していません。また、Pangram側から研究用クレジットの提供を受けています。テキストが具体的にいつ判定にかけられたのかは論文に明記されておらず、検知ツール側も日々アップデートされています。

AI判定率が低いことと、大学が許可しているかは別問題

この研究ではこの点に答えることはできません。大学は翻訳ツールの使用について個別に独自の規則を設けており、それらの規則は検知ツールでフラグが立つかどうかにかかわらず適用されます。以下に、現行の3つの大学の指針と、JCQのコースワーク規則を紹介します。

  • ヨーク大学(University of York): 同大学の支援ガイドラインでは、総括的評価(単位認定課題など)で認められない行為として、"Using translation tools or services to translate text in whole or significant sections (oral or written), which is then submitted as summative work"(総括的課題として提出するために、翻訳ツールやサービスを使用して全文または重要な部分[口頭または書面]を翻訳すること)を挙げています。学生向けガイダンスでは、単語、コロケーション、フレーズ単位で"As a dictionary"(辞書として)翻訳ツールを使用することは認めているものの、"translated text which is at sentence level or beyond risks submitting work of false authorship."(文レベル以上の翻訳テキストは、虚偽の著者性による課題提出とみなされるリスクがある)と警告しています。
  • ハダースフィールド大学(University of Huddersfield): "If you translate large portions of text written initially in your native language and submit this for assessment, this may be considered to be misconduct, as it raises the question of authorship of the translated version."(当初母国語で執筆した文章の大部分を翻訳して評価のために提出した場合、翻訳版の著者性に疑義が生じるため、不正行為とみなされる可能性があります。)同規定では翻訳ツールの使用を明記することが求められており、教員が学生の語学表現に疑問を持った場合、内容の要約や使用した文法・語彙の説明を求める場合があると記されています。続く第10.2.3項には、"We do not expect you to use AI tools to contribute to the completion of your assessment or online exam unless you have been explicitly told that you can."(明確に許可されている場合を除き、評価課題やオンライン試験の作成にAIツールが寄与することは想定していません)と付け加えられています。翻訳にチャットボットを使用している場合、この条項が問題になる可能性があります。
  • クイーンズランド大学(University of Queensland): 同大学の図書館ガイドでは、機械翻訳を使用する前に各科目のシラバス(course profile)を確認するよう求めており、対面での試験や評価での使用を禁止したうえで、次のように明記しています。"You must acknowledge that you have used machine translation in your assessment. Failure to acknowledge the use of machine translation can result in Academic Misconduct."(課題で機械翻訳を使用した場合は、その旨を明記しなければなりません。機械翻訳の使用を明記しなかった場合、学問的不正行為とみなされる可能性があります。)
  • JCQ(GCSE、A-level、EPQのコースワーク): GCSEおよびA-levelの非試験評価(NEA)およびEPQに関するJCQの2026–27年度規定には、現在次の一文が盛り込まれています。"AI translation tools must not be used to generate work for assessment."(評価対象となる成果物を作成するためにAI翻訳ツールを使用してはならない。)

これらの規定を先ほどの研究結果と照らし合わせてみてください。ヨーク大学では、自分の下書きから全文を翻訳したエッセイは、たとえPangramが全ページを問題なしと判定したとしても「容認されない行為」のリストに入ります。一方でクイーンズランド大学であれば、講義で許可されており使用を明記してさえいれば、まったく同じエッセイでも認められる可能性があります。検知ツールがどう判定しようとも、こうした大学ごとの結論が変わることはありません。

母国語で下書きを書く場合の注意点

  1. 大学全体の一般的なガイドラインだけでなく、その課題ごとの個別ルールを確認すること。 ヨーク大学では特定の課題について学部が翻訳の使用を禁止することを認めており、クイーンズランド大学でも科目のシラバスを参照するよう指示しています。もし課題の指示書に明記されていない場合は、事前にメールなどの書面で確認してください。"I write my first draft in [language] and translate it with [tool]. Is that allowed for this assignment, and how should I acknowledge it?"(私は初稿を[言語]で書き、[ツール名]を使って翻訳しています。この課題でそれは許可されていますか?また、その旨はどのように明記すべきでしょうか?)そして、その返信は必ず手元に残しておきましょう。
  2. 学校が指定する形式に従って使用を明記すること。 クイーンズランド大学のガイドには、状況に応じて修正して使える例文が掲載されています。"This work was post-edited by the author, after being translated from <insert language> to English using <insert tool>."(本作は、著者本人が〈ツール名〉を用いて〈言語〉から英語へ翻訳した後にポストエディット[推敲・修正]を行ったものです。)
  3. 日付が残る形で母国語の初稿を保管しておくこと。 いかなるツールが介入する前であっても、アイデアと構成があなた自身のものであったことを証明する最も明確な記録になります。OneDriveやGoogle Docsに保存されたファイルには編集履歴が残りますが、ローカルのデスクトップに置かれた単なるWordファイルには残りません。Word、Google Docs、Overleafでバージョン履歴を残す方法では、これら3つのツールでの履歴の残し方を解説しています。
  4. 執筆の段階にはモデルを関与させないこと。 今回の研究では、モデルが翻訳のみを行った場合はAI判定が極めて少なく、人間が作成したアウトラインをもとにモデルが執筆したり文章を推敲したりした途端にAI判定が急増しました。ヨーク大学のポリシーでも、"Generating or re-writing (including shortening or summarising) any of the student's sentences or sections of work"(学生の文章やセクションの生成またはリライト[短縮や要約を含む])が容認されない行為として個別に挙げられています。"Translate this and make it sound more academic"(これを翻訳して、より学術的な文章にしてほしい)という指示は実質的に2つの要求を含んでおり、検知ツールのデータと大学の規則が問題視しているのは、まさにこの2つ目の要求です。より寛容な講義もありますので、必ず自身のコースの規定を確認してください。
  5. すべての文章について自分で説明できるようにしておくこと。 英訳された文章を下書きと突き合わせて読み込み、各文が何を意味しているのか、なぜその語彙が使われているのかを自力で説明できるよう準備しておきましょう。ハダースフィールド大学の規定が述べているのは、まさにそうした確認作業のことです。

よくある質問

これで自分の翻訳した論文がTurnitinに検知されないということになりますか? いいえ、そうではありません。Turnitinはこの研究の対象に含まれていませんでした。著者らが開発した独自の研究用モデルを除けば、翻訳ページに対して実行された検知ツールはPangram 4のみです。

検証対象の言語に中国語は含まれていましたか? はい、中国語は24言語のうちの1つでした。ただし、翻訳結果は全体の合算値としてのみ報告されているため、中国語単独での検出率は記載されていません。

最初から英語で書いたほうが、翻訳するよりも安全でしょうか? この論文だけではその結論は出せません。別の検証として行われた英語学習者による3,909件のエッセイでは、Pangram 4がフラグを立てた割合は0.0%(小数第1位四捨五入)でした。一方、機械翻訳されたウェブページでは2.17%でした。これらは文章の種類が全く異なるため、2つの数値を単純に横並びで比較することはできません。ただし、いずれの数値も非常に低い水準にあります。

IdeaLensとは何ですか?警戒する必要はありますか? これは論文の著者らが開発した研究用の検知器であり、誰がその言葉を書いたかではなく、文章の着想(アイデア)がどこから来たのかを判定するために作られたものです。人間が書いた文章を翻訳したページに対しては、1,197件中3件にフラグを立てました。著者らはモデルを一般公開していますが、大学などの教育機関がこれを導入しているという記述は論文中にはありません。

翻訳したレポートがすでにAI判定されてしまいました。どうすればいいですか? 単なる数値だけでなく、どの検知ツールが使用されたのかを確認し、判定レポートそのものの開示を求めてください。母国語で書いた初稿、翻訳の履歴、そしてあらゆるバージョン履歴を用意しましょう。そのうえで課題の規則を確認してください。検知ツールがどう判定したかにかかわらず、翻訳が許可されていたか、そしてその使用を申告していたかが必ず問われることになるからです。

出典

続きを読む