Turnitinは非英語ネイティブの英文をAIと判定するのか？2026年発表の研究

本研究のデータでは、時として検知されることがあり、その頻度はBBCニュース記事とほぼ同等でした。2022年8月より前に執筆された英語を外国語として学ぶ学生（EFL学生）のエッセイ48本のうち、Turnitinが20%を超えるスコアをつけたのは4本で、Originalityも同様に4本でした。プロが執筆したBBCニュース記事48本では、Turnitinが3本で20%を超え、Originalityはゼロでした。著者らは、Turnitinについては2つのグループ間に有意な差は見られず、Originalityについては有意に近い傾向が見られたとしています。また、半分が人間、半分がAIで構成された文章に対しては、どちらの検知器も極めて不十分な結果となりました。

本研究は、スルタン・カブース大学のMohammad Hadra、Karleen Cambridge、Mostefa Mesbahによる論文"Evaluating the accuracy and reliability of AI content detectors in academic contexts"（学術分野におけるAIコンテンツ検知器の正確性と信頼性の評価）で、2026年2月2日に『International Journal for Educational Integrity』誌でオープンアクセスとして公開されました。著者らは利益相反がないことを明記しています。

研究チームは、48本ずつ4つのグループに分けた計192本のテキストを作成しました：

• EFL学生の文章：同大学の予科プログラム「科学英語」コースの最終課題。学生がChatGPTのようなツールを利用できるようになる前の、2022年8月以前に提出されたもの。
• プロの文章：BBCニュース記事の研究用データセット「XSum」から抽出されたテキスト。
• AI生成テキスト：学生と同じような課題テーマに基づき、2種類の大規模言語モデルによって生成された文章。
• 混在（ハイブリッド）：EFL学生の文章約半分と、AI生成テキスト約半分を組み合わせて1本にまとめた文章。

各テキストの長さは300〜1,100語で、192本中135本が科学系のトピックでした。検知器のテストは2025年1月から5月にかけて実施されました。スコアは3つの区分に分類され、0〜20%が「人間（Human）」、21〜79%が「混在（Hybrid）」、80%以上が「AI」と判定されました。

Turnitinについては、学生のエッセイとニュース記事との差に統計的な有意性はありませんでした（p = 0.50）。著者らは、この結果について"suggests that Turnitin did not exhibit measurable bias against EFL writers within this dataset."（このデータセット内において、TurnitinがEFLの書き手に対して測定可能なバイアスを示さなかったことを示唆している）と述べています。一方、Originalityはすべてのニュース記事を正しく分類したものの、学生のエッセイ4本を誤判定しました。著者らはこの差を、有意傾向（片側 p = 0.058）であり、非ネイティブの書き手に対する検知器のバイアスを指摘した先行研究と同じ傾向を示していると記述しています。

この数字は、テストの規模と合わせて解釈する必要があります。48本中4本というのは、およそ十二本に一本という割合です。これは決してゼロではなく、20%を超えるスコアは、まさに学生が大学から説明を求められかねない水準です。しかも、比較対象は英語ネイティブによる学術エッセイではなく、ニュース記事でした。

半分が人間、半分がAIで構成されたテキストにおいて、両検知器は中間帯（混在）に分類することにほとんど失敗しました。Turnitinが中間帯に分類できたのは31%で、Originalityに至ってはわずか2%でした。著者らは、これらの検知器が"appear calibrated primarily for binary distinctions (AI vs. Human) and struggle to identify partial or mixed AI involvement."（主に二者択一（AIか人間か）の判定に向けて調整されているように見え、部分的な利用や人間とAIの混在を識別するのに苦戦している）と解釈しています。

4つのグループ全体を通じた総合的な正確度は、Turnitinが0.61、Originalityが0.69でした。

両検知器とも、人文学系のテキストと比べて科学系のテキストでは正確度が大幅に低下しました：

これらの数値は4つのグループすべてを合わせたものであり、人間が書いた文章がAIと判定された誤りだけでなく、あらゆる方向の誤判定を含んでいます。著者らは、科学論文によく見られる特徴、すなわち"such as lexical density, technical terminology, and formulaic sentence structure, may be more difficult for detectors to distinguish from AI-generated text."（語彙の密度、専門用語、定型的な文構造などにより、検知器がAI生成テキストと見分けるのがより困難になっている可能性がある）と示唆しています。

2026年に発表された別の研究では、PangramとGPTZeroを用いて公表済みの論文要約（アブストラクト）を調査したところ、近年では化学やコンピュータサイエンスよりも、政治学や神学のアブストラクトのほうが頻繁に検知されていることが判明しました。その研究は異なる検知器を用いて別の側面を測定したものであり、詳細はAIによる推敲は検知器にAI判定されるのかで解説しています。これら2つの研究結果を合わせても、「どの分野なら安全か」という明確な法則が導き出せるわけではありません。

文章の長さも影響していましたが、単純な比例関係ではありませんでした。4つのグループ全体において、両検知器とも最も短いテキスト（300〜330語）で最も正確度が高く、中間の長さ（450〜550語）で最も正確度が低くなりました。短文、中間、長文での正確度は、Turnitinがそれぞれ0.87、0.56、0.68であり、Originalityは0.96、0.63、0.84でした。

• 検証されたのは2つの検知器のみで、時期は2025年前半：テストされたのは2025年1月から5月時点のTurnitinとOriginalityだけであり、検知器はアップデートによって挙動が変わります。
• 対象となった学生集団が限定的：EFLエッセイは、1つの大学の1つの予科プログラムから収集されたものです。
• 比較対象が学術論文ではなくニュース記事：プロの文章として使われたのはBBCの記事でした。
• 混在比率が固定されている：混在テキストはすべて約50対50の比率で作成されていますが、著者ら自身も指摘している通り、実際の学生のレポートがこのような比率になることは稀です。

著者らの結論は、"neither detector achieves the level of reliability required for high-stakes decision-making."（どちらの検知器も、重大な意思決定に求められる水準の信頼性には達していない）というものでした。

1. どの判定区分に入っているか確認する：本研究では、20%以下のスコアは人間が書いたものとみなされました。なお、Turnitinは低スコアに対して数値ではなくアスタリスクを表示します。詳細はTurnitinのAIスコアに表示されるアスタリスク（*%)の意味をご覧ください。
2. 下書きや編集履歴を保存しておく：スコアそのものは執筆プロセスを証明できませんが、ドラフトや履歴は文章がどのように書かれたかを証明できます。
3. ハイライトされた箇所を確認する：指摘を受けた箇所こそが、質問された際に説明できるように準備しておくべき部分です。
4. 証拠を提示する：本研究や、非英語ネイティブの文章がAI検知されやすい理由で取り上げた非ネイティブに関する先行研究は、「検知器のスコア単体では不正の証拠にならない」という主張を裏付ける有力な根拠となります。

手元にTurnitinまたはiThenticateのレポートがあり、指摘された箇所の書き換えが必要な場合、まさにそれを行うのがHumanPenのHumanize機能です。Turnitin または iThenticate のレポートを読み込み、指摘された箇所だけを書き換えます。同じ形式の編集可能なファイルを受け取れます。ご利用の前に必ず所属コースのAI利用規定を確認し、提出前には戻ってきた文章を必ずご自身で確認してください。

Turnitinは非英語ネイティブの書き手に対してバイアスを持っていますか？本データセットにおいて、TurnitinはEFL学生のエッセイとBBCニュース記事をほぼ同等に評価し、有意な差は見られませんでした。ただし、これはある1つの学生グループを対象とした1回の検証結果であり、普遍的な結論ではありません。

本研究における「指摘された」とはどういう意味ですか？20%を超えるスコアを指します。21〜79%のスコアは「混在（Hybrid）」、80%以上は「AI」とみなされました。

学生のエッセイは本当にAIを使わずに書かれたものですか？エッセイはすべて2022年8月より前に提出されたものです。著者らは、当時これらの学生はChatGPTのようなツールを利用できず、当時存在していた文章生成システムも限定的なアクセス権や専門的な技術設定が必要だったと説明しています。

どちらの検知器のほうが精度が高かったですか？総合的な正確度ではOriginalityのほうが高くなりました（0.61に対して0.69）。学生のエッセイに関しては両者互角で、それぞれ48本中4本で20%を超えるスコアを記録しましたが、ニュース記事についてはOriginalityが全問正解でした。混在テキストについては、どちらも十分に対応できませんでした。

• Mohammad Hadra、Karleen Cambridge、Mostefa Mesbah, Evaluating the accuracy and reliability of AI content detectors in academic contexts, 『International Journal for Educational Integrity』第22巻論文4、2026年2月2日公開、2026年9月28日閲覧（表1〜5）。