別のAI検出器で事前にテストすれば、Turnitinの判定が分かるのか?

Turnitinでどう判定されるかを推測しようと、別の検出器にエッセイを通そうとしているなら、まさにその疑問について、ある検出器メーカーが自社製品を使って検証を行いました。公開された数値を改めて計算し直すと何が見えてくるのか、見出しに掲げられた「96.3%」という数字がなぜ事前予測にならないのか、そして提出前に実際に確認できることは何なのかを解説します。

HumanPen チーム

· 11 分

別のAI検出器で、Turnitinの判定結果を事前に知ることはできるのか?

信頼できる形では分かりません。まさにこの検証を行った検出器メーカー自身も、自社のヘルプページでそう明記しています。2026年8月の調査で、Originality.aiはTurnitinに最も近いとされる設定「40% AI Allowance」を用い、300本のエッセイにおいてTurnitinと同じ「人間かAIか」の判定を下した割合が69.7%にとどまったことを明らかにしました。同社のヘルプページには次のように補足されています。"The 40% AI Allowance setting does not predict or reproduce a Turnitin result, and the scores from the two tools should not be compared directly."(40% AI Allowanceの設定はTurnitinの結果を予測または再現するものではなく、2つのツールのスコアを直接比較すべきではありません。)調査記事でもう一つ大きく取り上げられている「96.3%」という数字は、一見すると予測の精度のようにも聞こえます。しかし実際には、人間が書いたエッセイに対してTurnitinがこの調査の基準線である50%を超えることがめったになかったという事実を主に反映しているにすぎません。

別の検出器でセカンドオピニオンを探し始める前に、知っておくべきことがあと2点あります。まず、TurnitinのAI検出結果は学生には一切表示されません(ただし指導教員がレポートをPDFとして学生に共有することは可能です)。さらに、少なくとも1つの大学が学生に対して検出サイトを利用しないよう明記しており、教職員が学生の課題をそうしたサイトにアップロードすることを禁じている大学もあります。この2点についても後ほど詳しく解説します。

Originality.aiは何を検証したのか

この調査は、Originality.aiの創業者兼CEOであるJonathan Gillhamの名義で、2026年8月20日に同社ブログに公開された"What AI Detector Is Most Similar to Turnitin? We Tested 300 Student Essays"(Turnitinに最も似ているAI検出器はどれか?学生のエッセイ300本をテスト)という記事です。これを要約したヘルプセンターの記事には、"Updated on: 19/08/2026"(更新日:2026年8月19日)と記載されています。

これが誰による調査なのかを念頭に置く必要があります。比較対象となっている検出器はOriginality.ai自身が販売している製品であり、記事の最後は読者に対して"Check your work with Originality.ai"(Originality.aiで自分の課題をチェックしよう)と促す言葉で締めくくられています。また、これは査読付きの学術論文ではなく、一企業のブログ記事です。ページ内にも、Originality.aiは"is not affiliated with or endorsed by Turnitin."(Turnitinと提携しておらず、その推薦も受けていません)と明記されています。

テストの実施方法:

  • 英語エッセイ300本:教育現場におけるAI検出をテストするための公開研究データセット「GEDE」(Lukas Gehring氏とBenjamin Paaßen氏による2025年の論文とともに公開)から抽出。100本が完全な人間による執筆、100本が人間が執筆した後にAIで推敲(ポリッシュ)したもの、100本が完全なAI生成です。
  • エッセイ1本につき6回のスキャンを実施:Turnitinで1回、Originality.aiのAI Allowanceモードの各設定(0%、5%、15%、25%、40%)で計5回スキャンしました。
  • すべての結果を「YesかNoか」に二値化:Turnitinでは、50%以上のスコアがAIと判定されました。調査内でも、この基準線は"is not an official Turnitin Human/AI threshold"(Turnitin公式の人間/AIの閾値ではない)と説明されています。
  • ページ上に記載されていない情報:スキャンがいつ実行されたのか、Turnitinのどのモデルバージョンが使用されたのかは書かれていません。エッセイごとの詳細データを含む"supporting Google Sheet"(補足のGoogleスプレッドシート)についての言及はあるものの、私たちが2026年10月2日に確認した時点では、そのシートへのリンクはありませんでした。

69.7%という数字が意味するもの

これは、300本中209本のエッセイで、40%設定とTurnitinが「Yes/No」の同じ側に着地したことを意味します。これは5つの設定の中で最も高い一致率でした。25%設定での一致率は55.3%で、最も厳しい3つの設定では半数未満(調査のFigure 1によると45.3%〜46.7%)にとどまりました。

合計数を見るよりも、2つのツールの判定がどこで分かれたかを見るほうが多くのことが分かります。判定が食い違った91本のうち、76本は完全なAI生成エッセイでした。40%設定はこれら100本すべてを"Likely AI"(AIの可能性が高い)と判定したのに対し、Turnitinが50%以上としたのはそのうち24本だけでした。残りの76本が50%未満のどの位置にあったのかはページに記載されていないため、これらは必ずしも0%だったわけではありません。不一致だった残りの15本は、AI推敲されたエッセイでした。なお、完全な人間によるエッセイ100本については、どちらのツールもAIとは判定しませんでした。

この代表的な数値に対する調査自体の見解は率直です。"69.7% is not close enough to call the tools substitutes"(69.7%は、2つのツールが互いに代替可能と呼べるほど近くはない)と述べています。しかし同じ文の中で、学生にとってはそれでもこの設定が"an excellent option"(極めて優れた選択肢)であると続けています。

設定そのものについての詳細も1点あります。Originality.aiのAI Allowanceのページでは、40%を"Generous"(寛大)と分類し、その説明を"Hybrid AI writing is permitted (but not fully AI-generated content)"(ハイブリッドAIライティングは許可されるが、完全なAI生成コンテンツは許可されない)としています。一方で学生に対しては、同じページで別の提案をしています。"Check assignment or school policies (typically 0% AI or 5% AI)"(課題や学校のポリシーを確認すること。通常は0% AIまたは5% AI)というものです。今回のテストでTurnitinとの一致率が最も低かったのは、まさにそれらの設定でした。2つのページは異なる問いに答えています(一方は履修コースで何が許可されているか、もう一方は何がTurnitinに似ているか)。それでもなお、Turnitinに最も似ているとして選ばれた設定が、同社自身がハイブリッドAIライティングを許可すると説明している設定である点には留意すべきです。

96.3%という数字が意味するもの、そしてそれが「事前の結果予測」にならない理由

これは調査記事の冒頭で大々的にアピールされている数字です。40%設定がエッセイを"Original"(オリジナル)と判定した場合、Turnitinが50%未満のスコアを付けたのは189件中182件、すなわち96.3%でした。記事の冒頭では、これが"96.3% chance of also being treated as human by Turnitin."(Turnitinでも人間によるものとして扱われる確率が96.3%)と表現されています。

しかし、その一文には欠けている文脈が1つあります。それを示す数字は、記事の別の箇所に記されています。人間が書いたエッセイに対して、Turnitinが50%を超えることはそもそもめったになかったということです。人間が書いた100本とAI推敲された100本を合わせた計200本のうち、Turnitinが50%を超えたのはわずか10本でした。つまり、この2つのグループのエッセイについては、別の検出器を走らせるまでもなく、単に「Turnitinは50%未満になる」と予想するだけで、200回中190回は的中していたのです。

人間が執筆したエッセイ200本(完全な人間執筆100本、AI推敲100本)Turnitinで50%未満となった割合
200本すべて(別の検出器によるチェックなし)200本中190本(95%)
40%設定で「Original」と判定された189本189本中182本(96.3%)
40%設定で「Likely AI」と判定された11本11本中8本

これらの行は、調査ページの数値をもとに私たちが算出したものです。40%設定は完全なAI生成エッセイをすべてLikely AIと判定したため、Originalと判定された189本はすべてこの200本のエッセイの中から出ています。つまり、この3行は同じ母集団を説明しています。Originalという判定が出たところで、その確率が95%から96.3%へとわずかに上がったにすぎません。

では、不安を抱える学生が本当に気にする「逆の方向」から見てみましょう。Turnitinは推敲されたエッセイのうち10本に50%以上のスコアを付けました。そしてその10本のうち7本に対し、40%設定はOriginalと判定していたのです。10本というサンプル数は法則を導き出すにはあまりに少なすぎますが、これこそまさに事前チェックが見つけ出すべきケースであり、今回のテストでは3本しか捕捉できませんでした。調査自身が学生向けのアドバイスで率直に述べているとおりです。"Use the 40% AI Allowance as a comparison point, not a Turnitin preview."(40% AI Allowanceは比較のための参考点として使用し、Turnitinの事前確認として使わないこと)

ご自身でこの調査記事を開くと、冒頭近くで96.3%という数字が「人間が書いたエッセイにおける一致率」と説明されているのが目に入るはずです。しかし後半の内訳を見ると、人間執筆と推敲の両方を合わせた、同設定がOriginalと判定した全189本をもとに計算されています。なお、完全な人間執筆エッセイ100本に限って見れば、2つのツールはすべてのエッセイで判定が一致していました。

50%という基準線は調査独自のものであり、Turnitinのものではない

たとえ50%のラインで完全に判定が一致したとしても、指導教員が実際に何を目にするかは分かりません。TurnitinのFAQでは、スケールの下限について"no score or highlights are attributed for AI detection scores in the 1% to 19% range"(1%〜19%の範囲のAI検出スコアにはスコアやハイライトは付与されず)、代わりにアスタリスクが表示されると説明されています。そして20%以上になると、レポートにパーセンテージが表示されます。つまり、Turnitinが30%や45%と判定したエッセイは、この調査では"treated as human"(人間によるものとして扱われる)に分類されますが、教員のレポートには具体的な数字が表示されるのです。低スコア帯の詳細については、TurnitinのAIスコアに付くアスタリスクの意味で解説しています。

調査自体も次のように認めています。"A score below 50% can still contain text Turnitin marked as likely AI; a score above 50% is not proof of misconduct."(50%未満のスコアであってもTurnitinがAIの可能性が高いとマークしたテキストが含まれている場合があり、50%を超えるスコアであっても不正行為の証拠にはならない)。この調査で報告されていないのは、20%から49%の間に着地したエッセイが何本あったのかという点です。「そもそも数字が表示されてしまうのかどうか」を気にしている学生にとって、本当に必要なのはまさにその数字です。

下書きをどこかにアップロードする前に

一部の大学では、下書きを検出サイトにかけること自体について明文化された規則がすでに存在します。下書きをAI検出器にアップロードすることについてを扱った以前の記事では、2026年9月18日時点での3つの大学の方針を取り上げました。要約すると次のとおりです。

  • リーズ大学(2026年7月8日承認、2026/27年度向けの「Academic Integrity and Assistance Policy」)は、同大学のTurnitinチュートリアルの中で"why students should not use AI detector or plagiarism detector websites"(なぜ学生がAI検出サイトや盗用検出サイトを使用すべきではないのか)を説明していると述べています。これは学生に向けられた方針です。
  • リーズ大学の教職員向けガイダンスでは、オンライン検出ツールを使用すべきではない3つの理由を挙げています。それらのツールが"insufficiently accurate for the University to use them as evidence"(大学が証拠として採用するには精度が不十分である)こと、アップロードが"may represent a data security breach"(データセキュリティ侵害に該当する可能性がある)こと、そして"the document being checked becomes available as training data for other AI tools"(チェック対象の文書が他のAIツールのトレーニングデータとして利用可能になる)ことです。これは教職員が他者の課題をチェックすることについて書かれたものであり、3つ目の理由は特定のサービスを名指ししたものではなく一般的な観点から述べられています。
  • レディング大学は、課題の設計や採点を行う教職員に対し、"Student work must not be uploaded into GenAI tools or AI detection tools under the current interim approach."(現行の暫定アプローチの下では、学生の課題を生成AIツールやAI検出ツールにアップロードしてはならない)と通達しています。テキサス大学オースティン校(UT Austin)は、大学との契約が結ばれていない限り、学生の課題評価にサードパーティ製の検出ソフトウェアを使用することを禁止しており、その理由の一端として学生の著作権を挙げています。同校のガイダンスは授業や採点を担当する教員向けに書かれていますが、禁止事項自体には対象者が明示されていません。

3つの大学のいずれも、自分の課題をチェックすること自体を不正行為とは呼んでいません。しかしリーズ大学のような方針を持つ大学では、事前チェックを行うこと自体が明文化されたガイダンスに反する可能性があり、そのうえTurnitinに関して信頼できる情報がほとんど得られないという結果になりかねません。テキストをどこかに貼り付ける前に、まず所属大学の最新の方针ページを確認してください。なお、Originality.aiは同ツールでのスキャンによって論文がTurnitinに送信されることはないとしています。それ以降、検出サイトが入力されたテキストをどのように扱うかは、各サイトの利用規約に委ねられています。

提出前に実際に確認できること

  1. 自分に見えないものを把握しておく:TurnitinのFAQには、"The AI writing detection indicator and report are not visible to students."(AIライティング検出インジケーターおよびレポートは学生には表示されません)と記載されています。しかしその直後には、次のような回避策も示されています。"However, with the PDF download feature, instructors can download and share the AI report with students."(ただし、PDFダウンロード機能を使用すれば、指導教員はAIレポートをダウンロードして学生と共有することができます)。学生側と教員側の両方の画面の違いについては、学生はTurnitinのAIスコアを見ることができるのかで詳しく対比しています。
  2. 指導教員に2つの点を確認する:この課題でAIインジケーターが有効になっているか、そしてこのコースでそれがどのように活用されているかです。その回答次第で、スコアがどれほどの意味を持つかが決まります。他に誰にどの順番で確認すべきかについては、Turnitinに提出する前に自分の課題を確認する方法にまとめています。
  3. それでも別の検出器を使う場合は、そのツール独自の尺度として解釈する:Originality.aiは自社の判定結果について、次のような例で説明しています。15%設定で"Likely Original"(オリジナルの可能性が高い)と出た場合、それはAIの使用が"appears to be 15% or less"(15%以下であるように見える)として"should be read as"(解釈すべきである)とされています。これを40%設定に当てはめると「40%以下」ということになり、AI使用が一切許可されていない課題に対してはほとんど何の参考にもなりません。また、Turnitinで具体的に数字が表示されるかどうかについても教えてはくれません。
  4. 本質的な疑問に答える証拠を残しておく:両社ともまったく同じ点を指摘しています。Originality.aiのヘルプページには、"AI detection results should always be considered alongside other evidence of authorship, such as drafts, notes, sources, and document history."(AI検出結果は、草稿、メモ、情報源、文書の編集履歴など、執筆者を証明する他の証拠と常に併せて検討されるべきである)とあります。またTurnitinのFAQでも、スコアのパーセンテージは"should not be used as the sole basis for action"(何らかの措置を講じる唯一の根拠として使用すべきではない)とされています。他者がどのような設定を使っていようと、草稿やバージョン履歴は確実に手元に残る確固たる証拠です。
  5. 提出後にスコアが問題視された場合は、レポート本体の開示を求める:完全なAI Writing ReportのPDFには、判定結果とともにハイライトされた該当箇所が表示されます。別の検出器が出した数字は、それが高くても低くても、そのレポートの代わりにはなりません。

よくある質問

Originality.aiでエッセイをスキャンすると、Turnitinのデータベースに登録されてしまいますか? Originality.ai側は否定しており、"Running an Originality.ai scan does not submit the paper to Turnitin."(Originality.aiでスキャンを実行しても、論文がTurnitinに提出されることはありません)としています。また、同社は"is not affiliated with Turnitin"(Turnitinとは提携していません)であり、自社独自のレポートのみを生成すると明記しています。ただし、Originality.ai自体がテキストをどのように保持するかについては、同社の利用規約を確認する必要があります。

使用した検出器で「Likely AI」と出ました。Turnitinでもフラグが立ちますか? 必ずしもそうとは限りません。この調査では、40%設定がAI推敲されたエッセイのうち11本をLikely AIと判定しましたが、Turnitinがその11本のうち50%以上としたのは3本だけでした。

より厳しい設定にすれば、Turnitinの結果に近づきますか? 今回のテストに関する限り、そうではありませんでした。0%、5%、15%の設定ではAI推敲されたエッセイの92%〜95%にフラグが立ちましたが、Turnitinが50%以上としたのはそのうち10%にとどまりました。また、それらの設定とTurnitinとの一致率は、300本全体で見ても半数未満でした。

この調査によって、どちらの検出器がより正確かが分かりますか? いいえ、分かりません。調査自身も明記しているとおり、これは"estimates behavioural similarity. It does not establish which detector is more accurate."(挙動の類似性を推定するものであり、どちらの検出器がより高精度であるかを証明するものではない)とされています。各社が自社ツールについて公式ドキュメントでどのように説明しているかについては、Originality.aiとTurnitinのAI検出機能の比較をご覧ください。

出典

続きを読む