なぜTurnitinは参考文献を指摘したのか

Turnitinは、AI Writing Reportの処理にあたって文献リストを除外しており、AI執筆のハイライトはSimilarity Reportには一切表示されません。つまり、ハイライトされた文献リストは類似一致であってAI判定ではなく、AIの割合を上げたのは参考文献ではありません。

この違いひとつで、たいていの疑問はほかのことを考える前に片付きます。Turnitinは一回の提出から別々のものを二つ作り出し、それぞれ異なる性質を測定しています。Similarity Reportは、提出物の中から他所の文章と一致する箇所を見つけます。AI Writing Reportは、文体のうちどれだけがAIによって生成されたかを見積もります。Turnitinのドキュメントは両者を互いに独立したものと説明し、AI執筆のハイライトはSimilarity Reportには表示されないとしています。どちらの数値も、もう一方を押し上げることはありません。

自分の見ているレポートがどちらなのか分からなくなるのには、実際的な理由があります。AI執筆のインジケーターを見られるのは教員と管理者だけで、学生には見えません。教員はAIレポートをPDFでダウンロードして共有できるため、学生の手元に届くのはたいてい、そのPDFか、転送されてきたスクリーンショットであり、どのレポート由来かを示すものは何も書かれていません。

何より先に、どのレポートだったのかを尋ねてください。以下の分岐はすべて、その答え次第です。

両者の違いをより詳しく知るには、AI Writing ReportとSimilarity Reportの違いをご覧ください。

文献リストの一項目は、学術文章の中でもっとも再現性の高い文字列です。著者名、タイトル、誌名、巻、年、そしてその間の句読点はすべてスタイルガイドで決まっているため、同じ文献を引用する論文が二本あれば、そこに生まれる行は一字一句まで同じになります。引用スタイルとは、まさにそのためにあるものです。

Similarity Reportで文献リストが光っているのは、たいていこの仕組みが働いているだけです。参考文献がスタイルガイドどおりに整形されていて、ほかの人も同じ文献を引用している、というだけのことです。注目すべきは、そのほかにどこへ色が付いているかです。自分の本文の段落内で起きている一致は別の問題であり、答えが必要なのはそちらです。表示された数値にどの一致が算入されるかは、そのレポートで有効になっているフィルター次第であり、この点はレポート比較の記事で扱っています。

2023年八月9日付の、TurnitinのAI執筆検出モデルのページにあるリリースノートは、AI Writing Reportの処理時に文献リストが除外されるようになったと述べています。これは誰かが入れ忘れたフィルターではありません。レポートの作り方そのものの一部です。

さらにモデルは、Turnitinが「対象テキスト」と呼ぶもの、つまり標準的な文法的文から成る長文の文章だけを対象にします。箇条書きやリストのような、文になっていない短い構造は分析の対象外であり、文献リストの項目はどう転んでも文ではありません。ここから、見落とされがちな点が二つ生じます。割合は文書全体ではなく対象となる本文に対する比率であること、そして目に見えるハイライトの量と、示された数値とは突き合わさらないということです。いずれもTurnitinのAI Writing Reportの読み方で詳しく説明しています。

AIの割合が想定より高く出たとしても、それは本文から出たものです。文献リストから出たものではありません。

評価されているのが、引用そのものではないからです。

Turnitinは仕組みをこう説明しています。提出物を重なり合うセグメントに分割し、各セグメントにゼロから一までのスコアを付け、各文はプーリングによって自分が含まれるセグメントのスコアを引き継ぎ、それらを文書全体の数値に集約する（AI執筆検出に関するよくある質問）。この説明のどこにも、引用や引照、出典を認識する工程はありません。

たまたま（Smith, 2019）が入っている文も、その前の文と同じように文章として評価されます。指摘されたのは文のほうです。中の引用は付随的なものにすぎません。

これで、試みられがちな修正の選択肢がまるごと消えます。引用スタイルを変える、括弧内の引用を脚注に移す、帰属の示し方を言い換える。いずれも、モデルが反応した箇所には触れません。

この話題のスレッドではほぼ必ず、AI検出器はburstiness（文の長さのばらつき）とperplexity（意外性）を測っており、学術的な文章は密度が高く均質なのでどちらでも低い値になる、という説明が出てきます。もっともらしい説明です。しかし、それはTurnitinが作ったと述べているものではありません。

同じよくある質問のページが、この点に正面から答えています。モデルはトランスフォーマーに基づくものであり、burstinessやperplexityといった特定の指標を明示的に評価するようにはプログラムされていない、としています。さらにTurnitinは、個々の予測が特徴ごとに説明できるとは限らないと付け加えています。

別のモデルを前提にした助言に従う前に、知っておく価値のあることです。文章を均質でなく見せるために意図的に文の長さをばらつかせるのは、そのようには作られていないと提供元が述べているシステムについての仮説にすぎません。burstinessの話がどこから来て、それが何に置き換わったかは、AI検出器がperplexityやburstiness以外に何を測っているかで検討しています。

もうひとつだけ、妙に具体的な記述があります。同じモデルのページにある2023年五月24日付のリリースノートは、Turnitinが文書の最初の数文と最後の数文で誤検知の発生率が高いことを観察したと述べ、それらは総花的な書き方をされた導入や結びの文であることが多いと記しています。

ここで、自分の結論がどこにあるかを思い浮かべてください。文献リストの直前です。

レポートの下のほうに色を見つけて、それを参考文献が指摘されたと読み違えたのなら、ハイライトが実際にどこで止まっているかを確認してください。文献リストのひとつ上の段落は、Turnitinが自らの弱点として挙げている場所そのものです。

文書が短い場合の、関連する注意点です。Turnitinは、数百語程度の文書では予測が全か無かに傾きやすいと述べています。セグメントがひとつだけで、平均化のための重なりがないためです。そのため短い文書では、内容が混在していても、すべてがAIとして判定されて返ってくることがあります。

1. どのレポートかを確定させる。 AIのインジケーターの横に数値がなく、アスタリスクだけなら、それがAIレポートです。TurnitinはAIスコアが1から十九の間では割合を表示せず、その帯域は誤検知率が高いとしています。
2. Similarity Reportの場合、文献リストの外にある一致を見てください。意味があるのはそちらです。
3. AI Writing Reportの場合、ハイライトされた文章を読み、割合を文書に対する比率として扱うのはやめましょう。
4. ハイライトが最初の数文か最後の数文にないかを確認する。 そこはTurnitinが自らの誤検知の多発帯として挙げている場所です。
5. 提供元が、その数値は何のためのものだと言っているかを忘れないこと。 Turnitinは複数の自社ページで、インジケーターは誤りうるし、学生に対する措置の唯一の根拠にすべきではないと述べています。指導教員との話し合いに持ち込むのに筋の通った一文です。

すでに話し合いが始まっていて、論文を自分で書いたのなら、指摘された、でも自分で書いたが、集める価値のある証拠を説明しています。

書き換えツールに何かを貼り付ける前の注意点です。ツールがファイル全体を書き換える場合、文献リストは初期設定でその対象に含まれており、この種の被害は実際に記録されています。

ノーサンブリア大学（Northumbria University）の講師であるTadhg Blommerde氏は、教員側のTurnitin権限を使ってこれらのツールを検証しており、スポンサー料を受け取らずアフィリエイトリンクも使わないと明言しています。氏は文中引用とAPA形式の文献リストを含む試験用小論文を作り、Walter Writesに通しました。2025年二月のレビューで氏は、そのツールが「even humanized the reference list」（文献リストにまで人間らしい加工を施した）と報告しており、さらに、入力にはなかった引用が出力に含まれている点も別に指摘しています（レビュー動画）。でっち上げの引用は、直そうとしていた数値より深刻な問題です。

HumanPenというツールは、この制約を前提に作られています。文献リストの項目、文中の引用マーカー、脚注、キャプション、図の番号、表のセル、相互参照フィールドは保護され、書き換えられません。対象範囲はツールが勝手に決めるものではなく、あなたが設定するものです。自分で箇所を選ぶか、AI Writing Reportを取り込んでそのハイライトに範囲を定義させれば、実行前に対象の段落が表示されます。DOCXやPPTXは、同じ編集可能なファイルのまま返ってきます。文法エラーやスペルミスを入れて数値を下げるようなこともありません。条件を満たす結果については、無料でAI判定を下げ続けることができます。

これらは、次に出るレポートがどうなるかを約束するものではありません。触れるものと触れないものを説明しただけです。

文献リストはTurnitinのAIスコアを上げますか？ いいえ。Turnitinのリリースノートは、AI Writing Reportの処理時に文献リストが除外されると述べており、分析の対象は標準的な文法的文から成る本文であって、文献リストの項目はそこに含まれません。高いAI割合は本文から出たものです。

指摘されないように、提出前に参考文献を削除すべきでしょうか？ いいえ。文献リストはそもそも処理の対象外なので、AIレポートが分析する範囲は変わりませんし、ない問題を解決するために未完成の論文を提出することになります。レポートが何に反応したかを知りたいなら、どの本文の段落がハイライトされているかを見てください。

類似度スコアは高いのに、AIスコアはアスタリスクだけなのはなぜですか？ 別々のものを測る独立した指標だからです。TurnitinはAIスコアが1から十九の間では、数値ではなくアスタリスクを表示し、その範囲で誤検知率が高いためだと説明しています。類似度が高く、AIのインジケーターの横がアスタリスクなら、たいていは一致テキストが多く（文献リストを含むことも多い）、モデルがAIと評価した本文がごく少ないという意味です。

AI Writing Reportを自分で見られますか？ 直接には見られません。Turnitinは、AI執筆のインジケーターは教員と管理者にだけ表示されるとしています。教員はレポートをPDFでダウンロードして共有できます。他人の説明をもとに推測を始める前に、まずそれをお願いする価値があります。