なぜ Turnitin は参考文献や引用にフラグを立てるのか ── 除外が実際にカバーする範囲

Turnitin の AI Writing Report は文献リストを除外し、標準的な文法的な文として書かれた散文だけを分析します。つまり参考文献リストは、AI 率を押し上げもしなければ、それを薄める材料にもなりません。文献リストの上にある色は、ほぼ常に Similarity Report 側のものです。そしてそこでは、一致する参考文献の項目が生じるのは、共通の引用スタイルを使っていれば当然のことなのです。

すると、いつもの答えが飛ばしている三つの、より狭い疑問が残ります。そもそもなぜ一部の AI レポートには参考文献の項目に色が付いているのか。注釈付き文献リストは単なる参考文献リストと同じケースなのか。そして、もし色が類似性側のものなら、それを変えられる権限を実際に持っているのは誰なのか。

この三つすべてに通じるのは、これらの除外はあなたの文書についての事実ではないということです。それらはレポートが作られる過程の手順であり、作られるその瞬間に適用されます。その瞬間を変えれば、ファイルの語句には一切触れずにレポートが変わります。

Turnitin の AI ライティング検出モデル のページには、日付入りのリリースノートが掲載されています。2023年8月9日の項目にはこうあります。

「We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.」（文献リストに挙げられた参考文献の中で、AI による文章に誤ってハイライトを付けてしまうことがあったバグを修正しました。AI Writing Report の処理では、現在は文献リストを除外しています。）

その直後の文こそ、このノートが引用されるたびに落とされてしまう部分です。「Resubmit to reprocess existing submissions that contain highlighted reference sections.」（ハイライトされた参考文献セクションを含む既存の提出物を再処理するには、再提出してください。）つまり除外は、レポートが生成されている間に適用されます。2023年8月9日の時点で既に存在していたレポートは、その時点のハイライトを保持したまま、誰かがその論文を再提出するまで変わりませんでした。

同じノートが、同じ形で表も扱っていました。「We are now able to process long-form prose text in tables」（表の中の長文散文を処理できるようになりました）、そしてその後に「Resubmit to reprocess existing submissions that contain tables.」（表を含む既存の提出物を再処理するには、再提出してください。）と続きます。二つの変更はどちらも、誰も自動的には行わない再提出にかかっています。

今年生成されたレポートを手にしているほとんどの人にとって、この話は何の説明にもなりません。役に立つのは、それが身につけさせてくれる習慣のほうです。レポートが示す内容を説明しようとする前に、それがいつ生成されたかを確かめてください。生成時に効いていたルールは、その日付のルールだからです。同じファイルに対する二つのレポートが一年離れて生成されたなら、それは一つの測定値を二度読み取ったものではありません。この一般版は 再チェック後に二つの Turnitin レポートを比較する で分解しました。

これは、フラグが立った文献リストについて出回っている助言の多くが、自信たっぷりで古臭く聞こえる理由でもあります。その多くは 2023年のスクリーンショットを見ながら書かれたものです。

二つの質問が絶えず寄せられますが、答えは一つです。文献リストで AI 率が上がったのか。そして文献リストを長くすればそれは下がるのか。

Turnitin は、モデルが対象とするものを判定対象テキストと定義しています。検出に関する FAQ では、モデルは「only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures」（標準的な文法的な文で書かれ、リストや箇条書き（文ではない短い構造）など他の種類の文章を含まないテキストブロックのみを分析します）としており、その帰結が次の文に書かれています。「This percentage is not necessarily the percentage of the entire submission.」（この割合は、必ずしも提出物全体に対する割合ではありません。）参考文献の項目は標準的な文法的な文ではありませんし、文献リストはそもそも処理の前に取り除かれます。したがって参考文献リストは、分子にも分母にも入りません。

これで二つの計画が一度に潰えます。提出前に参考文献を削除しても、レポートが分析する対象は変わらず、しかも存在しない問題を直すために不完全な論文を提出することになります。文献リストを水増ししても何も薄まりません。薄めるには追加した語が分母に入らなければならないのに、それらは入らないからです。

表やリストだらけの文書で、分母が実際に何になるのかを知りたいなら、Turnitin の AI Writing Report の読み方 で数値例を最後まで追っています。

文献リストという語は、この話全体でかなりの役割を担っています。そして Turnitin 自身のページには、参考文献のような形をした素材について別々の二つの主張が書かれており、人はそれを一つにまとめてしまいがちです。

ある Turnitin のヘルプ記事にはこうあります。「The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.」（モデルは、詩、脚本、コードといった非散文の形をした AI 生成テキストを確実に検出するわけではなく、箇条書き、表、注釈付き文献リストといった短い、あるいは型にはまらない文章も検出しません。）

これをリリースノートと並べて読んでください。リリースノートが述べているのは処理上のルールです。モデルを走らせる前に文献リストを取り除く、というものです。ヘルプ記事が述べているのは確実性の限界です。特定の文章タイプについては、モデルの出力は Turnitin が責任を持てるものではない、ということです。この二つは同じ保証ではありません。そして後者ははるかに弱いものです。

この違いが最も強く効くのは注釈付き文献リストです。注釈はあなたが書いた散文の文であり、あなたが書いていない項目の下に置かれているからです。注釈付き文献リストに色が付いて戻ってきたなら、それは単なる参考文献リストに色が付いたのと同じ出来事ではありません。そしてリリースノートは、それをカバーする文書ではありません。

Turnitin が公開している計算の説明は、一連の処理を挙げています。文が抽出され、重なり合うセグメントにまとめられ、各セグメントに 0 から 1 の値が与えられ、各判定対象文はそれを覆うセグメントのスコアを引き継ぎ、それら集約された文のスコアが文書の数値にまとめられます。引用は、この連鎖のどの段階にも入力として入りません。

この重なりには、ほとんどの人が最後まで追わない帰結があります。あるセグメントの端近くにある文は二つのセグメントにまたがるため、複数の引き継いだスコアを背負うことになります。引用を含むあなたの文に付いたハイライトは、その両側の文から部分的に借りてきたものです。だからこそ、直し方があるとしても、それは決して括弧の位置にはありません。そこから何が導かれ、何が導かれないかは、フラグされた一文を書き直すとスコアは下がるのか で追いました。

これは、つい試したくなるいくつかの編集に何も効く相手がいないということでもあります。番号を振り直す、括弧の指示を上付き文字に替える、主張の前に導入句を足す、帰属を示す語を文末に移す。どれも採点される性質を変えません。どれも散文を変えないからです。

この疑問のうち、「そもそも自分はどのレポートを手にしているのか」から始まるバージョンについては、なぜ Turnitin は私の参考文献にフラグを立てたのか で分岐をたどっています。

では、もう一方のケースです。誰かがある割合を転送してきました。色は文献リストの上にあり、あなたはその数値を下げるよう求められています。それを動かすものは、あなたのファイルの中にはありません。

Similarity Report は除外フィルター付きで生成されます。文献リストはその一つで、引用句は別のものです。レポートを設定した人が、どれを有効にするかを選びました。そしてその選択は、メールに貼り付けられた割合といっしょには移動しません。まったく変更していない一つのファイルに対する二つのレポートが大きく違うのは、それだけが理由で起こります。二つのレポートを並べて見る はフィルターと、その状態をどこで確認できるかを扱っています。引用され典拠が示されたテキストが今も一致する理由 は、誰もそれを有効にしなかったときに、典拠付きの箇所に何が起きるかを扱っています。

これは、そのまま明白な一手に対する反論にもなっています。参考文献の項目が他人の参考文献の項目と一致するのは、スタイルガイドが皆に同じ文字列を作るよう指示しているからです。一致しなくなるまで書き換えられた項目は、スタイルに従わなくなった項目です。そしてツールがそれをリスト全体に対して一度にやれば、採点者が気づくまであなたは気づきません。書き換えツールの中で引用と表に何が起きるか に、まさにその記録事例があります。

ですから、そのメールへの有益な返信は、修正ではなく質問になります。そのレポートではどの除外が有効だったのか、そして文献リストの外のどこに色があるのか。後半こそ、あなたからの回答が本当に必要になる部分です。

これらに必要なのは、アカウントでも、異議申し立てでも、専門家でもありません。必要なのは、数値のスクリーンショットではなく実際の PDF と、およそ五分です。

1. まず生成日を見つけてください。 どこで説明されている除外やモデルのバージョンであれ、実際に効力を持つのはそのファイルが生成された時点のものであり、今ヘルプサイトに書かれているものではありません。
2. 色の付いたものを見る前に、AI の表示を見てください。 Turnitin は 1%から19% の帯ではスコアもハイライトも与えず、代わりにアスタリスクを表示します。つまり、目の前にアスタリスクがあるなら、そこでハイライトされているものは AI レポート由来ではありません。
3. 色の付いた箇所を一つ追って、それが何を差し出すかを見てください。 一致先が固有の割合を持つ名前付きのソースに続くなら、それは Similarity Report です。AI のハイライトはそこには現れず、どこにも続きません。
4. どの除外フィルターが有効だったかを尋ねてください。 文献リストと引用句は別々のスイッチであり、転送された数値からはどちらの状態も読み取れません。レポートを実行した人が知っています。
5. AI レポートなら、ハイライトされた散文を読んで、行数を数えるのをやめてください。 割合は判定対象テキストに対して計算され、ハイライトは他すべてを含む文書の中に置かれています。したがって目視ではつじつまが合いません。

書き出してみれば、これはあなたの文章についてではなくレポートについての質問のリストです。この特定の問題については、おおむねそれが正しい比率です。

HumanPenというツール は文書の書き換えツールです。ここで関係する設計判断は、出力ではなく範囲についてのものです。自分で箇所を選ぶか、文書を AI Writing Report と一緒にアップロードして、フラグが立った箇所に範囲を定義させるか、どちらかです。書き換えられるのはレポートから取り込まれた箇所だけで、文書の残りはそのまま保持されます。

この記事のテーマについては、これに固有の帰結があります。参考文献リストは、そもそも書き換えの範囲に入る理由がありません。AI の計算の両側で外にあるからです。それでもそこに手を伸ばすツールは、あなたの数値を助けられなかったものに、あなたのリスクを費やしています。

課金は実際に書き換えられた語数だけを数えるので、レポートが文書の五分の一をフラグした場合、費用はおおよそ全文処理の五分の一です。条件を満たす箇所は、無料で再実行できます。

私たちがお伝えしないのは、次のレポートがどう出るかです。私たち自身のページには、HumanPen は意味、構造、用語、引用、レイアウト、スタイルを保ちながら、必要な語句だけを書き換えることを目指すとあり、その上で複雑な文書はダウンロード後に確認するよう書かれています。その両方に本気です。

私の AI レポートでは、参考文献の項目そのものに色が付いています。そんなことがあり得るのでしょうか。 あり得ました。2023年8月9日付の Turnitin のリリースノートが、文献リスト内の AI 文章にハイライトを付けるバグが修正されたこと、そして以後はレポート処理時に文献リストを除外すると発表するまでは。そのノートは、既存の提出物は再処理される前に再提出が必要だと付け加えています。つまり古いレポートはハイライトを保持したままです。あなたのレポートが最近のものなら、手にしているのが Similarity Report ではないかを確認してください。

参考文献リストを長くすれば AI 率は薄まりますか。 いいえ。割合は判定対象の散文について計算され、Turnitin はその結果は「not necessarily the percentage of the entire submission」（必ずしも提出物全体に対する割合ではありません）としています。分母に入らない語は、何も薄められません。

注釈付き文献リストにハイライトが付いています。同じ除外でカバーされますか。 同じ主張ではカバーされません。リリースノートは、文献リストが処理から除外されることについてのものです。ある Turnitin のヘルプ記事は、注釈付き文献リストを、モデルが AI 文章を確実には検出しない文章タイプの一つとして、別の箇所で挙げています。これは何が取り除かれるかについての規則ではなく、確実性についての主張です。さらに、注釈はあなたが書いた散文であり、単なる参考文献リストはそうではありません。

引用スタイルを替えると、二つの数値のどちらかは変わりますか。 AI 側では変わりません。あの計算について公開されている説明のどこにも、引用を読む部分がないからです。類似性側では、帰属が示された一致をレポートがどう分類するかは、限界が文書化された認識ステップに依存します。引用され典拠が示されたテキストが今も一致する理由 がそれを一つずつ検討しています。

これについてのメールに返信する前に、何を求めるべきですか。 スクリーンショットではなく PDF の完全なレポート、それが生成された日付、それがどのレポートか、そしてどの除外フィルターが有効だったかです。この四つの答えがあれば、誰かがあなたの文章について議論する前に、たいていのことは片付きます。