インタビューやアンケートの引用を Turnitin に AI と判定されたとき、実際に何が起きているのか

インタビューやアンケートのセクションに参加者の回答を引用したら、Turnitin がそれを AI による文章だと判定してきた。書いたのは実際の人間なのに、検出器はなぜ AI と呼ぶのか。Turnitin の公式説明では、AI 検出器は言語モデルで文を分析するとされている。そしてドキュメントのどこにも、引用文を対象外にするという記述はない。直接引用も他の文とまったく同じように分析される。だからこそ、滑らかに書かれた参加者の回答が判定されることがある。このページでは、公式の仕組み、除外されるテキストの形、そして取れる具体的な対応を説明する。

HumanPen チーム

· 4 分

まず結論から

Turnitin の AI 検出は、引用部分を飛ばしてくれない。公式ドキュメントによれば、検出器は提出物から文を取り出し、言語モデルで分析する。公式ページのどこにも、引用符を除外するという記述はない。

流れるような散文として読める参加者の回答は、論文の中の他の文と同じように分析される。実在の人物の言葉が AI として浮かび上がるのはそのためだ。検出器が見ているのは文の構造と語の確率であって、元の文を誰が書いたかではない。

公式の仕組み:対象は「引用」ではなく「文」

判定の仕組みについての Turnitin の FAQ は、分析の単位をはっきり明示している。

When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1.(Turnitin に論文が提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションに分割される。各セクションは AI 検出モデルによって分類され、0 から 1 の値が与えられる。)

単位は文だ。AI Writing Report の公式ページは、反対側から同じことを付け加えている。パーセンテージは長文形式の散文を対象にしたものであり、the model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.(モデルは、詩・脚本・コードといった非散文の形をした AI 生成テキストを確実に検出できるわけではない。また、箇条書き・表・注釈付き文献リストのような短い形式あるいは定型外の文章も検出しない。)

こうした説明のどこにも、「引用テキスト」という分類は出てこない。引用符の中にある文も、検出器にとってはやはり一つの文だ。

なぜ引用した回答が判定されるのか

引用した参加者のデータが判定を受けやすいのには、二つの性質が関係している。

回答は書き言葉ではなく、話し言葉として得られたものだった。 話された回答を文字起こしすると、短い、反復的、会話的といった形になりがちだ。その形のままであれば、短い形式または非散文のテキストとして扱われ、検出の対象外になる可能性がある。だが多くの研究論文では、引用を流れるような散文に組み込む。参加者を紹介し、回答を引用し、それについてコメントする。その時点で引用は段落の中の一つの文であり、文として分析される。

インタビューの回答は、妙に整っていることがある。 構造化された質問票に答える参加者は、完結した、均整の取れた文を書きがちだ。公式の表現では、検出器は人間の書き手と AI の "word probability sequences"(語の確率の連なり)を見分けるよう訓練されているという。そして極めて規則的な文は、AI が生成するテキストのとりがちな形そのものだ。その引用は、モデルが探すよう訓練されたものにそっくり見えるわけだ。

結果として食い違いが生じる。言葉は実在の人物のものだが、統計的な形が生成テキストに似てしまうのだ。

ドキュメントが除外しているもの、そして除外していないもの

公式文書にある除外リストは、テキストの出自ではなく、その形についてのものだ。

The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.(モデルは、詩・脚本・コードといった非散文の形をした AI 生成テキストを確実に検出できるわけではない。また、箇条書き・表・注釈付き文献リストのような短い形式あるいは定型外の文章も検出しない。)

短い参加者の回答を、箇条書きや 1 行のリスト項目のままにしておけば、分析の対象外になり得る。同じ回答でも、段落の中で流れるような文に書き直せば、対象内に入る。引用符をつけただけでは何も変わらない。問題は、その文が長文の散文として読めるかどうかだ。

形を変える以外に、引用を分析から「守る」公式の方法はない。短い形式のテキストとして残すか、そもそも含めないか、のどちらかだ。

レポートで引用が判定されたときにすべきこと

Similarity Report や AI レポートが、引用した参加者の回答を判定してきた場合、公式のガイダンスは他の判定文と同じだ。その指標は評決ではなくシグナルとして扱うこと。Turnitin の FAQ は、そのパーセンテージについて "should not be used as the sole basis for action or a definitive grading measure."(何らかの対応を決める唯一の根拠や、決定的な採点指標として使うべきではない)としている。

順を追って挙げると、取れる選択肢は次のとおり。

  • ハイライトされた文そのものを確認する。 AI レポートを開き、判定されたテキストを読む。それが参加者の引用なら、録音や文字起こしと突き合わせて確認できる。それがあなたの証拠になる。
  • その引用が今の形である必要があるかを判断する。 分析の対象外になるのは、本当に短い形式のテキスト、つまりリスト項目として残した 1 行の回答だけだ。完全な文は、ブロッククオートとしてインデントしようがしまいが、対象内に残る。モデルは書式に関係なく散文の文を読むからだ。したがって、この方法が意味を持つのは、もともと短くリスト形式だった回答に限られる。
  • 記録を手元に残しておく。 文字起こし、録音、署名済みの同意書は、その言葉が生成されたものではないという証拠になる。担当教員と話すときの土台にすべきなのは、判定された引用と、これらの記録だ。
  • 手を入れるのは引用の周囲だけで、引用自体には触れない。 形を変えようと参加者の言葉を書き換えれば、データが変わってしまう。擁護できる対応は、引用はそのまま保ち、提示の仕方を見直すことであって、中身を変えることではない。

要するに

Turnitin の AI 検出器は言語モデルで文を分析しており、公式ドキュメントに引用テキストの除外規定はない。参加者の回答も、散文として組み込めば他の文と同じように分析される。そして極めて規則的な回答は、統計的には生成テキストに似てしまう。実際に存在する除外規定は、テキストの形(短い形式、リスト、非散文)についてのものであって、引用符についてのものではない。引用が判定されたとしても、その指標は評決ではなくシグナルだ。記録と照らして言葉を確認し、提示の仕方を見直し、引用の中身はそのまま保ってほしい。