Turnitinは誤検出率を二通り公表している。文単位のほうは4%だ。

レポートで二、三の文が指摘されている場合、その4%は、マークされた文のうちのどれかが実は人間によって書かれたものである確率です。その特定の文に対する判定は誤っている可能性があり、「約4%」はそれが起きる頻度です。これは文ごとの数字であって文書ごとの数字ではなく、一方から他方を導き出すことはできません。

TurnitinのChief Product OfficerであるAnnie Chechitelli氏は、2023年六月にこれを次のように説明しました。

「Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content.」（私たちの文単位の誤検出率は約4%です。これは、AIが書いたとして強調表示された特定の文が、実際には人間によって書かれたものである確率が4%あるという意味です。この発生率は、人間が書いたコンテンツとAIが書いたコンテンツが混在する文書でより高く、とりわけ両者のつなぎ目の部分で顕著です。）

その4%は、すでに強調表示されている文についての数字です。個々の判定の精度についての情報であり、文書全体で判定がいくつ出るかについての情報ではありません。

文書については、Turnitinはより低い別の率を公表しています。

「Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing.」（私たちの文書単位の誤検出率、つまり文書の中で完全に人間が書いたテキストをAI生成と誤って判定する率は、AI文章が20%以上の文書では1%未満です。）

二つの点が際立ちます。この率は、完全に人間が書いた文書全体が、AIテキストを含むと誤って判定されるケースを指しています。そして1%未満という数字は、AI文章が20%以上含まれる文書、つまり実際にAIテキストが一部に存在する混在文書に限った条件付きの数字です。

ここが間違えやすい点であり、正確に押さえておく価値があります。公表されている二つの数字はどちらも、あなたが自分で全部書いた論文を対象にしたものではありません。

4%は混在文書の特徴として説明されています。「particularly in the transitions between human- and AI-written content.」（とりわけ人間が書いたコンテンツとAIが書いたコンテンツのつなぎ目において。）AIテキストが入っていない論文にはそうしたつなぎ目が存在しないため、Turnitinが4%を当てはめている状況は、あなたの状況を説明していません。

しかし1%未満のほうが代わりにあなたをカバーしてくれるわけでもありません。その文言をもう一度読んでみてください。「less than 1% for documents with 20% or more AI writing.」（AI文章が20%以上の文書では1%未満。）この数字には条件がついており、AI文章を含まない文書はその条件を満たしません。

つまり二つの数字にはそれぞれ適用範囲があり、完全に人間が書いた論文はその両方の外側にあります。どちらかの数字を、議論の決着がついたかのように突きつけられる前に知っておいて損はありません。

Turnitinは、誤って指摘された文がどこに現れるかについて、具体的なデータポイントを示しました。

「As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing.」（前の記事で説明したように、これらの文と、文書内でそれが実際のAI文章にどれだけ近いかには相関関係があります。54%の場合、これらの文は実際のAI文章のすぐ隣に位置しています。）

「These sentences」とは誤検出、つまり人間が書いたのに指摘されてしまった文のことです。その過半数は、本物のAI文章のすぐ隣にあります。これは、人間とAIの文章のつなぎ目に誤検出が集中するという先ほどの説明とも一致します。

だからこそ、この統計はあなたにとっては逆方向に働きます。AIテキストがどこにも入っていない論文に判定が散らばっているなら、Turnitinがここで説明している仕組みは、それらを生み出している仕組みではありません。これは混在文書において自らの誤りがどこに集中するかという説明にすぎません。

同じ投稿は、強調表示は発見ではなく出発点だとはっきり述べています。しかもそれを教員に向けて言っているのです。教員こそ、あなたが読んでほしい相手でしょう。

「Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion.」（強調表示された文は、AI文章が存在する場所の近くにあると予測されるため、関心領域として扱ってください。ただしごく一部の割合で、AIモデルが誤ることがあります。ですから、その情報は結論を出すためではなく、対話を始めるために使ってください。）

さらにこの投稿は、学生が最もよく「自分はこれで測られている」と思い込んでいるものも退けています。目指すべき数字は存在しません。

「Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score.」（Similarity Scoreと同じように、AI執筆インジケーターには「正しい」スコアも「目標」スコアもないことを覚えておいてください。）

ここまでの内容は、あなたが困った立場にあるかどうかを教えてくれません。公表された数字にそれができるものはないからです。ただ、パーセンテージではなくレポートそのものに対話を向けたままにする方法は手に入ります。

• どの箇所かを尋ね、スクリーンショットではなくレポートを入手してください。 強調表示された二つの文と、文書単位の数字は別のものです。場所を指し示せるのは強調表示だけです。
• どの数字を突きつけられているのかを尋ね、その条件を声に出して読んでください。 1%未満の数字には、その文自体に「for documents with 20% or more AI writing」（AI文章が20%以上の文書）という条件が入っています。その条件が自分の論文に当てはまらないなら、そう言いましょう。
• Turnitin自身の指示を持っていきましょう。 それは教員に、強調表示を結論を出すためではなく対話を始めるために使うよう求めています。その文はあなたのレポートを握っている人に向けられたもので、上にそのままの言葉で引用してあります。
• その論文がどう書かれたかを示すものを残しておきましょう。下書き、バージョン履歴、メモ、読んだ文献などです。それが著者であることの証拠になります。パーセンテージは証拠になりません。