Turnitin で AI 検出率を 0% にすることは可能なのか

現在の Turnitin の AI 文章インジケーターは 0% を示すことがあります。2024年7月8日以降、20未満で表示される正確な数値はゼロだけになりました。1% から 19% の結果はアスタリスクで表され、パーセンテージもハイライトも表示されません。この表示変更より前に生成されたレポートは例外で、Turnitin によれば 20% 未満の数値が表示されることもあるといいます。さらに、このインジケーターは学生には見えません。つまり、人々が「0% AI」と言って追い求めているもの、すなわち繰り返し観察し、目標にし、確認できる小さな数値は、通常は自分でコントロールしたり観察したりできる状態ではありません。それは誰か別の人の画面に、日付が意味を持つ表示ルールの下で現れるものです。

以下では、その四つとは何か、なぜゼロと二十の間に段階がないのか、そして誰かが 0% を見せてくれたとして、それが何を解決し、何を解決しないのかを説明します。

Turnitin の現在の FAQ には "What do the different indicators mean?"（さまざまなインジケーターは何を意味するのか）という短いセクションがあり、処理が終わったときに提出物の横に何が表示されるかが列挙されています。それは四つの状態で、その違いは二つの数値の違いよりも重要です。

下の二行は、そもそも結果ではありません。一方では Turnitin がファイルの処理を拒否し、もう一方では処理を試みて失敗しています。上の二つを合わせて読むと、現在の目盛りの形がはっきりします。20以上では、インジケーターは計測のように振る舞います。数値と、自分で見に行けるハイライトされた箇所があります。20未満では、それは電灯のスイッチのように振る舞います。ゼロがひとつの位置で、1% から 19% の帯がもうひとつです。

2024年7月8日以降のルールの下で生成されたレポートは、4% や 11% や 19% を表示しません。代わりにアスタリスクを示します。古いレポートではそうした数値が残っていることがあるため、引用するスコアには必ず生成日を添える必要があります。現在のレポートにおいて、「スコアをもっと小さな値に下げたい」という願いが表しているのは、インターフェースが段階をつけてくれない結果であり、「0% にしたい」が指しているのは、20未満で表示される唯一の正確な数値です。

ルールは公開されています。そしてその理由も公開されています。

"False positives (incorrectly flagging human-written text as AI-generated) are a possibility in AI models. To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."（誤検出、つまり人が書いた文章を AI 生成と誤って判定することは、AI モデルにおいて起こりうることです。誤検出の発生を避けるため、AI 検出スコアが 1% から 19% の範囲にある場合は、スコアもハイライトも付与されません。レポート上で AI が 20% の閾値を下回って検出された場合、現在はアスタリスク（*%）で示され、パーセンテージは付与されません。）

この境界線は二種類の情報を削り取ります。そして二つ目は、当然受けるべき注目を受けていません。数値が消えます。それは誰もが気づく部分です。ハイライトも消えます。閾値を下回ると、レポートは確認すべき箇所も、結果の文単位の位置も教えてくれません。

これを現在の表示ルールの下での修正に当てはめて考えてみてください。たとえば、内部の結果が 17% から 3% に下がったとします。どちらのレポートもアスタリスクを表示します。同じ記号、同じハイライトの不在、何もかも同じです。作業は起きたのに、インターフェースにはそれを伝える語彙がありません。現在のレポートが「15% から 4% に下がった」と主張する人は、レポートが表示していない二つの正確な数値を勝手に補っていることになります。2024年7月8日より前に日付が入ったレポートは例外であって、現在のルールが別の働きをする証拠ではありません。

これは不正行為についてのルールではありません。ベンダーが画面に何を出すかという決定であり、学校が提出物を審査する時点はその学校自身の方針から決まります。この点は AI 20% は高すぎるのか で詳しく見ました。

そのため「0% にできるのか」は、難しさの問題である前にアクセスの問題になります。FAQ はそれを二文で説明しており、たいてい落とされてしまうのは二文目のほうです。

"The AI writing detection indicator and report are not visible to students. However, with the PDF download feature, instructors can download and share the AI report with students."（AI 文章検出のインジケーターとレポートは、学生には表示されません。ただし PDF ダウンロード機能を使えば、教員は AI レポートをダウンロードして学生と共有できます。）

同じページの別の場所には、"only instructors and administrators are able to see the indicator."（インジケーターを見られるのは教員と管理者だけです）とあります。つまり、自分の AI の結果が自分に届く唯一の経路は、誰か別の人が PDF をダウンロードして送ると決めることです。それは実際にある経路です。自分のレポートを見た学生はたくさんいます。しかし、それは自分で確認できる目盛りではありません。

つまり、ほとんどのアドバイスが暗黙のうちに前提としているループは存在しません。提出し、スコアを見て、修正し、もう一度見る。このうち「見る」を含む二つの段階は、あなたが実行できるものではありません。代わりに手に入るのは、後になって、おそらく誰かから伝えられ、おそらく日付のないスクリーンショットとして、ひとつの判定だけです。そして担当教員がインジケーターが「表示されない」と言うとき、それにはあなたのファイルとは無関係の、文書化された固有の原因のセットがあります。それらは AI スコアが表示されない、または一貫しない理由 にまとめました。

それでも手に入れたとしましょう。教員が PDF をダウンロードして渡してくれ、そこに 0% と書かれている。その数値の背後にある設計判断について、Turnitin はこう述べています。

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."（この 1% という低い誤検出率を維持するため、文書内の AI が書いたテキストの一部を見逃す可能性があります。人が書いたテキストを AI が書いたものとして誤って強調表示したくないので、私たちはそれで構わないと考えています。たとえば、文書の 50% が AI ツールによって書かれた可能性が高いと判定した場合、その文書には最大 65% の AI 文章が含まれている可能性があります。）

ベンダーが自らの言葉で、人間の文章を誤検出するくらいなら AI の文章を見逃すほうを選ぶと言っているのです。そこから三つの帰結が生じます。そしてそれは双方向に働きます。

• 0% は、AI の支援が一切なかったことを証明するものではありません。 このツールは控えめに報告するように調整されています。ゼロはきれいな論文とも整合しますし、モデルが捕捉できなかった論文とも整合します。そしてレポートには、その二つを見分けるものが何も入っていません。
• 0% は、ファイル全体についての表明ではありません。 パーセンテージは対象となる散文について計算されます。箇条書き、数値の表、参考文献セクションが大半を占める文書では、評価された部分は比較的少なく、そのゼロがカバーする範囲は見た目より狭くなります。表のセルの中にある完結した段落は別のケースで、Turnitin は表内の長文散文を処理すると述べています。分母の問題は Turnitin の AI 文章レポートの読み方 で扱っています。
• 0% は、会話に持ち込める証拠ではありません。 Turnitin は、不正行為を判定するものではなく、教育者が判断するためのデータを提供するものだと明言しています。「これを書いたのはあなたか」に本当に答えるのは、下書き、資料、ノート、そしてその作業について語れるということです。その材料は 自分で書いたのに AI 判定された に挙げています。

ゼロとは、ある文書の一部に対して、ある一日に、あるモデルのバージョンの下で実行された分類器の出力です。それを持つ価値はあります。ただ、「0% AI」という言葉が示唆するほど多くのことを解決するわけではありません。

数値がないからといって、それが自動的にゼロになるわけではありません。結果がない場合もあれば、ゼロ以外の結果で正確な数値が伏せられている場合もあり、短い文書や散文の少ない文書が狭い分母の上で実際の結果を出す場合もあります。これらのケースには、それぞれ別の名前が必要です。

• 灰色の二重ダッシュまたは処理エラー：結果なし。 長文散文が 300 語未満、30,000 語超、対応していない言語やファイル形式の場合、そのファイルは対象外になります。また、別のエラー状態は Turnitin が処理中に失敗したことを意味します。どちらもきれいなスコアではなく、どちらも 0% として報告すべきではありません。詳しくは Turnitin は学位論文全体をチェックできるのか を参照してください。
• アスタリスク：数値が隠された、ゼロより大きい結果。 現在のルールの下で生成されたレポートでは、検出された範囲が 1% から 19% であることを意味します。パーセンテージとハイライトは、誤検出のリスクがあるために伏せられます。手がかりになる場所は示されませんが、空欄というわけではありません。
• 短い文書、散文の少ない文書：それでも実際の結果である可能性がある。 散文以外の素材は分母を狭めます。しかし、それだけでスコアが消えるわけではありません。長文散文が 300 語以上残っていれば、そのファイルはまだレポートを生成できます。数百語ほどの文書では、セグメントがひとつだけで平均化のための重なりがないため、予測はほとんど "all or nothing"（全部かゼロか）になると Turnitin は述べています。これは極端な結果についての警告であり、第三の空欄状態ではありません。その情報源はゼロ側を排除しておらず、ゼロは Turnitin が公表している成功範囲の中にあります。

実践的な見分け方は単純です。二重ダッシュやエラーは、スコアがないことを意味します。アスタリスクは、表示されていないゼロ以外のスコアがあることを意味します。青い 0% は、ファイルが短かったり、対象となる分母が狭かったりしても、実際の分類器の出力です。この三つを「何も検出されなかった」というひとつの考えにまとめてはなりません。

これをすべて裏返すと、少し奇妙なことが浮かび上がります。人々を怖がらせるレポート、つまり20以上のレポートこそが、行動するために十分な情報を持っている唯一のレポートです。そこには数値とハイライトされた箇所があります。現在の 1% から 19% の帯域では、そのどちらもありません。0% では数値はありますが、修正すべきハイライトされた箇所がありません。

HumanPen というツール は、この線のこちら側に構築されています。DOCX を Turnitin または iThenticate の AI レポートと一緒にアップロードすると、ハイライトされた箇所が作業範囲になります。書き直されるのはそのテキストだけで、それ以外には一切手をつけません。料金は、アップロードしたファイルの長さではなく、書き直した語数に基づいて決まります。

HumanPen は無料のフォローアップサポートも提供しています。条件を満たす結果については、無料で AI を下げ続けることができます。このサポートは、特定の検出結果を保証するものではありません。

これらはすべて予測ではありません。あのページにある私たち自身の FAQ が、はっきりとこう述べています。"Detectors keep changing, so no one can honestly promise a fixed outcome."（検出器は常に変化しているので、固定された結果を正直に約束できる人はいません）。再チェック時のパーセンテージは不明であり、事前に数値を挙げれば捏造になります。Turnitin は、ある編集がスコアをどう動かすべきかを一度も述べていません。そして上で述べた表示ルールがあるため、閾値を下回る領域では、そもそも誰もその主張を検証できません。私たちがお伝えできるのは、どの語が変更され、どの語が課金対象になるかということです。

Turnitin の AI 文章レポートは実際に 0% を示すことがありますか？ はい。Turnitin の FAQ は、成功状態を 0 から 100 のパーセンテージ付きの青いインジケーターと説明しており、ゼロはその範囲に含まれます。日付に関する但し書きは 1% から 19% についてのものです。古いレポートではそれらの数値が残っている場合がありますが、現在のレポートではアスタリスクが表示されます。

アスタリスクは 0% と同じですか？ いいえ。現在のレポートでは、アスタリスクは AI が 1% から 19% の範囲で検出されたことを意味し、Turnitin は誤検出を避けるためにその帯域では数値とハイライトを伏せています。それは、インターフェースが数値化を拒んでいるゼロ以外の結果です。

担当教員より先に自分の AI スコアを確認できますか？ インジケーターを通してはできません。Turnitin は、AI 文章検出のインジケーターとレポートは学生には表示されず、教員がレポートを PDF としてダウンロードして共有できると述べています。あなたが目にするものはすべて、誰かが見せると決めたから見えているのです。

レポートに 0% とあれば、もう安全ですか？ 良い結果ではありますが、証明書ではありません。Turnitin は、誤検出率を低く保つために AI 文章の一部を見逃すことを受け入れると述べており、AI スコアは不正行為を判定しないとも述べています。その両方の半分が重要です。

書き直せば 0% になりますか？ 将来のチェックでのパーセンテージは約束できません。数値を挙げるツールは、自分が持っていない結果を引用していることになります。レポートに基づく書き直しが決めるのは、どの箇所を変え、どの箇所をあなたが書いたとおりに残すかということです。