ChatGPTはAI検出器なのか——OpenAIが自社の分類器について公表したこと

いいえ。OpenAIはこの目的のために専用に訓練した別の分類器を作り、測定した精度を公表した——AIが書いたテキストの26%を正しく識別する一方で、人間が書いたテキストの9%を誤ってAI作成と判定した——そして2023年7月20日に、これを「due to its low rate of accuracy」（精度の低さのため）として撤去した。「これはAIが書いたか」と尋ねられたチャットモデルは、その分類器ではないし、これまで一度もそうだったことはない。もっともらしい答えを返すのは、もっともらしい答えを返すことこそがその役割だからだ。

2023年1月、OpenAIは「trained to distinguish between text written by a human and text written by AIs from a variety of providers」（人間の書いたテキストと、さまざまな事業者のAIが書いたテキストを区別するよう訓練された）分類器を公開した。この発表は今もオンラインにあり、冒頭に撤回の告知が追加されている。

その数字は誰かが独自に行ったテストではなく、発表そのものに書かれている。

「In our evaluations on a 'challenge set' of English texts, our classifier correctly identifies 26% of AI-written text (true positives) as 'likely AI-written,' while incorrectly labeling human-written text as AI-written 9% of the time (false positives).」（英語テキストの「challenge set」に対する私たちの評価では、本分類器はAIが書いたテキストの26%を「AIが書いた可能性が高い」として正しく識別します。これが真陽性です。一方で、人間が書いたテキストを9%の割合で誤ってAIが書いたと判定します。これが偽陽性です。）

検出できたのは26%。人間の文章の9%が誤って指摘された。しかもこれは、販売元が自社モデルの出力を学習データに使える立場で、わざわざ作った仕組みについて自ら行った評価である。

冒頭の段落には、もっと引用されてしかるべきなのにあまり引用されない一文がある。「it is impossible to reliably detect all AI-written text.」（AIが書いたテキストをすべて確実に検出することは不可能である。）

その発表には制限事項のセクションがあり、悪用されることを見越した人々が書いたかのような内容である。本文の言葉をそのまま引く。

• 「It should not be used as a primary decision-making tool, but instead as a complement to other methods of determining the source of a piece of text.」（意思決定の主たる手段としてではなく、あるテキストの出所を判断する他の方法を補うものとして使われるべきである。）
• 「The classifier is very unreliable on short texts (below 1,000 characters). Even longer texts are sometimes incorrectly labeled.」（この分類器は短いテキスト、1,000文字未満では非常に信頼できない。より長いテキストでも、誤って判定されることがある。）
• 「Sometimes human-written text will be incorrectly but confidently labeled as AI-written by our classifier.」（人間の書いたテキストが、誤って、しかも確信を持ってAIが書いたと判定されることがある。）
• 「We recommend using the classifier only for English text. It performs significantly worse in other languages and it is unreliable on code.」（この分類器は英語のテキストにのみ使うことを推奨する。他の言語では性能が大幅に低下し、コードについては信頼できない。）
• 「Text that is very predictable cannot be reliably identified.」（非常に予測しやすいテキストは、確実に識別することはできない。）挙げられている例は、最初の1,000個の素数のリストである。「because the correct answer is always the same」（正しい答えが常に同じだからである）。
• 「Classifiers based on neural networks are known to be poorly calibrated outside of their training data. For inputs that are very different from text in our training set, the classifier is sometimes extremely confident in a wrong prediction.」（ニューラルネットワークに基づく分類器は、学習データの外では較正が不十分になることが知られている。学習セットのテキストと大きく異なる入力に対して、この分類器は誤った予測に対して極めて強い確信を抱くことがある。）

三つ目の項目と最後の項目は、同じ現象を二度述べたものである。確信度と正しさは結びついていない。この種のツールが「間違いなくAI」と言っても、「おそらくAI」と言うより強い主張にはならない。仕組みは同じで、添えられた数字が違うだけだ。

同じページの冒頭には、こうある。

「As of July 20, 2023, the AI classifier is no longer available due to its low rate of accuracy.」（2023年7月20日現在、AI Classifierは精度の低さにより提供されていない。）

企業が自社製品を撤回し、その理由として精度を挙げる——この分野で得られる証拠としては、最も澄んだものの一つである。それを口にするには企業側にも痛みが伴う。だからこそ、どちらの方向の第三者意見より価値がある。

ここが最も言っておくべき部分である。撤回は、その能力がチャットボットに移ったかのように報じられることがあるからだ。移ってはいない。分類器は別個にファインチューニングされたモデルであり、発表では「a language model fine-tuned on a dataset of pairs of human-written text and AI-written text on the same topic」（同じ題材について、人間の書いたテキストとAIが書いたテキストを対にしたデータセットでファインチューニングした言語モデル）と説明され、確信度の閾値は「to keep the false positive rate low」（偽陽性率を低く保つため）として意図的に調整されていた。

そのどれも、チャット画面を説明したものではない。チャットモデルに、ある箇所がAIによって書かれたかどうかを尋ねても、参照すべき検出機構はない。あるのは、そうした質問の後に続きがちな種類のテキストを生成する仕組みだけだ。自信ありげな判定、頼めばパーセンテージ、そして理由のリストが返ってくる。しかも同じ箇所について二度目に尋ねると、しばしば別の判定が返ってくる。

つまり、出回っているスクリーンショットは精度の低い測定ではない。測定ですらない。

ある事業者が撤回した分類器は、別の事業者の現行製品については何も語らない。そこまで拡大して解釈するのは不誠実である。

Turnitinの検出器は別の仕組みであり、開発元も異なる言葉で説明している。公開されている主張も、記録されている誤判定のパターンも独自のものだ。検出器は一般に、同じ箇所について大きく食い違う。これは独自の証拠を持つ別の問題であり、同一のテキストに対して検出器がどれほど食い違うかにまとめている。また、誤検出の影響を最も強く受ける集団も記録されている。英語が第一言語でない方には重要な話だ。非母語話者の英語について研究が示していることを参照してほしい。

ここで言えるのは、出典が裏付けるただ一つの、限定的な主張である。チャットモデルに何かがAIによって書かれたかを尋ねることは、検出ではない。そして最も知られたチャットモデルを作っている企業は、目的に合わせて作った分類器を公開し、その性能を測定し、撤回した。

あなたの所属機関の手続きを知っているふりはせずに、実践的な形だけ示したい。

1. その指摘が何から生じたのかを確認する。「指摘された」には、レポートを伴う機関の検出器という場合と、誰かがあなたの文章をチャットボットに貼り付けたという場合がある。状況はまったく別であり、文書が伴うのは片方だけだ。
2. レポートがあれば、それを求める。レポートには該当箇所とその位置が書かれている。チャット画面のスクリーンショットにあるのは一文だけだ。
3. 同じ質問をチャットモデルに二度してみる。同じ箇所について、新規セッションを二つ使う。不安定さは、主張するものではなく実際に示すことのできる性質だ。
4. こうした話を最初に持ち出さない。説得力を持つのは手続きと来歴であり、ツールについての議論が通用することはほとんどない。技術的な反論から入ると、質問をはぐらかしていると受け取られかねない。

私たちは文書を書き直す仕事をしている。だからこそはっきり言っておく。上に書いたことは、検出が機能しないという主張ではないし、私たちはそのような主張を売っていない。HumanPenというツールは、実際のレポートが存在し、特定の箇所にハイライトが付いている状況のためのものだ。そのハイライトが編集範囲の境界になる。外側には一切手をつけない。

もしあなたの状況が、裏付けとなるレポートのないチャットボットのスクリーンショットなのであれば、それは書き直しの問題ではない。話し合いの問題だ。そして上の内容は、私たちがその場に持っていくものである。

ChatGPTは、テキストがAIによって書かれたかどうかを判定できるのか。OpenAIはチャットモデルを使うのではなく、この作業のために別の分類器を作り、その精度を公開し、2023年7月に精度の低さを理由に撤回した。チャット画面には、参照できる検出機構がない。

OpenAIの分類器の数字はどのようなものだったのか。英語テキストの「challenge set」において、AIが書いたテキストの26%を正しく識別し、人間が書いたテキストを9%の割合で誤ってAIが書いたと判定した。

なぜチャットボットはこれほど断言的に聞こえるのか。OpenAI自身が公表した制限事項には、この種の分類器が「extremely confident in a wrong prediction」（誤った予測に対して極めて強い確信を抱く）ことがあると書かれている。チャットモデルの自信ありげな口調は、その書き方が生む性質であって、あなたの文章についての証拠ではない。二度尋ねると、しばしば二つの異なる答えが返ってくる。

ということは、TurnitinのAI検出も機能していないということか。それについては何も語っていない。事業者が違えば、仕組みも、公開されている主張も違う。この出典が裏付けるのはただ一つ、チャットモデルを検出器として使うことは検出ではない、という点だけだ。