大学が 75,000 件の論文を投稿する状況で、1% の偽陽性率が何を意味するか

偽陽性率とは、個々の論文ではなく、母集団全体に当てはまる指標だ。バンダービルト大学が 2023 年 8 月に数値で示したところによれば、同学は 2022 年に Turnitin へ 75,000 件の論文を投稿していた。もし当時 AI 検出ツールが稼働していたなら、1% の偽陽性率は「約 750 件の学生論文が誤って AI 執筆と判定された可能性がある」ことを意味する。同学はこの検出機能を無効化した。この結論には二つの条件が付随するが、どちらも後になって語られなくなる：第一に、検出機能は 2022 年には稼働していなかった（だからこそ情報源は「もし」と書いている）。第二に、ベンダー自身が発信した 1% という数字には限定条件が付いていたが、その直後の文でそれが切り捨てられている。

バンダービルト大学の学習・イノベーション局は 2023 年 8 月 16 日付で「Guidance on AI Detection and Why We're Disabling Turnitin's AI Detector（AI 検出と Turnitin の AI 検出機能を無効化する理由に関するガイダンス）」という投稿を公開した。判断そのものは明確に述べられている：「Vanderbilt has decided to disable Turnitin's AI detection tool for the foreseeable future.（バンダービルト大学は、当分の間、Turnitin の AI 検出ツールを無効化することを決定した）」

この文章の中で特に記憶に留めておくべきは、計算の部分だ。

"At the time of launch, Turnitin claimed that its detection tool had a 1% false positive rate (Chechitelli, 2023). To put that into context, Vanderbilt submitted 75,000 papers to Turnitin in 2022. If this AI detection tool was available then, around 750 student papers could have been incorrectly labeled as having some of it written by AI.（ローンチ当時、Turnitin は自社の検出ツールの偽陽性率が 1% だと主張していた（Chechitelli, 2023）。これを文脈で捉え直すと、バンダービルト大学は 2022 年に 75,000 件の論文を Turnitin へ投稿した。もしこの AI 検出ツールが当時利用可能だったなら、約 750 件の学生論文が、一部を AI で書かれたものとして誤ってラベル付けされた可能性があるということになる）"

ここで何か特別な計算をしているわけではない。75,000 の 1% にすぎない。だが、これによってパーセンテージが「文書数」に変わる。そしてこの変換こそが、誤り率が理解しにくい理由の核心だ。

だから、もう一度二文目を読むときは、if という単語から始まる部分に注目してほしい。75,000 件の論文が投稿された時点では、検出機能は稼働していなかった。これこそが「if this AI detection tool was available then」という表現の意味だ。つまり、750 という数字は、バンダービルト大学であれ他のどこかであれ、実際に起きた何かの件数ではない。ある一大学の年間実投稿数の 1% が具体的にどう見えるかを示しているにすぎない。これは、この数字がたいてい持ち出されるときに主張される内容よりもずっと控えめで、はるかに擁護しやすい主張だ。

ベンダーにとって、100 件中 1 件は仕様だ。機関にとって、それは年間の対応件数だ。あなた個人にとって、そのどちらでもない――あなたは 1 件の論文にすぎず、この率は自分の論文がその 1 件に入るかどうかについて何も語らない。

この最後の点は、両方向に刃として働く。そして、どちらの方向でも人々は行き過ぎる。

• だからといって、あなたのフラグが間違っている可能性が高いわけではない。 人間が書いた論文における 1% の誤り率は、最初に AI 支援された論文がどれだけあったかにもよるが、フラグされた論文の大部分が正しくフラグされていることと完全に両立する。
• 「このツールは 99% 正確なのだから、あなたがやったに違いない」という主張は成り立たないということだ。 率とは母集団を記述するものであって、その母集団のどの個体が目の前にいるかを特定できるわけではない。75,000 件の年間投稿数の 1% は数百件の論文になるのだから、その範囲に入ること自体は驚くべきことではなく、ごく普通のことだ。もちろん、数百件の論文と数百件の告発は別物であり、この二つの隔たりこそが、この議論の拙いバージョンの大部分が潜む場所だ。

ここで取るべき姿勢は、「検出機能は壊れている」とも「検出機能は正しい」とも言わないことだ。それは、母集団の統計は個々のケースを裁定できないということであり、ベンダーも文書でこれに同意している：同社の FAQ は、講師に対して AI 作成インジケーターのパーセンテージを「行動の唯一の根拠や、評価の決定的な指標」として扱わないよう求めている。

1% という数字を誰かに引用しようとする時には、ここが重要になる。

Turnitin の FAQ はこの主張を次のように記している：同社は偽陽性率――「完全に人間が書いたテキストを AI 生成と誤って特定すること」――を「AI による記述が 20% を超える論文において 1% 未満」に抑えるよう努めている、と。

For documents with over 20% of AI writing.（AI による記述が 20% を超える論文において）。これは主張に対するかなりの制限であり、しかも同社がその一文の直後で行っている言い換えでは生き残っていない。その言い換えは次の通り：「In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents.（言い換えれば、完全に人間が書いた論文 100 件中 1 件を、AI 作成としてフラグする可能性がある）」

この二文は等価ではない。そして広まるのはいつも二文目の方だ。この数字を使う場合は、限定付きのバージョンを使うべきだ。正確だからという理由もあるが、それ以上に、テーブルを挟んで向かい側にいる誰かが、その限定条件の存在を知っている可能性があるからだ。

この投稿は 2023 年 8 月のものだ。その一部は計算であり、古びない。一部はベンダーが公開したことについての主張であり、こちらは古びる。何かを引用する前にこれらを区別することが、作業の大部分を占める。

*計算部分は、if を付けたままであれば、繰り返しても問題ない*。投稿数の多い母数の 1% は多数の論文になるということについて、2023 年以降の何事もない。

非ネイティブ英語話者のライターの懸念についても、繰り返して問題ない。そしてこの懸念はこの投稿には全く依存していない。背後には研究があり、その研究が実際に何を測定したかについては AI 検出ツールの非ネイティブ英語ライティングに対するバイアス で取り上げた。

透明性に関する苦情は、繰り返す前に確認すべき部分だ。バンダービルト大学は「Turnitin gives no detailed information as to how it determines if a piece of writing is AI-generated or not（Turnitin は、ある文章が AI 生成かどうかをどのように判定するかについての詳細情報を公開していない）」と記した。今日の FAQ は、スコアがどのように組み立てられるかを説明している：文章を抽出して重複するセクションに分割し、各セクションを分類して 0 から 1 の値を割り当て、該当する文はセクションのスコアを継承し、重複するスコアをプールし、プールされた文スコアを文書スコアとして集約する。会議で「どう機能しているかについて何も公開されていない」と主張すれば、誰かがその段落をあなたに見せることができるだろう。

ただし、その反論が答えられたと決める前に、投稿の中でその後に続く文を読んでおけ。なぜなら、この反論は「仕組みを公開せよ」よりも狭いものだからだ。この苦情は、ツールが「AI 執筆に共通するパターンを探すものの、それらのパターンが何かを説明も定義もしない」という点にある。セクションスコアをどう結合するかの説明は、パターンそのものの説明ではない。公表されたメカニズムと公表された反論は別の問いについてのものなのであり、どちらもありのままに同日に引用できる。

私たちに言えないのは、その FAQ の文章がいつ初めて現れたかだ。日付を特定していないので、上記の何をかをベンダーがこの投稿に応答して公開したと読むべきではない。

もう一つの限定条件がある。こちらはバンダービルト大学に属するものだ。この投稿は、この機能が「less than 24-hour advance notice, no option at the time to disable the feature（24 時間未満の事前通告で導入され、当時は機能を無効化する選択肢がなかった）」状態で到着したと記している。At the time は原文の文にそのままある。この 3 語なしで引用すれば、ローンチについての記述を、製品についての永続的な主張に書き換えたことになる。それは 1% という数字から「over 20%」を切り捨てるのと同じ手口だが、議論の反対側によって行われただけだ。

1. 日付を引用すること。「2023 年に、バンダービルト大学はこのツールを無効化し、この理由を公開した」は検証可能で擁護可能だ。「大学は AI 検出を見捨てた」はどちらも満たさない。
2. この算数が何の例証かを言うこと。これが広まるのは、誰でも自分の機関の投稿数でこれと同じ計算をやり直せるからであり、かつ現実の指摘をしているからだ：小さなパーセンテージでも、誰かが公平にレビュー しなければならない対応件数が生まれる。これがやらないのは、告発数の見積もりだ。すべての投稿がスコアの対象となるわけではなく、機関の外には実際にどれだけ AI 利用があったかなど誰も知らず、フラグが必ずしも告発になるわけではない。これについては 20% の AI は多すぎるか でより詳しく取り上げている。
3. 自分の論文について何かを証明していると主張しないこと。これが示すのは、誤ってフラグされることが規模においては日常の出来事だということであり、それはより控えめで別の主張だ。
4. 自分たちの機関が何かを公開していないか確認すること。学術誠実ポリシーと、教育・学習センターが発信しているものを探す。ニュースページだけでなく。ローカルな声明は、あなたが直面するあらゆる議論において、遠くの声明より優先される。
5. 最初の主張には持ち込まないこと。プロセスと出所が最初に説得し、統計は誰かが数字は自明に決定的だと主張してきたときに初めて引き出すものだ。

使っているなら、目の前のレポートこそが問題の対象であり、上記の何をかではない。パーセンテージが何の統計なのか、そしてハイライトと数字が食い違うことがある理由については別のテーマであり、AI 作成レポートを行単位で読む で扱っている。

HumanPen に入るべき点は、特定の箇所がマークされ、それらの一部を変更する必要があるときだけだ：レポートが境界を設定し、マークされていない段落は既にある表現を保つ。

そのどれもが偽陽性への答えではない。あなたの立場が「自分で書いた」というものなら、書き直すのは誤った動きだ。そして実際にレビュアーを納得させたものは全く別のテーマだ：審査会を動かした証拠。

1% の偽陽性率ということは、私のフラグはおそらく間違っているのか？ いいえ。これは人間が書いた論文の母集団における率であり、個々のケースについては何も言わない。言えるのは、機関規模では誤ってフラグされた論文は異常事態ではなく日常の出来事だということだ。

750 という数字はどこから来たのか？ 2023 年 8 月 16 日付のバンダービルト大学自身の投稿から。2022 年に Turnitin へ投稿した 75,000 件の論文に 1% という数字を適用している。条件付きであることに注意：検出機能は 2022 年には稼働していなかったので、文は「if this AI detection tool was available then（もしこの AI 検出ツールが当時利用可能だったなら）」と読める。これはその大学の投稿数の 1% が具体的にどう見えるかを示している。750 件の論文が誤ってフラグされたという記録ではなく、他の機関についての予測でもない。

1% という主張は無条件か？ いいえ。Turnitin の明示された目標は「AI による記述が 20% を超える論文において (for documents with over 20% of AI writing)」1% 未満だ。同社自身による次の文での言い換えではその限定条件が脱落しており、それゆえに無条件版が広まっている。

大学は一般的に AI 検出をオフにしたのか？ この情報源はそれを裏付けない。これは 2023 年のある一機関の判断とその理由を文書化したものだ。あなたの機関がそれを使っているかはローカルな問いであり、ローカルな答えがある。