Turnitin の AI スコアの幅はどれくらいか。実際に数えてみた

公表されたものは存在しません。AI writing report を定義する三つのページを 2026年8月28日に読みました。レンダリングされた記事本文は合計 46,712 文字ですが、その中で `interval`、`margin`、`standard deviation`、`uncertain`、`precision`、`variance`、`error bar`、`plus or minus`、`±`、`estimat` は、どれも一件もヒットしませんでした。カウンター自体は動いていました。同じコーパスで `percentage` は 47、`false positive` は 21 を返しています。ベンダーが公表している数値は三つあります。どれも誤差幅と勘違いされがちですが、どれも誤差幅ではありません。

この「ない」という事実こそが役に立つ発見であって、苦情ではありません。どの問いをやめるべきか、そしてレポートの数字について本当に答えられる二つの問いがどれなのかを、それは教えてくれます。

ここにある隣り合う二つのページは別の領域を扱っていて、このページでは繰り返しません。Turnitin の偽陽性率を説明します は yes/no 判定のエラー率の話、大学が 75,000 本の論文を提出するとき、偽陽性率 1% が何を意味するか は、その率が組織規模で何を引き起こすかの話です。このページが扱うのは数字そのもの、つまりそれが何の推定値なのか、そしてどこまで動きうるのかです。

三つのページを、ログアウト状態のブラウザで 2026年8月28日に読み、`document.querySelector('article').innerText` として測定しました。ページ全体の body ではありません。body にするとナビゲーション分およそ 725 文字が増え、関係のないぶんを足さずに分母だけが膨らみます。文字数は次のとおりです。Using the AI Writing Report が 6,492、AI writing detection capabilities FAQs が 30,987（このページ自体に「Updated 9 days ago」（9日前に更新）と表示されていました）、AI writing detection model release notes が 9,233。合計 46,712 です。

対照語を入れているのは、ゼロの並びだけでは何の役にも立たないからです。検索が壊れていた、あるいはページのレンダリングが失敗していたなら、`percentage` もゼロを返していたはずです。実際には 47 を返しました。

あと一歩のところの二件を、あえて載せておきます。うっかり読むと発見扱いされかねない種類のものだからです。`confidence` はコーパス全体でちょうど一ヒットですが、それは統計的な意味ではありません。「While Turnitin has confidence in its model, Turnitin does not make a determination of misconduct.」（Turnitin は自社のモデルに信頼を置いているが、不正の判定を行っているわけではない。）そして `precise` もちょうど一つで、セグメント境界の検出に関する 2023 年のリリースノートに出てきます。どちらもばらつきの指標ではありません。このカウントを自分で再現してどちらかに行き当たっても、そう扱う前にその文を読んでください。

そしてこの指摘は双方向に効きます。 ベンダーが誤差幅を公表していないというのは、この日付における、これらのページについての事実です。モデルが自身の確信度を測る内部の指標を持っていないという意味ではありません。後述の仕組みのセクションは、そうした値を計算していると述べています。同様に、この数字が正確だと誰かが主張する根拠にもなりません。意味しているのは、確認したページではその問いに答えが出ていないということであり、それはどちらかの方向に答えが出ているのとは違います。

ドキュメントが誤りについて何も語らないわけではありません。語らないのは この 種類の誤りについてです。公表されている三つの数字が誤差幅として使い回されていますが、どれも該当しません。

• 偽陽性 1% 未満という目標値。 その対象として宣言されているのは「documents with over 20% of AI writing」（AI による記述が 20% を超える文書）であり、人が書いた文書がそもそもフラグされる頻度についての話です。これは集団に対する判定のエラー率であって、あなたの 43 を囲む幅ではありません。
• 「50% が 65% になりうる」という例。 これが最も近いもので、次のセクションで扱います。これは一方向の話であり、取りこぼされた AI テキストについての話であって、表示された数字が高すぎるという話ではありません。
• 抑制された 1〜19% の帯域。 20% のしきい値を下回ると、数字は表示されません。それはベンダーが「この読みは表示するには危うい」と考えている場所を示すもので、それ自体は有益ですが、表示を抑制するルールもまた誤差幅ではありません。

そのリストに欠けているのは、まさにあなたが必要とするもの、つまり「X と判定された文書は通常 Y から Z の間に収まる」という形の記述です。46,712 文字の中に、その形をしたものはありません。つまり「43% プラスマイナスいくらか」には、これらの一次情報源に裏付けられた答えが存在しません。ある幅を提示する人がいたら、それについて別の一次情報源を示せるはずです。

誤差幅に最も近い記述として私たちが見つけたものは、報告された数字が実際からどれだけ離れうるかを数量で示しています。そしてそれは一方向だけを指しています。

「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」（偽陽性を 1% という低い水準に保つため、文書内の AI 記述の一部を見逃す可能性があります。人が書いたテキストを誤って AI 記述として強調したくないので、私たちはそれで構わないと考えています。たとえば、文書の 50% が AI ツールによって書かれた可能性が高いと判定した場合、実際には最大 65% の AI 記述が含まれている可能性があります。）

ここは数字よりも形が大事なので、よく読んでください。この記述は、AI テキストの実際の量が表示された数字より 多く なりうると言っています。逆については何も言っていません。私たちのカウントでは、それら三つのページに反対方向の対応する幅は見つかりませんでした。リリースノートに出てくる `up to` は一ヒットだけで、それは 30,000 語の入力上限の話であって、パーセンテージの話ではありません。

この一節が裏付ける非対称性は、その範囲までです。例が上向きなのは、偽陽性を減らすためにシステムが AI テキストの一部を見逃すことを受け入れているからだと説明しています。個別の高いスコアや低いスコアに、証拠としてどれだけの重みを与えるべきかは述べていません。確認したページには、その推論に必要な較正曲線、尤度比、ベースレートで調整した指標が載っていません。同じ FAQ は、そのパーセンテージを行動の唯一の根拠にすべきではないとも述べています。

自分で書いた論文なのにスコアが誤っていると考える場合、この段落は何の助けにもなりません。これは誤差幅ではなく、システムがどちら側に誤るかについての開示です。偽陽性で実際に役立つ材料は別のテーマです。Turnitin の偽陽性率を説明します が、ベンダー自身の発言を扱っています。

FAQ にはスコア算出の手順が書かれています。それを読めば、不確実性の指標がどこに入るはずだったのか、そしてそれが公開された説明のどこで消えているのかが見えてきます。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文が Turnitin に提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションに分割されます。各セグメントは AI 検出モデルによって分類され、そのテキストが人によるものか AI によるものかを示す確率として 0 から 1 の値が与えられます。これらのセグメント内の qualifying sentence は、セグメントのスコアを引き継ぎます。セグメントは重なっているため、複数のスコアを持つ文があり、それらは一つのスコアにまとめられます。こうした文のスコアはさらに集約され、文書全体の AI writing score の計算に使われます。）

つまり四つの段階があり、連続した量は最初の段階に存在します。各セグメントは 0 から 1 の値を受け取ります。文はそれを引き継ぎます。重なったスコアはまとめられます。残った文単位の結果が、文書の数字として一つに合成されます。確率 0.51 と確率 0.99 は、知識の状態としては大きく違うものです。それがレポートに届くころには、どちらも一つの整数パーセンテージの一部になっています。

その三つのページには、まとめ方のルール、合成のルール、そしてまとめられた文のスコアがフラグ付きの文になるしきい値が書かれていません。つまり、モデルの不確実性と、担当教員に表示されるパーセンテージの間には、宣言されていない関数が三つ残っています。ゼロの並びを報告するだけより、公開された空白を正確に言い当てた説明になっています。

だからといって、その数字が無意味になるわけではありません。それは、qualifying text のどれだけが AI 生成である可能性が高いかという、モデル由来の推定値です。まとめ方のルール、合成のルール、そして誤差幅が欠けていることで、その推定値から導けることは限られます。ただ、公表されている単位そのものが消えるわけではありません。したがって 43% を丁寧に読むなら「モデルは qualifying text の 43% をそう推定した」であって、「この文書の全語のうち 43%、しかも誤差幅は既知」ではありません。

ドキュメントが裏付けているのは、長さについての狭い警告一つであって、文書の語数からスコアの解像度を予測する一般的なルールではありません。

FAQ はこう述べています。「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（数百語しかない短い文書では、重ね合わせの機会がないまま単一のセグメントで予測することになるため、予測はほぼ『all or nothing』、つまり全部かゼロかになります。これは、AI 生成の内容と自分で書いた内容が混ざったテキストが、全体が AI 生成であるとしてフラグされる可能性があるということです。）これは文書化された単一セグメントのケースです。確認したページには、文書が長くなるにつれてスコアの解像度がどう変わるかを示す一般的な関数は載っていません。

したがって付け加えるべき実用的な問いとは、でっち上げの誤差幅ではなくレポートの文脈です。推定に入った qualifying text はどれだけか。そしてそれは、ベンダーが特に警告している数百語・単一セグメントのケースなのか。その短い文書での振る舞いを、8,000 語の章に当てはまる未公表のルールに広げてはいけません。Turnitin における短い文書とall-or-nothing問題 が文書化された短いケースを検証しており、Turnitin の AI 検出における「Qualifying Text」とは何か が、そもそも何が分母に入るのかを扱っています。

Turnitin が、この読みは印刷するほど確かではないと事実上認めた場所が一つあります。そしてそれは、数字を削るという形で示されました。

「To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed.」（偽陽性が発生する可能性を避けるため、AI 検出スコアが 1% から 19% の範囲にある場合、スコアもハイライトも付与されません。レポート上で AI が 20% のしきい値を下回って検出された場合、現在はアスタリスク（*%）で示され、パーセンテージは付与されません。）

ここから先に持っていく価値のある点が二つあります。第一に、アスタリスクは低いスコアを隠されているということではありません。ベンダーがスコアの付与を控えているだけであり、ハイライトも存在しないため、誰も具体的な箇所を指さすことができません。第二に、ここは三つのページの中で、ベンダーが偽陽性リスクを理由に出力の一部を差し控えていることが最も明確に読み取れる場所です。私たちが見つけたなかで不確実性の開示に最も近いものですが、それは数字ではなくルールという形をとっています。Turnitin の AI スコアに出るアスタリスク（*%）は何を意味するのか が、その表示の実際の意味を追っています。

以上を踏まえて、誰かが目の前にパーセンテージを出してきたときに、使えるものとして残るのは次の点です。

1. 誤差幅を求めるのをやめて、分母を求めてください。 この数字は何文の qualifying text から来たのか。数百語しかなければ、ベンダー自身の説明によれば、ほぼ二者択一の出力になります。
2. 公表された例の向きに注意してください。 報告された 50 は 65 になりえます。確認した三つのページには、反対方向の情報源に裏付けられた幅は見つかりませんでした。
3. アスタリスクは小さな数字ではなく、付与されていない状態として扱ってください。 スコアなし、ハイライトなしです。
4. qualifying text の推定上の割合を、自分の段落の割合に置き換えないでください。 それは公表されていないセグメントのまとめ方と合成によるものであり、一対一で場所を特定できる文の数ではありません。
5. ベンダーが定義していない、版をまたぐ変化に有意性を与えないでください。 確認したページには、数ポイントの変化に対する有意のしきい値が載っていません。レポートごとに、qualifying text の文脈とハイライトを数字と一緒に残してください。
6. 突きつけられたら、ベンダー自身の枠組みを使ってください。 その FAQ は、そのパーセンテージについて「should not be used as the sole basis for action or a definitive grading measure by instructors」（指導教員が行動の唯一の根拠や決定的な評価尺度として用いるべきではない）と述べ、モデルについて「may not always be accurate」（常に正確とは限らない）と述べています。

誰かが Turnitin の AI スコアの信頼区間を差し出してきたら、それがどこから来たのかを尋ねてください。上の証拠を見る限り、それは Turnitin から来たものではありません。

ここまでの話はすべて、レポートに対して何かをするというより、レポートを読むことについてです。この二つは分けておく必要があります。ただ、数え上げの問題から直接導かれる実用的な帰結が一つあるので、述べておきます。パーセンテージに公表された不確実性が付いていないなら、そのパーセンテージを追いかけるのは、的が定まっていないものを追いかけるのと同じです。ハイライトされた箇所には、的が定まっています。そこは、実際に目で見られる具体的なテキストのまとまりです。

だからこそ、私たちが作っている HumanPen というツール は、レポートの数字ではなくレポートの取り込みを中心に組み立てられています。これは開発元自身による説明として読んでください。手元にある AI writing report を渡せば、フラグの付いた箇所がそのまま作業範囲の境界になります。その境界は画面上であなたが承認し、確認した段落だけが書き直され、それ以外は何も変わりません。これは書き直しの範囲についての記述であって、アップロード、転送、保存に関する主張ではありません。文書全体を一括で通すよりこれを選ぶ理由は、より良い数字が得られるからではありません。そんなことは誰にも約束できません。書き直した段落が増えるほど、提出前に確認すべき出典が増えるので、範囲を狭く保てばその確認の列は短くなります。ファイルそのものが成果物になる場合は、AI 人間化ツールで引用・表・数式はどうなるのか が、後で確認すべき点を扱っています。

そして、このページが八つのセクションをかけてたどり着いた明白な但し書きです。次の数字がいくつになるかは、私たちを含め誰にも分かりません。あなたが自分で書いたものなら、ここまでの話は関係ありません。すべき主張はテキストについてではなく、証拠と手続きについてです。

Turnitin は AI パーセンテージの誤差幅を公表しているのか？ レポートを定義する三つのページには載っていません。2026年8月28日に読んだ 46,712 文字のうち、`interval`、`margin`、`standard deviation`、`uncertain`、`precision`、`variance`、`error bar`、`plus or minus`、`±`、`estimat` はいずれもゼロでしたが、同じテキストで `percentage` は 47、`false positive` は 21 を返しました。

43% は本当に自分の論文の 43% なのか？ それは、qualifying text の 43% が AI 生成である可能性が高いというモデル由来の推定値であって、提出物全体の 43% とは限りません。まとめ方と合成のルール、そして誤差幅が公表されていないため、それを目に見える段落に一対一で対応させることはできません。

AI テキストの実際の量は、表示された数字より多くなりうるのか？ ベンダーは自身の例でそれを直接述べています。50% と判定された文書は「could contain as much as 65% AI writing」（最大 65% の AI 記述を含んでいる可能性がある）と。この例は上向きです。確認した三つのページには、反対方向の情報源に裏付けられた幅は見つかりませんでした。

短いエッセイが極端なスコアになるのはなぜか？ セグメントが一つしかないことがあるからです。FAQ は、数百語の文書では予測が「mostly 'all or nothing'」（ほぼ全部かゼロか）になると述べ、そのため混在したテキストが全体を AI 生成としてフラグされうるとしています。

レポートに数字ではなくアスタリスクが出るのはなぜか？ 20% のしきい値を下回ると、ベンダーはスコアもハイライトも付与せず、代わりに `*%` を表示します。そしてそれが偽陽性の発生を避けるためだと述べています。

スコアが低いまたは高いことは、誰が書いたかの証明になるか？ なりません。ベンダーの例は、表示された割合が AI テキストを過小評価しうると述べています。しかし確認したページには、個別のパーセンテージを証拠としての重みに変えるために必要な較正とベースレートの情報が載っていません。ベンダーはまた、そのパーセンテージを行動の唯一の根拠にすべきではないとも述べています。