フラグ付きの文を 1 つ書き直せば、スコアは 1 文分だけ下がるのか?
Turnitin の AI 判定率の算出方法については複数の説明が出回っているが、どれも足し算のように見える。それぞれに裏付けとなる文書が存在し、そこで語られている内容は、それを元に作られた助言よりも限定的だ。
HumanPen チーム
· 9 分
結論を言えば
いいえ。文が持つスコアはその文だけが稼ぎ出したものではないため、書き直した文の数と下がるパーセンテージの間に交換比率など存在しない。Turnitin の公式説明では、文を抽出して重複するセグメントにグループ化し、各セグメントに 0〜1 のスコアを付け、各文は自分が属する全セグメントのスコアを継承するとされている。境界近くにある文は複数のスコアを統合して持つことになる。この説明には継承、統合、集計という 3 つの操作が示唆されているが、どれも詳細は公開されていないため、個々の文の寄与度を特定する方法はない。この計算については 3 つの具体的な説明が出回っており、いずれも足し算的な考え方に基づいている。それぞれに文書が裏付けとなっているが、どの文書もそこから作られた説明ほど詳しい内容にはなっていない。
この仕組みそのものと、そこから導かれる手作業での編集手順は別のページで扱っている。「ツールを使わずに AI 生成テキストを人間らしく書く方法」を参照。
"The report is binary at the sentence level"(レポートは文レベルで二値判定されます)
2026 年 8 月 18 日に取得した、ある校正会社の AI スコア低減ガイドから、そのまま引用する。
"There is no colour scale like the similarity report. The AI report is binary at the sentence level: each sentence is either flagged or not flagged. The overall percentage is simply the proportion of flagged text across the whole document."(類似性レポートのような色のグラデーションはありません。AI レポートは文レベルで二値判定されます。各文はフラグ付きかフラグなしのどちらかです。全体のパーセンテージは、文書全体でフラグ付きテキストの割合を示すだけです。)
目の前のレポートの説明としては前半は正しい。文はハイライトされるかされないかのどちらかで、表示にグラデーションはない。しかし、ハイライトの裏側にあるものを誤解している。Turnitin 自体の説明はこうだ。
"Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score."(これらのセグメント内の各対象文は、そのセグメントのスコアを継承します。セグメントは重複するため、一部の文は複数のスコアを持つ可能性があり、それらは単一のスコアに統合されます。)
つまり、各文が独自の判断を下されたわけではない。周辺のテキストを含むブロックから確率(場合によっては 2 つ)を継承しているだけなのだ。ハイライトは閾値を可視化したものであり、数値の算出元そのものではない。
その引用の最後の節には別の問題がある。「文書全体の中でフラグの付いたテキストの割合」という表現は、Turnitin がパーセンテージの基準としているものと一致しない。分析の対象は「標準的な文法構造で書かれた文のブロック」として定義される qualifying text のみで、リストや箇条書きは含まれない。Turnitin はこのことから「このパーセンテージは必ずしも提出物全体のパーセンテージではない」と結論づけている。ファイルの 3 分の 1 が表、箇条書き、参考文献リストで構成されている場合、分母は文書全体ではない。この点については「Turnitin AI 執筆レポートの読み方」で詳しく扱っている。
この説明に基づいた助言はどうか。ハイライトされた文を数えて割合を計算し、何文修正すればよいかを見積もるというものだ。しかし、公開されている説明の下では、この計算には参照先が存在しない。ハイライト数とパーセンテージは同じ量の 2 つの表現ではないからだ。
"The average of all segment scores"(すべてのセグメントスコアの平均)
ある人間化ツールベンダーのガイドからの引用。このガイドは Turnitin のヘルプセンターを情報源としている。2026 年 8 月 18 日取得、そのまま引用。
"The model calculates an overall prediction based on the average of all segment scores, producing the percentage displayed in the AI writing indicator."(モデルはすべてのセグメントスコアの平均に基づいて全体予測を計算し、AI 執筆インジケーターに表示されるパーセンテージを生成します。)
これは 1 つ目より近いが、違いは明確にしておける。公開されている正確な記述はこうだ。
"These sentence scores are further aggregated and used to compute the overall document AI writing score."(これらの文スコアはさらに集約され、文書全体の AI 執筆スコアの計算に使用されます。)
「文スコア」であって「セグメントスコア」ではない。セグメントスコアは中間値で、文が時として 2 つのセグメントにまたがって継承し、その後にプーリング処理が行われる。集計されるのはそのプーリングの結果だ。
両者が異なる数値になるかどうかは判断できない。Turnitin がプーリング関数も集計方法も公開していないためだ。しかし、演算が適用される範囲は異なっており、これは修正計画を立てる上で重要な半分を占める。セグメント平均の場合、各セグメントは含まれる文数に関わらず等しく扱われるが、各文はちょうど 1 つのセグメントにしか属さない。公開されている説明は、そのどちらとも一致しない。
"Rewrite the first and last sentence of every paragraph"(すべての段落の最初と最後の文を書き直す)
3 つ目の説明は仕組みを飛ばして指示に至る。「各段落の最初の文と最後の文を書き直せ。なぜならそれらが最もフラグされやすいからだ」。
これには実際の文書が裏付けとなっている。2023 年 5 月 24 日付けのリリースノートで「文書先頭と終端の検出改善」のもと、Turnitin はこう記した。
"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives."(リリース以来、文の冒頭や末尾の数文で誤検出の発生率が高いことが判明しました。これらの文は多くの場合、一般的な表現で書かれた序論や結論のコンテンツで構成されています。その結果、これらの誤検出を減らすために検出ロジックを変更しました。)
この記述からは 3 つの要点が読み取れる。最も頻繁に見過ごされる順に並べよう。
これは「文書」の先頭と終端を指しており、段落ではない。助言は構造レベルで 2 段階下方にずれている。
これは修正のお知らせだ。3 番目の文がその告知である。現在の検出器の挙動を説明したものとして 1 番目と 2 番目の文を引用するのは、バグレポートを仕様書として引用しているのに等しい。
さらに付け加えて「セグメント境界の検出精度も向上させた。これにより、稀に以前のバージョンと比較して境界が変化する可能性がある」とある。境界は移動する。どの文がどのセグメントに属すかはバージョンに依存する実装の詳細であり、計画の基盤にはならない。
不正行為の面談に臨むなら、このリリースノートを持ち込むのは避けよう。向こうも 3 番目の文は読んでいる。代わりに、より慎重で根拠がしっかりした伝え方がある。ベンダーは偽陽性に対応してモデルを改良したのだから、それは確定した証拠として扱うべき性質のものではない、と言えばよい。
夜をどう過ごすか、これらが変えること
- どの文を書き直すかというルールに従う前に、その元になった文書を確認すること。上記 3 つすべてに裏付けがある。どれを読んでも、文書が語っている内容はルールが示唆するよりも限定的であることが、5 分程度の読解でわかる。
- 実際にあるハイライトを基準に作業すること。レポートが特定の箇所をマークした場合、それらには証拠が付随している。一方、位置に関するルールの背後にある証拠は 2023 年のリリースノートに過ぎない。
- 変更する段落の数ではなく、再確認が必要な段落の数を数えること。手を加える段落はすべて、誤った引用、ずれた主張、移動した数値がないか再読が必要になる。論文の全段落に手をかける計画は、気づかないうちに論文サイズの校正作業を生み出している。
- 元のファイルを保管しておくこと。初期バージョンと中間ドラフトこそが証拠としての価値を持ち、パーセンテージがどう変化しようとそれは変わらない。詳しい手順は「バージョン履歴を証拠として活用する」を参照。
我々のツールと、それが提供できない数値
HumanPen は AI 執筆レポートを PDF として取り込み、マークされた箇所から作業を開始する。ここで関連するルールの 1 つは、段落を最小単位として扱う仕組みだ。選択範囲が段落の一部にまたがる場合、処理実行前に段落全体に拡大される。
このルールはスコアリングに関する主張ではない。ハイライトは文の途中から始まる可能性があり、ハイライト部分だけを正確に書き直すと、2 人が書いたような段落になる。前半は 1 つの文体で、後半は誰も触れていない前半で導入された専門用語に依存するからだ。スコアを動かすために必要な書き直しの単位を Turnitin は公開しておらず、我々も外部からそれを突き止める立場にいない。
提供できないのは交換レートだ。そしてそれは、他のどんなツールも同様だ。予想パーセンテージを提供するツールは、持っていない数値を提供していることになる。
よくある質問
文がハイライトされた場合、それを削除すればスコアへの寄与分が取り除かれるか。予測できない。ハイライトはその文が周囲のセグメントから継承したスコアを反映しており、テキストの削除はセグメント自体を変化させる。文書全体の数値はハイライトされた文の合計ではなく、統合された文スコアの集計結果である。
パラグラフ全体を書き直した場合、同じ量だけスコアは下がるか。パラグラフについても文についても、公表された数値は存在しない。公開されているのはセグメントが重複するという事実だけで、個々の箇所がどうなるかはその両側のテキストに依存する。
ハイライトとパーセンテージが一致しないのはなぜか。パーセンテージは qualifying prose のみを対象に計算されるためであり、Turnitin は複数の執筆スタイルが混在する文書では「パーセンテージとハイライトの間に不一致が生じる」と明言している。
各パラグラフの最初と最後の文は特にフラグされやすいのか。この話のきっかけとなった文書が言及していたのは文書の最初と最後の数文であり、かつ 2023 年の時点で、同時に検出ロジックの変更も発表されていた。これは現在の動作を説明するものではなく、防御として使えるものでもない。
自分で編集を試せるか。通常はできない。20% 未満の数値はアスタリスク表示となり数値もハイライトも表示されず、ほとんどの設定でこの指標は学生ではなく教員や管理者のみが閲覧できる。
---
続きを読む