英語の論文で AI 検知率が高すぎる?まずはレポートを読もう

Turnitin が英語の論文の AI 率が高いと出しても、最初の一手は下げようとすることじゃない。その数字が実のところ何を指しているのか、どの表示ルールでその数字が出たのか、そして自分の言葉の選び方がモデルの確率判定のどちら側に落ちたのか――それらを確認することだ。解決策は「perplexity」という名前のダイヤルを回すことではない。自分の単語の確率を、人間らしいパターンの方へ戻していくことだ。

HumanPen チーム

· 13 分

結論から言うと

*Turnitin の AI 判定レポートでは、1%から 19%の範囲では数値は一切表示されない。代わりにアスタリスク()が表示され、ハイライトも出ない。正確なパーセンテージと、実際に確認できるハイライト付きの箇所が表示されるのは 20%以上になってからだ。だから「AI 率が高すぎる」と言うとき、最初にやるべきことは下げようとすることじゃない。今見ているのが数値なのかアスタリスクなのかを確認することだ。なぜなら、数値があって初めて具体的な対策が打てるからだ。**

次のステップは、なぜ高くなっているのかを問うことだ。Turnitin のモデルは文章を重複するセグメントに切り分け、それぞれに 0 から 1 の確率を付け、それらのスコアをまとめて文書全体のパーセンテージに集約する。自分の言葉の選び方がモデルの確率判定で「AI 生成側」に落ちれば、スコアは上がる。中国語を母語とする人が英語で書くとき、確率を AI 側に押しやる統計的傾向が 3 つある。以下でそれぞれ詳しく見ていこう。

3 つ目のステップは修正だ。目指すべきは「perplexity」という指標を下げることじゃない。なぜなら Turnitin はそのような指標を明示的に計算していないからだ。本当にやるべきことは、自分の単語の確率を人間らしいパターンに戻すことだ。自分が実際に使う言葉を使え。普段自分なら書かない文章構造を使え。ファイル全体を一気に書き直すのではなく、フラグされた箇所を 1 つずつ修正していけ。

「高すぎる」が本当に意味するもの

Turnitin の AI 判定レポートには、低スコアに対する特別な表示ルールがある。検出機能の FAQ にはこう書かれている:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed."(レポートは文レベルで二値判定されます)

つまり、手元にある「AI 率」がパーセント記号付きの数字なら、それは最低でも 20 だ。アスタリスクが表示されているなら、どこかが 1 から 19 の間にあるのだが、レポートはそれがどこか教えてくれない。20 未満で表示される正確な数値はゼロだけだ。

この区別は細かいようだが、次に何ができるかを決定する。アスタリスクならハイライトされた箇所がなく、何がフラグされたか特定できず、修正のしようがない。20 以上の数字ならハイライトが付いており、それがフラグ付きのテキストを特定して変更する唯一の手段だ。だから「AI 率が高すぎる、どうすればいい」という問いに実行可能な答えがあるのは、レポートが 20%以上を示し、ハイライトが見えている場合だけだ。この点については Turnitin の AI レポートの読み方 で詳しく解説している。

まず確認すべきことがもう 1 つある。Turnitin によると「インストラクターと管理者のみがインジケータを閲覧可能」であり、「AI 検出インジケータとレポートは学生には表示されない。ただし PDF ダウンロード機能により、インストラクターは AI レポートをダウンロードして学生と共有可能」とされている。手元にレポートがあるということは、誰かがそれをダウンロードして渡してくれたということだ。スクリーンショットではなく完全な PDF かを確認しよう。

なぜ高くなるのか:あなたの言葉の確率が AI 側にあるからだ

Turnitin は FAQ で計算の流れをこう説明している:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."(類似性レポートのような色のグラデーションはありません。AI レポートは文レベルで二値判定されます。各文はフラグ付きかフラグなしのどちらかです。全体のパーセンテージは、文書全体でフラグ付きテキストの割合を示すだけです。)

これは確率の連鎖だ。各文がモデルから 0 から 1 のスコアを受け取り、1 に近いほど AI っぽい。それらのスコアが集計されて、あなたが目にするパーセンテージになる。

つまり「AI 率が高い」という機械的な意味は明確だ:あなたの文章はモデルの確率空間において AI 生成側に位置する。AI を使ったからではなく、単語の選び方や文のパターンの統計的特徴が、たまたま AI 生成テキストの平均パターンに近づいているからだ。

ここで、よくある誤解を解いておく必要がある。多くの解説が Turnitin の仕組みを「perplexity と burstiness を測定する」と説明し、それら 2 つの値を下げる方法を教えている。Turnitin は FAQ でこれを明確に否定している:

"Our model is not explicitly programmed to evaluate specific signals such as \"burstiness,\" \"perplexity,\" or other individual metrics sometimes referenced in public discussions."(これらのセグメント内の各対象文は、そのセグメントのスコアを継承します。セグメントは重複するため、一部の文は複数のスコアを持つ可能性があり、それらは単一のスコアに統合されます。)

その直後の文:

"Instead, it learns statistical patterns from our training data."(すべてのセグメントスコアの平均)

しかしこれは Turnitin が単語の確率を無視していることを意味しない。同じ FAQ ページの別の箇所でこう言っている:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."(モデルはすべてのセグメントスコアの平均に基づいて全体予測を計算し、AI 執筆インジケーターに表示されるパーセンテージを生成します。)

この 2 つの文言は一緒に読む必要がある。Turnitin は perplexity という名前のスコアを明示的に計算しないが、その分類器は単語レベルの確率で判断を下している。perplexity 自体が単語確率の測定値だからだ。正しい理解はこうだ:perplexity というダイヤルは存在しない。それは明示的な入力としてないからだ。変えられるのはあなた自身の単語確率分布であり、モデルがそれを人間執筆側に戻すようにすることだ。

中国語を母語とする人が英語を書くと、なぜより多くフラグされるのか

このセクションでは 3 つの統計的傾向について扱う。それぞれが単語確率を AI 側に押しやる。これは中国語話者の欠陥ではない。第二言語で書きながら、同時に文法、語彙、論證を処理しようとする時に現れるパターンだ。

第一に、「安全」な高頻出語に頼る傾向。 第二言語で英語を書く時、安定した意味と誤用リスクの低い言葉を選ぶのが自然な本能だ。それらが高頻出語だ。同時に AI 生成テキストも最も頻繁に頼る言葉だ。言語モデルは確率で選択し、高頻出語は確率が高いからだ。語彙分布が高頻出語に集中するほど、平均的な AI 生成分布に近づく。すでに引用した「分類器は単語確率の違いを検出するよう訓練され、人間執筆特有の単語確率配列に長けている」というのはまさにこのことだ:分類器は単語確率の配列を読み、人間には固有の特徴的な配列がある。高頻出語への集中はその一つではない。

第二に、構造の多様性が低いこと。 Turnitin 自体が偽陽性を生みやすい特徴を挙げている:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(これらの文スコアはさらに集約され、文書全体の AI 執筆スコアの計算に使用されます。)

次の文:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(すべての段落の最初と最後の文を書き直す)

第二言語で英語を書く時、文章構造に割ける認知的余裕は狭い。結果として構造的一貫性が生まれる:主語 - 動詞 - 目的語、主語 - 動詞 - 目的語、主語 - 動詞 - 目的語の繰り返しだ。構造的多様性の低さはまさに Turnitin が挙げる偽陽性の第一項目だ。教育者向けの公式助言は、そうした文章の高スコアを割り引くことだ。この 2 つの文はセットで読む必要がある。

第三に、機械翻訳や Grammarly の使用可能性。 機械翻訳出力は言語モデルによって生成されるため、単語確率分布は自然と AI 側になる。Grammarly の状況はより複雑で、Turnitin の FAQ には明確な記述がある:スペル、文法、句読点の変更は「多くの場合」フラグされないが、Draft 生成、言い換え、要約などの生成機能は例外ではない。公式にはそれらの機能で生成された内容は「AI 生成としてフラグされる可能性が高い」とされている。つまり Grammarly の文章書き換え機能を使った場合、それらの箇所がフラグされるのは予想通りだ。

AI 検出器が非ネイティブ英語話者に不利な理由 はこの問題群をより広い枠組みで位置づけている。

どう下げるか:単語確率を変える、perplexity ではない

まず、やってはいけないことから。

perplexity を下げようとしてはいけない。 Turnitin のモデルは perplexity を個別指標として明示的に評価するようプログラムされていないことはすでに引用した。「perplexity を下げろ」という助言は誤った前提から始まっている。Turnitin が明示的に計算しない値を下げることはできない。多くの人間化ツールの宣伝文句はこの誤った前提に立脚している。

1 文だけで終わらせてはいけない。 Turnitin は重複する複数文セグメントをスコアリングするため、1 文だけに限定された変更はその周囲の段落と競合する。フラグされた箇所は、その分布全体の形状――何を最初に置き、どこで転じ、止まるまでにどの程度走るか――によってフラグされる。作業単位は文ではなく箇所だ。

文書全体を書き換えてはいけない。 短文書には記録された極端な振る舞いがある:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."(リリース以来、文の冒頭や末尾の数文で誤検出の発生率が高いことが判明しました。これらの文は多くの場合、一般的な表現で書かれた序論や結論のコンテンツで構成されています。その結果、これらの誤検出を減らすために検出ロジックを変更しました。)

次の文:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."(モデルを継続的に改良して新しい LLM をより適切に検出できるようにするにつれ、検出機能も変化し、AI パーセンテージに影響を与える可能性があります。ただし、提出済みの文書について、AI パーセンテージが変化するのは、再度提出して処理された場合のみです。)

つまり半分だけ書き換えた短文書は特に危険だ。半分を書き換え、残り半分が AI と判定され、全体が高スコアで返ってくる。

では、何をすべきか。

まずレポートを入手せよ。 すでに引用した通り、学生はインジケータを見られないが、教員は PDF をダウンロードして共有可能だ。その PDF を求める権利がある。入手したらハイライトされた箇所を見つけよ。20%以上のレポートにのみハイライトがある。どの箇所がフラグされているかを知ることが、それらを修正する前提条件だ。

フラグされた箇所を 1 つずつ修正せよ。 目指すのは文の形状を変えることだ。デフォルトの主語 - 動詞 - 目的語パターンを、普段書かない構造に置き換えよ:従属節、倒置、挿入句、文を跨ぐ参照など。これらの構造は単語確率列を変え、それがモデルの読み取るものだ。文のスコアは隣接する文の影響も受ける。セグメントが重複するため、1 箇所を修正すると周囲の文のスコアがシフトする。

自分が実際に使いたい言葉を使え。 安全な高頻出語彙への引力に逆らえ。それがあまり一般的でなくても、本当に使いたい言葉を使え。人間らしい単語確率配列の特徴は、頻度表の上位から外れた選択に現れるものだ。

対象テキストの境界を把握せよ。 Turnitin が分析するのは標準的な文法的文のみだ:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(このリリースは、以前に生成された AI 執筆レポートをさかのぼって更新しません。このアップデートによって生成された AI 執筆スコアを表示するには、既存の提出物を再提出する必要があります。)

次の文:

"This percentage is not necessarily the percentage of the entire submission."(このパーセンテージは、提出物全体の割合を必ずしも示すものではありません。)

つまり表示されている数値はファイル全体ではなく対象テキストに対する割合だ。修正する際は対象テキストに狙いを定めよ。箇条書きを編集してもその分子は動かない。

設計上のトレードオフ:モデルは見逃しを誤警報より好む

もう 1 つ。これは自分のスコアの読み方に影響する。Turnitin は設計上のトレードオフを FAQ で明らかにしている:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."(偽陽性を1% という低い比率に保つため、文書内の AI 生成テキストの一部を見逃す可能性があります。私たちは人間の文章を誤って AI 生成として強調表示したくないので、この点は問題ないと考えています。例えば、文書の 50% が AI ツールによって書かれた可能性があると特定された場合、実際には最大 65% が AI 生成である可能性があります。)

方向性は明確だ:モデルは人間のテキストを誤って Flag するより AI テキストを見逃すことを好む。つまりレポートには過少報告の傾向が組み込まれている。高スコアを見ている場合、それは積極的に Flag しているのではなく、控えめな判断を下している。スコアが正しいと証明するものではないが、上限として扱うべきではない。

実際に「構造を変える」とはどういうことか

「構造を変える」は抽象的に聞こえる。具体例で示そう。

  • 原文:「The results show that the method is effective.」
  • 書き換え後:「What the results show is not that the method works in general, but that it works under the specific condition we tested.」文が単純な主語 + 動詞 + 目的語から、転換のある強調構文へと変化し、単語の確率配列も異なる。モデルは別の分布を認識する。

構造を変えることは複雑な文を書くことではない。普段使わない構文を使うことだ。なぜなら、あなたが普段使わない構文こそが、人間らしい確率の特徴が現れる場所だからだ。

レポートとの 5 分間

  1. スクリーンショットではなく PDF を確認せよ。 スクリーンショットには日付もハイライト位置もなく、どのレポートか特定できない。
  2. 数値がパーセンテージかアスタリスクかを確認せよ。 パーセンテージなら 20%以上でハイライトがある。アスタリスクなら 1〜19%でハイライトはなく、対象箇所を特定できない。
  3. ハイライトされた特定の箇所を見つけよ。 そこを修正する対象だ。他は触るな。フラグされていないテキストを変えるのは無駄だ。
  4. 各フラグ箇所を読み、どの傾向が原因かを診断せよ。 文構造が均一か?高頻出語彙か?Grammarly による書き換えか?原因が違えば対策も違う。
  5. 文構造を再構築せよ。 フラグされた文を普段使わない構造で書き直せ。
  6. 修正後に再確認せよ。 検出器は変化し、Turnitin もモデルが更新されると言っている。確実な結果は約束できない。できるのは修正後に再度レポートを実行し、ハイライトが減ったか確認することだ。異なる AI 検出器が一致しない理由 は、なぜ複数の検出器の結果を相互検証できないかを説明している。

よくある質問

高い AI 率は AI 使用を意味するか? いいえ。Turnitin のモデルは単語の確率分布を読み取るだけで、使用ログではない。語彙が高頻度だったり、文構造が均一だったり、機械翻訳を使った場合でも、AI を使っていなくてもフラグされる。Turnitin 自体が偽陽性の傾向がある特徴を挙げ、教育者に対してそうした文章の高スコアを割り引くよう勧めている。

自分の AI 率を確認できるか? Turnitin のインジケータではできない。公式にはインジケータとレポートは学生に表示されず、教員が PDF としてダウンロードして共有できるとされている。目にするレポートはすべて、誰かが共有することを選んだものだ。

どの箇所を先に修正すべきか? レポートが実際にマークした箇所だ。Turnitin は箇所レベルで報告するため、マークされた箇所だけが根拠になる。マークされていない箇所を修正しても、レポートが反応しているものは何も変わらない。

Grammarly を使うとフラグされるか? スペル、文法、句読点の修正は通常フラグされない。しかし Grammarly の生成機能(草案生成、言い換え、要約など)は AI 生成としてフラグされる可能性が高い。この 2 つを区別せよ。

短い論文はフラグされやすいか? 数百語の文書は予測がほぼ全か無かになり、混在した内容でも完全に AI と判定され得る。短文書の部分的な書き換えには特に注意せよ。

人間化ツールでスコアは下がるか? この記事は効能を主張しない。Turnitin の設計は誤警報より見逃しを好み、モデルは更新され、将来の検出結果について約束できることは何もない。言えるのは、レポートを持ちながら修正すればどの箇所が動いたか分かり、盲目的に修正しても分からないということだ。

続きを読む