システマティックレビューと AI 検出：なぜ方法論のセクションがフラグされるのか

システマティックレビューでは、方法論のセクションを標準化された形式で書く必要があります。検索したデータベース、検索式、採用・除外基準、スクリーニングのプロセスを記述します。PRISMA チェックリストに特定の報告要素が求められているため、表現が繰り返されるのは避けられません。Turnitin のドキュメントでは、偽陽性が出やすい文章の類型について、次のように説明されています。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（「偽陽性（人間が書いた文章を誤って AI 生成と判断すること）には、構造の変化に乏しい内容、文字通り繰り返しのある文章、新しいアイデアを発展させずに言い換えられた文章が含まれる場合があります」）

続く文にはこうあります。「そのような文章で AI 作成の表示が比較的高く出た場合は、示されたパーセンテージを解釈する際に、その点を考慮に入れることをお勧めします」。

方法論のセクションはまさにこの 3 つの基準に当てはまります。だから「Turnitin が方法論セクション全体をフラグした」という不満がこれほど多いのです。システマティックレビューはどれも同じ手順を報告するため、構造の変化は小さくなります。表現も繰り返しになります（「我々は検索した」「我々は特定した」「我々はスクリーニングした」など）。プロトコルの説明から言い換えられており、新しいアイデアを発展させていません。ドキュメントは、これらのパターンに一致する文章については、パーセンテージを考慮に入れるよう求めており、決定的な証拠として受け取るようは言っていません。

検出パイプラインは、対象となる文章をセグメントに分割し、それぞれにスコアを付けます。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（「論文が Turnitin に提出されると、提出文から文が抽出され、予測分析のために重複するセクションにセグメント化されます。各セグメントは AI 検出モデルによって分類され、0 から 1 の値が付けられ、その文章が人間によるものか AI 生成によるものの確率を示します。これらのセグメント内の対象となる各文は、セグメントのスコアを継承します。セグメントは重複するため、一部の文は複数のスコアを持つ場合があり、それらは 1 つのスコアにプールされます。これらの文のスコアはさらに集約され、文書全体の AI 作成スコアの算出に使用されます」）

システマティックレビューでは、方法論セクションの反復パターンにより、複数の重複セグメントで高いセグメントスコアが出る可能性があります。それらのスコアが集約されて、文書レベルの高いパーセンテージになります。800 語の方法論セクションが、5000 語のレビュー全体のスコアを引き上げることもあるのです。書き直しが必要になった場合、言い換えてよい箇所とそのまま残すべき箇所 に、動かせない一線が示されています。

検出器は burstiness や perplexity といった指標を評価していません。この主張については「Turnitin は perplexity と burstiness を使って AI を検出するか」で検討しています。

"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions."（「我々のモデルは、『burstiness』や『perplexity』、あるいは公の議論で時々言及されるその他の個別指標などの特定のシグナルを評価するように明示的にプログラムされているわけではありません」）

続く文にはこうあります。「代わりに、トレーニングデータから統計的パターンを学習します」。

同じ情報源は、モデルが実際に何をするのかを次のように説明しています。

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers."（「我々の分類器は、単語の確率におけるこれらの差異を検出するようにトレーニングされており、人間による執筆に特有の単語確率の系列を識別することに長けています」）

検出器は単語の確率の系列を評価します。セグメント内の単語が、人間による執筆から学習したパターンに一致するか、AI 生成テキストから学習したパターンに一致するかを判定します。方法論のセクションでは、単語の系列は報告テンプレートによって決まります。「我々は以下のデータベースを検索した」「以下の条件で研究を採用した」といった表現は何千もの論文に共通しています。これらの系列は、個々の著者の選択というより、トレーニングデータの統計パターンと強く一致する可能性があります。その結果、AI 関与がなくても高い確率スコアが出ることがあるのです。

検出器は 対象となる文章 のみを処理します。

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."（「この対象となる文章は散文の文のみを含みます。つまり、我々が分析するのは標準的な文法構造で書かれた文章のブロックであり、リスト、箇条書き（短い非文構造）、その他の非文構造などの他の執筆形式は含まれません」）

続く文にはこうあります。「このパーセンテージは、必ずしも提出文書全体のパーセンテージではありません」。

システマティックレビューには表（PRISMA フロー図、抽出表）や構造化されたリスト（採用・除外基準）が含まれます。これらは対象となる散文ではありません。パーセンテージが覆蓋するのは散文の文のみです。結果セクションがほとんど表で構成されている場合、パーセンテージは方法論のような散文の多いセクションに偏ります。ドキュメントは次の点にも言及しています。

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)."（「このモデルは、非散文形式またはコード形式の AI 生成テキストを信頼ably に検出することはできず、また箇条書き（短い非文構造）などの短形式・非定型の執筆も検出しません」）

続く文にはこうあります。「つまり、複数の異なる執筆形式を含む文書では、パーセンテージとハイライトの間に不一致が生じる場合があります」。

システマティックレビューは複数形式の文書です。パーセンテージとハイライトの間に不一致があるのは、想定された動作です。

方法論のセクションは、短いサブセクションに分かれていることがあります。検索戦略のサブセクションは 200 語程度の場合もあります。ドキュメントは次のように警告しています。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（「数百語しかない短い文書では、予測は主に『オールオアナッシング』になります。重複の機会がない単一のセグメントで予測を行うためです」）

続く文にはこうあります。「つまり、AI 生成コンテンツとオリジナルコンテンツが混在している文章でも、完全に AI 生成としてフラグされる可能性があります」。

短いサブセクションでは、検出器はスコアを調整する重複なしに単一のセグメントで予測を行う可能性があります。テンプレートに沿っているだけで人間が書いたサブセクションでも、オールオアナッシングの高いスコアを受けることがあるのです。

2023 年、Turnitin は文書の境界における偽陽性にも対処しました。

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives."（「リリース以来、文書の冒頭数文または末尾数文で偽陽性検出の発生率が高いことが観察されています。これらの文は、一般的な方法で書かれた序論または結論のコンテンツであることが多いからです。その結果、これらの偽陽性を減らすために検出ロジックを変更しました」）

続く文にはこうあります。「また、セグメント境界の検出をより正確にする取り組みも行っており、まれに以前のバージョンと比較して境界が変化する場合があります」。

これは 2023 年の改善です。システマティックレビューの序論と結論はテンプレートに沿います（背景、ギャップ、目的、発見の要約）。このロジックの変更はそのようなパターンに対処したものです。

Turnitin のドキュメントは、限界について明確に述べています。

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."（「我々の AI 作成検出モデルは常に正確とは限りません（人間が書いた文章、AI 生成、AI による言い換えを誤って判定する可能性があります）。そのため、学生に対する不利益な処分の唯一の根拠として使用するべきではありません」）

続く文にはこうあります。「学術的不正が行われたかどうかを判断するには、さらなる精査と人間の判断が必要であり、組織固有の学術方針の適用と合わせて検討する必要があります」。

方法論セクションで AI スコアが高いシステマティックレビューは、不正の証拠ではありません。方法論セクションは偽陽性パターンに一致します。検出器は単語確率分類器です。スコアには人間の判断と機関の方針が必要です。AI パーセンテージが高い場合に指導者が取るよう指示されている対応 が、評価者の指針となっています。

まとめると次のようになります。

• 方法論のセクションは偽陽性パターンに一致します。構造の変化が乏しく、表現が反復され、新しいアイデアなしに言い換えられた文章です。
• 検出器は burstiness や perplexity の評価器ではなく、単語確率分類器です。
• 分析されるのは対象となる散文のみです。表、リスト、箇条書きは除外されます。
• 短い方法論のサブセクションは、オールオアナッシングのスコア問題に直面します。
• 2023 年、Turnitin は文書境界での偽陽性を減らすために検出ロジックを改善しました。
• スコアを不利益な処分の唯一の根拠として使用するべきではありません。人間の判断が必要です。

システマティックレビューで Turnitin の AI レポートを受け取り、フラグの付いた箇所に対処したい場合は、レポートをインポート して作業しましょう。対象となる箇所は無料で再実行できます。