Turnitin に研究方法論の章の全体がフラグ付けされた

スコアは文ごとに個別に判定されるわけではないからだ。Turnitin の公式説明によれば、提出物は重複するセグメントに分割され、各セグメントに確率が割り当てられ、条件を満たす文はその文が属するセグメントのスコアを継承する。2000 語にわたって同じ文体・同じ構文フレーム・同じ語彙で書かれた文章を相手にすれば、隣接セグメント間に意見が分かれる余地はほとんどない。その結果、ハイライトは点々ではなく帯状に現れる傾向がある。研究方法論の章はまさに「そう書くことを意図した」セクションであり、Turnitin 自身が偽陽性のクラスターとして挙げている特性を、このジャンルは規約上備える必要がある。だからといって数値が誤りだと言っているわけではない。ただ、1 つのセクションにわたる赤い壁は「40 の文それぞれについて下された 40 個の個別判決」ではなく、それをそう読んでしまうと、本来対処すべきではないものを直しに行く羽目になる。

人々が報告する現象は具体的で、しかも常に同じ形をしている。文献レビューはクリア。考察もクリア。ところが研究方法の章が開き、見出しの最初の文からハイライトが始まると、章が終わるまで止まらないのだ。これはモデルが疑わしい箇所を見つけ出したというより、「疑わしい章」を見つけ出したように見える。だからこそ、見る者にこれほど不安を与える。

Turnitin はスコアがどのように文に到達するかを公表している。その説明の概要ではなく、核心となる 2 文に目を通す価値がある。

"Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score."（これらのセグメント内にある条件を満たす文はそれぞれ、そのセグメントのスコアを継承する。セグメントは重複しているため、一部の文は複数のスコアを持ち、それらが統合されて単一のスコアになる）

つまり、分類されているのは「文」ではなく「テキストのウィンドウ」だ。文はその居場所――会社――によってスコアされる。そこから導かれるのは Turnitin が明言していること以上の解釈だ。連続する文がウィンドウを共有し、そのウィンドウが似ている場合、生成されるスコアが分かれる理由はほとんどなく、そこから派生するハイライトも連続して出力される。帯状の表示は「均一な範囲」を自然に描写したものであり、独立した発見の个数ではない。

この仕組みには実践的な意味がある。研究方法の章で最初にハイライトされた文が、必ずしも問題の始まりではない。なぜならセグメントは見出しをまたぎ、その前にある段落の最後部分を含んでいる可能性があるからだ。人々は最初のフラグ付き文をじっと見つめて「その文自体のどこが悪いのか」を突き止めようとするが、公表された仕組みのもとでは、その文自体には特に問題がない場合もあり得る。

さらに、人々が求めるような「計算」はこの場合存在しない。帯をその文数で割って「文ごとのコスト」を出すことはできず、文を 1 つ削除して「次に何が起きるか」を予測することもできない。この問題については 1 つのフラグ付き文を書き直すとスコアは下がるか で、最も広く流通している 3 つのバージョンを詳しく分解した。

ここでの正直な限界を認めよう。Turnitin はパイプラインの「構造」は公開しているが、スコアの統合関数（pooling function）、集計方法、セグメント長は公開していない。上記のすべては、公表された説明から「スコアの分布」について推論できることに過ぎず、誰にも数値を予測させることはできない。

次に確立すべきは「分母」だ。同じ情報を含む 2 つの研究方法の章でも、モデルに提示されるテキスト量は全く異なる可能性がある。Turnitin が分析するのは「qualifying text（条件を満たすテキスト）」のみである。

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."（この条件を満たすテキストには、標準的な文法構造で書かれた文章のみが含まれる。つまり、箇条書きや短い非文章構造、その他の非文章構造は分析対象外である）その直後の文がここで重要になる。"This percentage is not necessarily the percentage of the entire submission."（このパーセンテージは必ずしも提出物全体のパーセンテージではない）

ここで、自分の専門分野が研究方法のセクションをどのように書いているかを振り返ってほしい。実験系プロトコルは番号付きステップ・試薬表・機器リスト・設定ブロックとして構成される。一方、心理学や教育学の研究方法論の章は「参加者・材料・手順・分析」の各項目が完全な文章の連なりとして書かれる。分析観点から言えばこれらは 2 つの異なる提出物であり、後者こそが「べったり」返ってくる方だ。

ここの中ほどにある行に、逆説的な帰結がある。条件付きテキストから除外されることは「割引」ではない。番号付きステップや数値表は除去されるが、それらはもともと生成的な文章のように見えるはずのないものだった。残されるのは、あなたの文章の中で最も慣例的な部分だ。条件付きサンプルが狭まれば狭まるほど、その数値は「あなたの procedures 段落そのもの」についての記述になる。

一方で作用する除外事項が 1 つあり、これも知っておく価値がある。よくある誤報を 1 つ除去するからだ。同じ 2023 年のリリースノートによれば、参考文献内のハイライトはバグであり、AI Writing Report の処理時には参考文献が除外されるようになり、参考文献セクションがハイライトされている提出物は再処理のために再提出する必要があるとされている。参考文献リストが光っている古いレポートを見ているなら、まさにこれだ。

数値とページ上のハイライト量の間に生じる差は、以上のすべてから導かれる。Turnitin はこれを推論に任せるのではなく、直接的に明言している。Turnitin AI Writing Report の読み方 でその差を詳しく解説し、Turnitin は論文全体をチェックできるか では章レベルの提出物が存在する長さ制限の話を扱っている。

Turnitin は自社の誤検知に共通する傾向について説明を公表している。原文のまま引用しよう。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."（ときに偽陽性（人間が書いた文章を誤って AI 生成としてフラグ付けすること）には、構造的な多様性に欠けるコンテンツ、文字通り自らを繰り返すテキスト、新しいアイデアを発展させずに言い換えられたテキストが含まれる可能性がある）

その直後の文は、あなたに向けたものでは全くない。

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."（かかるテキストにおいて我々の指標がより多くの AI 執筆を示す場合、表示されたパーセンテージを参照する際にその点を考慮するよう推奨する）

このリストの 3 つのうち 2 つは、研究方法論セクションが「果たすべきこと」そのものを描写している。構造的な多様性は、報告用チェックリストが時間をかけて排除しようとするものだ。各測定値に同じフレーム、サブセクションに同じ順序、あらゆる機器に同じ構造――そうして初めて、同一に記述された 2 つの手順を比較できる。文字通りの繰り返しは、「2 つの条件が本当に同じ方法で処理された」ことを示す信号だ。これは論文の中で「同じ文章構造を 11 回書くこと」が正しいとされる唯一のセクションであり、同時にそれを元に戻すことが最もコストのかかるセクションでもある。そこで何を安全に言い換えられるかは別の問題で独自のルールがある。Methods と Results で言い換えられるもの でその問題を扱い、執筆スタイル自体を調整すべきかどうかというより大きな問いは AI フラグを避けるために執筆方法を変えるべきか で扱っている。

この状況でのパニックの多くは、機関のレポートではなく「自己チェック」から生じる。章を何かに貼り付けるか、ドラフトチェック課題に単独で提出すると、誰も見たくない数値で返ってくるのだ。

Turnitin は短い提出物が「度合い」だけでなく「性質」も異なって振る舞うと説明している。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."（数百語しかない短い文書では、重複する機会がない単一のセグメントで予測を行うため、予測はほぼ「すべてか無」になる）そしてその直後の文。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（つまり、AI 生成コンテンツとオリジナルコンテンツが混在するテキストが、その状況では完全に AI 生成としてフラグ付けされる可能性がある）

研究方法論の章を単独で提出した場合、まさにそのゾーンに入る候補であり、単語数が示唆する以上に入れ込みやすい。なぜなら番号付きステップや表がまず分母から除外されるからだ。さらにその下に下限もある。AI Writing Report を生成するには長文形式で少なくとも 300 語の文章が必要なので、短い研究方法論セクションを単独で提出すると、低いレポートではなく「レポートそのものが生成されない」場合がある。表示閾値の下には読むものがない。0% より大きく 20% 未満の結果は、数字もハイライトもないアスタリスクとして表示される。つまり「実際の改善」と「改善なし」は、あなたの standing からは同じに見えるのだ。

上記の仕組みを自分に有利な「発見」として扱いたくなる誘惑はある。しかしそれは違う。このページのすべては「その数値が何を測定しているか」の説明に過ぎない。誰があなたの章を書いたかについての証拠はどれでもない。これは両方向に作用する。研究方法セクションにわたる帯は何の証明でもなければ、帯が発生する理由の説明も同様だ。

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."（我々の AI 執筆検出モデルは常に正確とは限らない。人間が書いた文章、AI 生成、AI 言い換えテキストを誤って特定する可能性があるため、学生に対する不利益な措置の唯一の根拠として使用するべきではない）次の文に重みが乗る。"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."（学術的不正行為が発生したかどうかを判断するには、さらなる精査と人間の判断、そして組織が固有の学術方針を適用することが必要である）

• 帯は集計（tally）ではなく分布（distribution）だ。これはその範囲全体でモデルのスコアが一様であったことを示している。それぞれのスコアにどの程度の確信度があったかは教えてくれない。
• パーセンテージは条件付き文章に関するものなので、レイアウトの異なる 2 つの章間で比較はできない。章ごとのパーセンテージを足し合わせれば、何も指し示さない数値が出来上がる。
• レポートは、ベンダー自身が「テキストを誤って特定する可能性がある」と言うシステムによって生成される。これは出力を却下する理由ではなく、人間が確認すべき理由だ。
• これらは大半の設定であなたが確認できない。インジケーターとレポートは学生には表示されないが、講師はレポートを PDF としてダウンロードして共有できる。

この記事を持ち込んで会議で論拠にしてはならない。同じヘルプページをすでに読んだ相手に分類器を説明しても、それは「答え」ではなく「準備」のように見えるだけだ。会話は「あなたの仕事」についてではなく「モデル」について議論する土俵に移り、そこであなたは不利になる。実際に重みを持つのは来歴（provenance）だ。ドラフト、プロトコル、分析ファイル、日付。フラグ付き、しかし自分で書いた ではどんな証拠を集める価値があるかを扱い、AI フラグ後の会話 ではミーティングの手続き的側面を、証拠としての版歴 では事前に考えていなかった場合の記録のありかを扱っている。

時には決定がすでに下されていることがある。指導教員によって、あるいはあなた自身によって。そして問いは「何も壊さずにどう行うか」になる。研究方法論は論文の中で安易に言い換えるのに最悪なセクションだ。順序、タイミング、投与量、機器、設定、決定規則、分析対象集団、除外基準――これらこそがコンテンツであり、それらの 1 つを静かに落とす流暢な文は「真の欠陥」である。堅い文はそうではなかったのに。

人々が過小評価しているコストは書き換えではない。再検証だ。触れる段落はそれぞれ、プロトコル、分析コード、表と照合して読む必要がある。章全体に触れる計画は、章の大きさの校正作業を生み出している。だからこそ変更の「範囲」が、それを作るために使われる「方法」よりも重要なのだ。

それこそが HumanPen の中心にある設計思想だ。その提出物に対応する Turnitin または iThenticate の AI Writing Report をインポートすれば、マークされた箇所が範囲になる。触れられるのはそのテキストのみで、他はすべて固定される。「段落はそのエンジンが書き換える最小単位であり、選択がその一部のみをカバーする場合、完全な段落に拡張され、確認のためにそのように表示される」のが、サイトが掲げる段落ルールの説明だ。数式、図、表構造はテキストリライトの対象外で、これは文書の他のどのセクションよりもこのセクションで重要になる。課金はアップロードしたファイルではなく、実際にリライトされた単語数を数える。条件を満たす結果は、AI をさらに無料で下げ続けることができる。

ただし、これらはどれ一つとして「予測」ではない。Turnitin のモデルは変化し、表示ルールも以前に変化しており、あなたの次のレポートが何と言うかを教える方法はいずれにもない。上記の主張は「どの単語が触れられ、どの単語が課金されるか」についてのみで、これら 2 つこそが実際に制御可能なものだ。

私が自分で一字一句書いたのに、研究方法論の章全体がハイライトされるのはなぜですか。分類単位が「文」ではなく「重なるセグメント」であり、文がそれらを含むセグメントのスコアを継承して統合されるためです。1 つの筆致で書かれた長い範囲では、隣接セグメントに区別する要素がほとんどなく、出力は連続する傾向があります。これは帯がどのように形成されるかの説明であり、あなたの特定の帯が偽陽性であるという声明ではありません。

ハイライトが一塊のブロックになっているということは、その中のすべての文が AI と判断されたということですか。いいえ。公表された説明がその理由です。文はそれが属するセグメント（場合によっては複数）から継承したスコアを持ち、それらが統合されます。帯を「個別の判決リスト」として読んでしまうと、文ごとの編集計画につながるという誤りです。

私の研究方法論セクションは主に番号付きステップとパラメータ表です。なぜパーセンテージはまだ高いのですか。それらは分析に全く含まれていない可能性があります。Turnitin は「標準的な文法構造の文章で書かれた文章」である条件付きテキスト（qualifying text）を分析し、パーセンテージは必ずしも提出物全体のパーセンテージではないと明言しています。ステップと表を除外すると、慣例的な段落が「数値が記述するサンプル」として残されます。

研究方法論セクションに変化を加えて、重複を減らした方がよいですか。それは検出器についての質問より先に、あなたの分野の報告基準についての質問です。研究方法論セクションにおける重複は通常、何らかの役割を果たしています。こうした特性を持つテキストについてのベンダー自身のアドバイスは、それを「書いた人」ではなくレポートを「読む人」に向けられています。

章をチェッカーに単独でかけたら非常に高い数値が出ました。これは指導教員が見る数値ですか。必ずしもそうではありません。それは「別の提出物」だからです。Turnitin によれば、数百語の文書での予測はほぼ「すべてか無」になります。重複のない単一のセグメントしかないためで、その状況で混在したコンテンツが完全に AI 生成としてフラグされる可能性があります。また、章はファイル全体とは別の分母でもあります。

ベンダーの偽陽性リストを防衛として引用できますか。それはツールのエラーモードについての公表された声明であり、パーセンテージを「読む人」に向けられているので、その存在を知ることは公平です。しかしそれはあなたの文書についての「証拠」ではなく、不品行の会話にメカニズムを持ち込むと、あなたに不利に働く傾向があります。ドラフトとプロトコルを持ってください。