工学系の実験レポートとAI検出:実際に判定対象になるのはどこか

Turnitinが測定しているのは、同社が対象テキストと呼ぶ、長文形式の文章の中にある散文の文です。器具のリストはそれに当たりません。番号付きの手順も違います。数値と単位が並ぶ結果の表も違います。これらが外れると、実験レポートに残るのは通常、理論の段落、科目が連続した散文での記述を求めている場合の手順、そして考察です。したがって実験レポートのパーセンテージは、ほとんどが考察についての記述です。しかもそこは点数に直結する部分でもあります。

これは、多くの人が最初にやることに、単刀直入な影響を及ぼします。多くの人は、手順が「機械的に聞こえる」からといって、まずその書き直しに向かいます。しかし科目が手順をどう指定しているかによっては、その文章はそもそも測定対象に入っていない可能性があります。しかもそれは、実験室で自分がやったことの記録です。もっと良い作業の順序があります。

以下に述べる内容は、数値を予測するものではありません。Turnitinが公開しているのは判定の仕組みの形であって、その閾値ではありません。

この定義はTurnitinのレポートガイド「Using the AI Writing Report」（AIライティング判定レポートの使い方）にあり、除外項目の前に置かれた文こそ、多くの人が読み飛ばしている部分です:

「Qualifying text (prose sentences contained in long-form writing format) means individual sentences contained in paragraphs that make up a longer piece of written work, such as an essay, a dissertation, or an article, etc. The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.」（対象テキスト、つまり長文形式の文章に含まれる散文の文とは、課題論文、学位論文、記事など、より長い執筆作品を構成する段落の中にある個々の文を指します。モデルは、詩、脚本、コードといった非散文の形式でAI生成されたテキストを確実に検出するものではなく、箇条書き、表、注釈付き参考文献目録のような短い形式・非定型の文章も検出しません。）

ここには実験レポートに関係する点が二つあります。一つは、単位がページ上の行ではなく段落の中にある文だということです。もう一つは、「a longer piece of written work」（より長い執筆作品）の具体例として挙げられている三つが、課題論文、学位論文、記事だということです。実験レポートはその三つのどれでもなく、Turnitinはそれが線のどちら側に来るかを述べていません。なぜなら実験レポートは一種類の文章ではないからです。五つの種類があります。

これを合計すると、ベンダー自身による計算の説明が違って見えてきます:

「This percentage is not necessarily the percentage of the entire submission. If text within the submission is not considered long-form prose text, it will not be included.」（このパーセンテージは、提出物全体に対する割合とは限りません。提出物の中のテキストが長文の散文と見なされない場合、それは含まれません。）

奇妙なのは手順の行です。というのも、それはあなたの実験の性質ではないからです。同じ日の午後に同じ装置を使い、同じ手順を書いた二人の学生が、対象テキストの量が異なる二つの文書を提出することがあります。違いを生むのは、一方の科目のテンプレートが番号付きの手順を求め、もう一方が過去形の連続した記述を求めているというだけのことです。パーセンテージとページ上のハイライト量の食い違いは、まさにここから生まれます。TurnitinのAIライティング判定レポートの読み方で詳しく解説しています。除外リストの一般的な説明はTurnitinのAI判定が対象外とする内容にあります。

STEM分野の文章についてのポリシーページを探しに行く人がいます。私たちも探し、そこにあったものを書き留めました。

2026年8月27日、私たちはこのレポートを説明するTurnitinの三つのページ、すなわちAI Writing Reportガイド、AIライティング検出機能のFAQ、ファイル要件のページの表示テキストを読みました。その三つを検索した結果は次の通りです:

二つの感度確認はいずれもゼロ以外の値を返しました。検索が空の箱ではなく実際のテキストに当たったと分かるのは、これによってです。`subject area`の3件は読む価値があります。学問分野が登場するのはそこだけであり、しかもそれは学習データに誰が含まれるかについての記述だからです。FAQには、モデルはさまざまな地域と分野のデータで学習されており、バイアスを減らすために「anthropology, geology, sociology, and others」（人類学、地質学、社会学など）のような、より一般的でない分野も含めているとあります。これは学習データについての説明です。これらのページのどこにも、特定の分野がどう採点されるかについてのルールはありません。

つまり、公開されている分類ルールは散文か非散文かという一点だけです。それを実験レポートの五つの見出しに当てはめる作業は、あなた自身が行うものです。前のセクションの表は、公開されたルールについての私たちの解釈であり、Turnitinが実験レポートについて確認したものではありません。

もしあなたの手順のセクションが対象テキストに含まれ、全体がAI判定として返ってきたなら、FAQにはモデルのどんな説明よりも役に立つ段落があります:

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（時として、誤検知、つまり人が書いたテキストをAI生成と誤って判定すること、には、構造的な変化に乏しい文章、文字通り同じことを繰り返す文章、あるいは新しい考えを発展させずに言い換えられた文章が含まれることがあります。）

その後に続く部分こそ、実験の指導員との会話に持ち込む価値のある半分です:

「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（この種のテキストで、私たちの指標がより高い量のAIライティングを示している場合、表示されたパーセンテージを見る際にはその点を考慮に入れることをお勧めします。）

そのリストの三つの項目のうち二つは、手順が本来果たすべきことを説明しています。すべての試行で同じ文の枠組みを繰り返すのは、四回の実行を同一に扱ったことを示す方法です。構造的な変化が少ないのは、テンプレートの目的そのものです。その段落については一つ注意があります。それは誤検知が「can include」（含みうる）性質のリストであり、それぞれに頻度は示されていません。Turnitinは、判定されたテキストがどの程度の頻度でそれらの性質を持つかを述べていません。私たちも述べません。

手順の文体を変える前に、科目のハンドブックを開いて、実際に何が求められているかを読んでください。中には、三人称と過去形を明言しているものもあります。もしあなたの科目がそうなら、より生き生きとした文体への書き直しは、自分で選んだ減点です。しかも、誰も約束できないスコアへの効果と引き換えに、です。

この分野では、公開されている二つの限界が衝突します。ファイル要件には、レポートがそもそも生成される前に、提出物に「at least 300 words of prose text in a long-form writing format」（長文形式の散文テキストが最低300語）が必要だとあります。そしてFAQには、短い提出物が同じ扱いの粗い版を受けるわけではないとあります:

「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（数百語しかない短い文書では、重ね合わせの機会がないまま単一のセグメントに対して予測を行うため、予測はほぼ 'all or nothing' になります。つまり、AI生成の内容とオリジナルの内容が混ざっているテキストの一部が、完全にAI生成として判定される可能性があります。）

合計1,500語の実験レポートは、器具リスト、結果の表、計算例、参考文献リストが語数から外れると、その領域に入る候補になります。心配なときに人がやるように、レポートを考察だけに絞ってセルフチェックにかけると、1,500語ではなく400語を測定している可能性があります。短い文書とTurnitinのall-or-nothing問題では、この挙動を単独で扱っています。

その下にはもう一つ、隠れた問題があります。0%より上、20%より下では、アスタリスクが数値の代わりに表示され、ハイライトは帰属付けられません。したがって学生の立場からは、本当の改善と改善なしの区別がつきません（TurnitinのAIスコアにあるアスタリスク(*%)は何を意味するか）。

課題論文には余裕があります。言い換えられる導入、削れる道しるべの段落、一語一語は採点されない結論があります。実験レポートにはそれがほとんどありません。考察以外の文は、ほぼすべて、起きたことの記録か数値のどちらかです。

だからこそ、何かに手をつける前に一度ファイルを仕分けておく価値があります。

この最後の行は、二度読む価値があります。印刷された手順書からの逸脱は、実験レポートでもっとも価値のある文であることが多い一方で、滑らかにしたくなる不格好な余談に見えやすい文でもあります。

裏返すと、言い換えが本当に言い換えになる唯一のセクションである考察は、点数がかかっているセクションであり、採点者がすでにあなたの文体を知っているセクションです。だからこそ、そこは注意深く書き直し、流し読みではなく結果の表と一行ずつ照らし合わせて読み返します。この仕分け作業の一般的な版（実験レポートではなく研究レポート向け）は方法と結果で何を言い換えてよいかに、方法のセクション全体が判定されて返ってきた場合の学位論文規模の版はTurnitinが私の方法のセクション全体を判定したにあります。

この分野のもう一つの懸念は、AIの数値そのものではありません。あなたの目的、理論、そして手順の半分は、その科目の学生全員に配られたマニュアルに由来している可能性があります。つまり三十の提出物に同じ文が含まれることになります。それはテキスト一致の問題であり、行き着く先は別です:

「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似性スコアとAIライティング検出のパーセンテージは完全に独立しており、互いに影響しません。）

つまり、AIの数値を動かすために手順を書き直すのは、狙うレポートを間違えています。類似性の数値を動かすために書き直すのは、行動する前に指導員に尋ねるべき質問です。実験マニュアルのどこまでを再現することが期待されているかは、執筆の判断ではなく科目の判断だからです。TurnitinのAIライティング判定レポートと類似性レポートは、それぞれが何を測定するかを説明しています。

実験レポートの書き直しが高くつく理由は、文章ではありません。書き直した段落はすべて、自分のデータと照らし合わせて確認し直す必要があるからです。つまり、書き直しのコストは手をつけた段落数で測られます。

その範囲を事前に決めること、それがHumanPenというツールの役割です。文書をアップロードし、中身を申告します。自分で段落を指定するか、TurnitinまたはiThenticateのAI判定レポートを取り込めば、そこで判定された段落が境界になり、残りのファイルはそのまま保たれます。段落が単位なので、途中で終わる選択は段落全体に広げられ、開始前に確認できるように図示されます。課金は実際に書き直された語数に従います。条件が満たされる場合、判定が残った段落を再度無料で処理できます。

ツール自身のFAQは、複雑な文書はダウンロード後に確認するよう述べており、この一文は文字通り受け取るべきです。実験レポートの場合、確認とは、書き直されたテキストのすべての数値、単位、不確かさを、その出所である結果の表と照らして読むことを意味します。

理論セクションの数式はAIのパーセンテージに含まれますか? Turnitinの公開ルールは、モデルが段落内の散文の文を分析するというものであり、非散文のAIライティングは確実には検出しないとしています。数式の周りの段落は散文です。数式そのものは採点される単位ではありません。Turnitinが数式と非散文コンテンツをどう扱うかでさらに詳しく説明しています。

結果の表のあるセルに解釈の段落があります。それは対象になりますか? 2023年8月9日付のリリースノートには、モデルが表内の長文散文を処理できるようになったとあり、表を含む既存の提出物は再処理の前に再提出が必要だと付け加えています。つまり、セル内の段落は段落として扱われます。レイアウトの都合でテキストを表に移した人には驚きでしょう。

手順をテンプレートらしくない文体に書き直すべきですか? まず科目のハンドブックを読んでください。文体が指定されているなら、それを変えるのは、誰も保証できない結果と引き換えに、自分で失うと決めた点数です。手順が番号付きリストであれば、それはTurnitinが公開している対象テキストの定義の外にもあります。

古いレポートで参考文献リストにハイライトが入りました。 同じ2023年8月のリリースノートに、参考文献目録内のハイライトはバグだったこと、そしてAIライティング判定の処理時には参考文献目録が除外されるようになったと記録されています。既存の提出物は、それが有効になる前に再提出が必要です。したがって古いレポートには今もハイライトが残ることがあります。

低いスコアを、自分が書いた証拠に使えますか? いいえ。そしてベンダー自身が先にそう述べています。モデルは「may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.」（必ずしも正確とは限らず、人が書いたテキスト、AI生成テキスト、AIで言い換えたテキストを誤って判定する可能性があるため、学生に対する不利益な対応の唯一の根拠として使用すべきではありません。）これは両方向に効きます。