研究計画書が Turnitin で AI 判定されてしまう理由
研究計画書は形式が決まっていて、方法論の用語や先行研究の要約が中心になります。こうした特徴は、Turnitin の公式資料でも誤検出されやすいと明記されている要素そのものです。この記事では、計画書がどのように検出されるのか、過去にどのような改善があったのか、そして AI 判定のスコアだけで判断してはいけない理由を説明します。
HumanPen チーム
· 5 分
結論を先に言うと
研究計画書で使える表現の幅は限られています。方法論のセクションでは標準的な手順を説明しますし、Turnitin に研究方法論の章の全体がフラグ付けされた で詳しく解説しているように、これが実際にどう判定されるかもわかっています。文献レビューも、先行研究を自分の言葉でまとめるのが基本です。こうしたパターンはあまりに一般的で、Turnitin の公式資料が「誤検出の対象」と特定している条件と重なります。さらに、数百語しかない短い計画書ならなおさらです。文章量が少なすぎるとセグメントの重複判定ができず、「全部アウトか全部セーフか」の二択になります。その結果、AI を使っていなくても、本当に人間が書いた計画書が高い AI 判定率を出してしまうのです。
Turnitin は誤検出について何と言っているか
公式 FAQ には、誤検出を引き起こす具体的な文章の特徴が明記されています:
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(誤検出、つまり人間が書いた文章を誤って AI 生成と判定してしまうケースには、構造のバリエーションが乏しいコンテンツ、文字通り反復しているだけの文章、新しいアイデアを展開せずに言い換えただけの文章が含まれる場合があります)
この説明は研究計画書にぴったり当てはまります。方法論のセクションで「目的抽出」や「半構造化インタビュー」について書けば、何千もの計画書で使われている表現と同じになります。文献レビューでは複雑な研究を要約文に凝縮します。これは本質的に言い換えそのもので、パラフレーズすると Turnitin の AI スコアが上がるのはなぜか で解説しているように、AI スコアを上げかねない行為です。どちらの作業も、その瞬間には新しいアイデアを展開しているわけではありません。FAQ の次の一文も重要です:
"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(そのような文章で AI 作成の割合が高く表示された場合は、表示されたパーセンテージを解釈する際にこの点を考慮に入れることをお勧めします)
これは、こうした特徴を持つ文書について、パーセンテージだけでは判断できないと公式に認めているわけです。計画書で高いスコアが出ても、それは「調べる価値のあるサイン」ではあっても「確定判決」ではないと捉えるべきです。
検出の仕組みはこうなっている
なぜ計画書が狙われやすいのかを理解するには、Turnitin が投稿をどう処理しているかを見る必要があります:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score."(論文が Turnitin に投稿されると、文章から文が抽出され、予測分析のために重複するセクションにセグメント化されます。各セグメントは AI 検出モデルによって分類され、0 から 1 の値が与えられます。これはその文章が人間によるものか AI 生成かの確率を示します。これらのセグメント内にある該当する文は、すべてそのセグメントのスコアを引き継ぎます)
キーワードは「該当する文(qualifying sentence)」です。条件付きテキスト(qualifying text) が何を指すのか、FAQ はこう説明しています:
"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(この「該当する文章」は散文の文のみを指します。つまり、標準的な文法構造で書かれた文章のブロックのみを分析し、リスト、箇条書き(文でない短い構造)、その他の非文構造は含みません)
計画書で言えば、方法論の段落、文献レビューの本文、根拠を語るナラティブ部分はすべて分析対象になります。一方、研究質問を箇条書きにしたものや、タイムラインを表形式で short 項目で記述した部分は対象外です。画面に表示されている文章量と、実際にスコア対象になっている部分の差は、パーセンテージだけ見ていると混乱を招きます。
短い文書は「オール・オア・ナッシング」になる
研究計画書の多くは短いです。修士論文の計画書なら 1,500〜3,000 語程度。助成金の申請書にあるナラティブセクションはもっと短いこともあります。FAQ はこの点に直接言及しています:
"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."(数百語しかない短い文書では、予測はほぼ「オール・オア・ナッシング」になります。重複の機会がない単一のセグメントで予測するためです)
その次の文は結果を明確に示しています:
"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."(つまり、AI 生成とオリジナルが混在している文章でも、完全に AI 生成と判定される可能性があるということです)
数百語以上の計画書でも、該当する散文がいくつかの密集した段落に集中していれば影響を受けます。セグメント数が少ないと平均化ができず、1 つのセグメントが高いスコアを出せば、全体のパーセンテージが大きく引き上げられます。
2023 年に Turnitin が改善した点
Turnitin は特定の誤検出を減らすために変更を行っています。2023 年 5 月のリリースノートにはこのような修正が記されています:
"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives."(サービス開始以来、文書の最初の数文または最後の数文で誤検出の発生率が高いことが観察されました。これらの文は多くの場合、ありきたりな書き方で書かれた導入部または結論のコンテンツで構成されています。その結果、これらの誤検出を減らすために検出ロジックを変更しました)
この改善は計画書にも関係します。計画書の導入部は決まったパターンになりがちだからです。問題提起→ギャップの指摘→研究質問の提示、という型です。同じリリースノートでは別の改善にも触れています:
"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version."(また、セグメント境界の検出をより正確にする取り組みも行っており、まれに以前のバージョンとの境界の変更につながる場合があります)
これらは 2023 年の改善であって、現在の欠陥ではありません。あのアップデートの前後で計画書のスコアを比べれば、低下を確認できたかもしれません。しかし、上で説明した構造上のパターンは、今の計画書執筆でも依然として残っています。
一つのスコアだけでは判断できない
FAQ は AI 判定スコアの限界について明確に述べています:
"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."(AI 文章検出モデルは必ずしも正確とは限りません(人間が書いた文章、AI 生成、AI による言い換えを誤って識別する可能性があります)。そのため、学生への不利益措置の唯一の根拠として使用するべきではありません)
次の文はこの点をさらに強調しています:
"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."(学術的不正行為が行われたかどうかを判断するには、さらなる精査と人間の判断、そして組織固有の学術ポリシーの適用を組み合わせる必要があります)
Turnitin の別の資料では、このスコアを多数の情報源の一つと位置づけています:
"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."(このスコアは単独で決定的な答えを出すことを意図したものではありません。どんなツールよりも重要なのは、このスコアを見て、自分の生徒やその作品についての個人的な知識、そして機関のポリシーと照らし合わせて判断を下す教育者です)
その次の文がこの考えを締めくくっています:
"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended."(教育者が AI 文章スコアを、決定的な答えではなく一つのデータポイントとして見て活用するとき、初めて意図された使い方がされていると言えます)
研究計画書に当てはめれば、高い AI パーセンテージが出ても「結論」ではなく「対話を促すきっかけ」と捉えるべきです。AI の割合が高いとき指導教員が取るよう指示されている対応 には、その対話がどう進むべきか、ベンダー側のガイドラインが示されています。
あなたにとっての意味
研究計画書が高い Turnitin AI スコアを受け取った場合、以下の点に留意してください:
- 計画書は、FAQ が誤検出の対象と特定している、決まりきった・言い換え中心・構造が単調な文章になりがちです。
- 文章量の少ない短い計画書は、セグメントが少なすぎて重複判定ができず、「オール・オア・ナッシング」の予測になる可能性があります。
- パーセンテージが反映しているのは「該当する散文」のみで、文書全体ではありません。
- Turnitin は 2023 年に最初と最後の数文の処理を改善しましたが、計画書の文章が持つ根本的な脆弱性は残ったままです。
- AI スコアは判断の唯一の根拠ではなく、あくまで複数のデータポイントの一つとして扱うべきです。
判定された箇所を対策したい場合は、Turnitin レポートをインポート して一つずつ対応できます。対象の箇所は無料で再実行が可能です。
続きを読む