高いAIスコアは成績を下げるのか？教員214人を対象にした実験

ある実験では、実際に成績が下がりました。しかもその差は歴然としています。214人の大学教員が、検出レポートを確認した上で同一のレポート課題を採点しました。レポートのAIスコアが7%で「低リスク」と判定され、本文に何のハイライトもなかった場合、論文の平均点は100点満点中73.30点でした。一方、AIスコアが87%で「高リスク」と判定され、文中の4文が赤くハイライトされていた場合、平均点は51.61点まで落ち込みました。論文の本文自体はまったく同じであるにもかかわらずです。

ただし、これはあなたの成績が22点下がるという意味でも、必ず下がると決まったわけでもありません。使用されたレポートは研究チームが作成した架空のものであり、論文は中国語で書かれ、教員による採点も実際の授業ではなくオンラインアンケート上で行われました。さらに、214人のうちAI検出ツールを使った経験があった教員はわずか16人（7.5%）にすぎません。この研究が浮き彫りにしたのは、スコアとその隣に印刷された判定結果が、採点者がAI利用を疑うかどうかだけでなく、文章自体の質がどう評価されるかまで左右してしまうということです。

この研究は、アル・ファラビ・カザフ国立大学の Peitao Du 氏、Tingting Liu 氏、および韓国カトリック大学の Xujin Xian 氏による論文"Automation bias in teachers' evaluation of student writing: effects of algorithmic warnings and visual risk cues in AI detection reports"（学生の文章に対する教員の評価における自動化バイアス：AI検出レポートのアルゴリズム警告と視覚的リスク表示の影響）です。2026年7月7日に『Frontiers in Psychology』誌にオープンアクセスで掲載されました。著者らは資金提供を受けておらず、商業的または金銭的な利益相反はないと報告しています。

研究チームはまず、"The Effects and Challenges of Online Education"（オンライン教育の効果と課題）と題した論文を1本作成しました。レベルとしては学部生の平均的なレポートを想定しており、文章は流暢で基本的な構成を備えているものの、内容は平凡で掘り下げは浅いものです。その中に、研究チームはあえて4つの定型文（お決まりの決まり文句）を挿入しました。明らかな事実誤認や論理破綻はないものの、誰の文章に混ざっていてもおかしくない、ありきたりで中身の薄い表現です。

そして、実在しない架空の検出ツール「AcademicCheck」によるレポートを4パターン作成しました：

教員は1グループあたり52〜55人ずつ、4つのバージョンのいずれかに無作為に割り当てられました。教員たちはまずレポートの要約を確認し、その後に論文本文を読みました。すべてのレポートには、数値とともに短い判定結果も記載されていました。7%のバージョンには"Low risk"（低リスク）と記され、"predominantly human-authored writing characteristics"（主に人間が執筆した特徴）と説明されていました。一方、87%のバージョンには"High risk"（高リスク）と記され、"a high likelihood of AI-assisted writing."（AI支援による執筆の可能性が高い）と記載されていました。赤くハイライトされたバージョンでは、レポート上に「該当箇所は目視による確認が必要」という指示も添えられていたため、ここでの「赤表示」は単なる色分けだけでなく、注意を促すメッセージも伴っていました。採点終了後、教員たちにはこのレポートが実験用の模擬的なものであることが知らされました。

評価を大きく左右したのは、87%というスコアでした。 赤いハイライトがない状態であっても、7%の「低リスク」レポートを87%の「高リスク」レポートに差し替えるだけで、論文の平均点は約13点も低下しました。しかも教員たちは、単に「AIによって書かれた可能性が高い」と判断しただけではありません。目の前にある文章は一言一句まったく同じであるにもかかわらず、独自性、表現力、論理構成といった項目の評価まで一律に引き下げていたのです。

文の赤ハイライトが最も大きな影響を及ぼしたのは、レポートがすでに「高リスク」と判定されていた場合でした。 スコアが7%のとき、4つの文を赤くハイライトしても、100点満点の評点には統計的に有意な差は見られませんでした。ただし表現力に対する評価は確実に引き下げられており、これは教員がまさにその文を注視するよう促された結果と考えれば辻褄が合います。ところが87%の条件になると、まったく同じ赤ハイライトによって、さらに約9点もの減点につながりました。

教員たちは、より踏み込んだ対応を取る意向を示しました。 表の最も右の列では、学生に書き直しを求める、自力での執筆やAI利用ルールの遵守を注意喚起する、あるいは執筆プロセスや引用元の説明を求めるといった対応を取る可能性が尋ねられました。この回答は、7段階評価で3.40から5.66へと大きく上昇しました。ただし、これは教員自身が「自分ならそうする」と回答した内容であり、実際の授業でそうした行動が観察されたわけではありません。

著者ら自身も、この研究結果を"preliminary and context-specific"（予備的かつ特定の状況に限定されたもの）と位置づけています。そのように捉えるべき理由は以下の通りです。

• レポートは架空のものであり、意図的に極端な設定がなされていました。 実在するツールに対する教員の先入観が影響しないよう、「AcademicCheck」という架空のツールが使われました。また、提示された2つの数値も大きく引き離されています。著者らは、教員が明確に低い警告と明確に高い警告に対してどのように反応するかを確かめるため、この対比"was intentionally strong"（意図的に強く設定された）であったと説明しており、現実の授業で生じる中間のスコアにこの結果を当てはめる際には注意が必要であると述べています。
• 検証されたのは中国語で書かれた1本の論文だけでした。 参加した教員全員が同じ中国語のレポートを読みました。その「中程度の質」という水準は研究チーム自身による主観的な設定であり、事前のパイロット実験や外部の評価者による検証は経ていないと説明されています。もともと非常に完成度が高い論文や、逆に質の低い論文であれば、異なる結果になった可能性があります。
• 教員の大多数は、AI検出ツールを使用した経験がありませんでした。 参加者はアンケートプラットフォーム「Wenjuanxing（問巻星）」や教員コミュニティを通じて少額の謝礼でオンライン募集され、その約3分の2は社会科学系を担当する教員でした。AI検出ツールやAI剽窃チェックツールを使用したことがあったのは、わずか16人（7.5%）にとどまります。論文本文でも補足資料でも、この16人のデータだけを抽出した結果は報告されていません。
• 実際の成績評価ではなく、あくまでアンケート調査でした。 教員の手元にはレポートと論文しかなく、その他の背景情報はほぼ皆無であり、つけた点数が誰かの実際の成績に影響することもありませんでした。著者ら自身も、この調査結果は"should not be generalized directly to all real grading contexts."（実際のすべての採点環境にそのまま一般化すべきではない）と結論づけています。
• グループ間の点数の開きが異例なほど明確でした。 各グループにおいて、大半の教員の評点はグループ平均から前後約5点以内に収まっていましたが、それにもかかわらずグループAとグループDの平均点には約22点もの差がつきました。著者ら自身も、これほど大きな影響は"should be interpreted cautiously."（慎重に解釈されるべきである）と指摘しています。彼らはその要因として、7%と87%という際立ったコントラストと、教員に与えられた背景情報の少なさを挙げています："In real teaching, teachers may see intermediate rates and have richer information about students and writing processes, so actual bias may be smaller."（実際の教育現場では、教員は中間的なスコアを目にすることも多く、学生や執筆プロセスに関するより豊富な情報を持っているため、実際のバイアスはもっと小さい可能性がある）。

個別の実験条件を脇に置いたとしても、揺るがない事実が1つあります。それは、教員が論文を読む前にレポートを目にし、そのレポートが論文の読み方自体を変えてしまったという点です。著者らは、"AI content: 87%"（AIコンテンツ：87%）のような数字を目にすることで、教員の作業が「論文そのものを評価すること」から「システム側の判定が正しいかどうかを確認すること」へとすり替わってしまうと説明しています。著者らが大学に対して提案している対策の1つは、教員が"complete their quality evaluation before reviewing the detection report"（検出レポートを確認する前に、論文の質に対する評価を完了する）という2段階の評価プロセスを導入することです。

本記事の読者の多くが直面しているのは、架空のツールではなくTurnitinでしょう。そこで、Turnitin公式ドキュメントに記載されている3つの重要事項を、この研究と照らし合わせて確認しておく価値があります。

• 多くの場合、学生は教員が見ている画面を確認できません。 TurnitinのFAQには、"only instructors and administrators are able to see the indicator"（この指標を確認できるのは教員と管理者のみです）と明記されています。ただし、教員がAIレポートをPDFとしてダウンロードし、学生に共有することは可能です。誰に何が見えているのかの詳細は、学生はTurnitinのAIスコアを確認できるか？学生画面と教員画面の違いで解説しています。
• スコアが低い場合、ハイライトは表示されません。 Turnitinは、"no score or highlights are attributed for AI detection scores in the 1% to 19% range."（AI検出スコアが1%から19%の範囲にある場合、スコアやハイライトは表示されません）としています。この場合、レポートには代わりにアスタリスク（星印）が表示されます。したがって、グループBのような「スコアは低いのに文章がハイライトされている」という組み合わせは、現在のTurnitinレポートでは発生しません。スコアが20%未満であれば、教員の視線を誘導してしまうようなAIハイライト文は存在しないことになります。詳しくはTurnitinのAIスコアに表示されるアスタリスク（*%）の意味とは？をご覧ください。
• Turnitinは、この数値を成績として扱うべきではないと明記しています。 同じFAQの中で、この割合は"should not be used as the sole basis for action or a definitive grading measure by instructors."（教員が何らかの措置を講じる際の唯一の根拠としたり、確定的な採点基準として使用したりするべきではありません）と述べられています。しかし今回の実験では、教員たちはスコアを採点基準にするよう指示されたわけではありません。単に論文の採点を依頼され、その際にレポートが手元に添えられていただけでした。本来成績はどのように決められるべきかについては、Turnitinのスコアは成績なのか？類似度スコアが示すものと示さないもので詳しく解説しています。

したがって、この研究から、あなたを担当する教員が影響を受けたかどうか、またどれほど影響されたかを知ることはできません。しかしこの研究が示したのは、"the report might color how my paper gets read"（レポートのせいで自分の論文の読まれ方に偏りが出るかもしれない）という懸念が、単なる被害妄想ではなく、十分に確認する価値のある現実的な問いかけになったということです。

以下の対処法は、誰かから不正を疑われたり指摘されたりする前であっても、すぐに実践できるものです。

1. 成績に納得がいかない場合は、AIスコアではなく評価基準について質問する。"Which rubric criteria lost marks, and which passages show it?"（ルーブリックのどの評価基準で減点され、それは具体的にどの箇所の記述によるものか）という質問は、どのような成績であっても当然行える正当な確認です。また実験では、赤ハイライトによって教員が返すフィードバックの内容も変化しました。学生にどのような修正を指示するかを尋ねたところ、7%で赤ハイライトありのレポートを見た教員の65.4%が表現や言葉遣いの修正を提案したのに対し、赤ハイライトなしの7%レポートを見た教員ではわずか7.5%でした。さらに、論述内容の深化に関する助言は約半数からほぼゼロにまで激減しました（著者らはこの自由回答のコーディングを探索的分析として扱っています）。もし受け取ったフィードバックが言葉遣いの指摘ばかりで、議論の内容に一切触れていない場合は、論理の展開についても併せて確認してみましょう。
2. 採点にAI検出レポートが使用されたか尋ね、使用された場合はPDFの開示を求める。 単なるパーセンテージの数値だけでは、ほとんど何も判断できません。どの文章が具体的に指摘されているかは、実際のレポートを見なければ把握できないからです。
3. 執筆プロセスをいつでも提示できるよう準備しておく。 この研究で調査された教員の対応は、処罰ではなく「修正の指示」「自力での執筆やAI利用ルールの遵守の喚起」「執筆過程や情報源の説明要求」といった要請でした。87%で赤ハイライトのレポートを見た教員は、こうした要求を行う傾向が極めて顕著でした。下書き、メモ、執筆時のバージョン履歴などを手元に残しておけば、このような質問にも迅速かつ冷静に対応できます。
4. 現在推敲中であり手元にレポートがあるなら、まず指摘された箇所を読む。 実験で赤くハイライトされたのは、著者による英訳で以下の4つの文でした："With the rapid development of information technology, online education has gradually become an important component of higher education."（情報技術の急速な発展に伴い、オンライン教育は高等教育の重要な構成要素となりつつある。）"This paper analyzes this issue from three aspects: learning effects, interaction modes, and technical conditions."（本稿では、学習効果、相互作用の形態、技術的条件の3つの側面からこの問題を分析する。）"In conclusion, online education brings convenience but also faces many practical challenges."（結論として、オンライン教育は利便性をもたらす一方で、多くの現実的な課題にも直面している。）"Therefore, this issue deserves continued attention and further research from the education community."（したがって、この問題は教育界からの継続的な関心とさらなる研究に値する。）このような文は、一度ハイライトされてしまうと表現面の評価を大きく引き下げてしまいます。誰のレポートにもそのまま使えてしまうような導入文、構成の案内文、結びの言葉などは、いずれにせよ自分自身の独自の表現に書き直しておく価値があります。

手元にTurnitinまたはiThenticateのレポートがあり、現在推敲中であり、受講している講義でこの種のサポートの利用が認められている場合、HumanPenのAI文章リライト機能は指摘された箇所のみを対象に処理を行います。Turnitin または iThenticate のレポートを読み込み、指摘された箇所だけを書き換えます。同じ形式の編集可能なファイルを受け取れます。提出する前に、仕上がったファイルを必ずご自身で最初から最後まで確認してください。

教員たちはレポートが架空のものであることを知っていたのですか？ 採点作業を行っている間、研究チームがその事実を伝えることはありませんでした。採点がすべて完了した後に、レポートが実験用の模擬的なものであり、実際の学術的誠実性に関する判定ではないことが明かされました。

これはTurnitinを対象とした研究ですか？ いいえ、違います。実在する検出ツールに対する先入観によって結果が偏らないよう、レポートは「AcademicCheck」という架空のツール名で作成されていました。

スコアが7%のとき、赤ハイライトによる影響はありましたか？ 100点満点のスコアに関しては、統計的に有意な差は見られませんでした。ただし、論文の表現力に対する教員の評価は実際に低下していました。

Turnitinは20%未満の場合にアスタリスク（星印）を表示しますが、それも同様の影響を及ぼす可能性がありますか？ この研究ではその点についての検証は行われていません。実験での「低リスク」条件は、7%という具体的な数値と"Low risk"（低リスク）という判定文の組み合わせであり、アスタリスクではありませんでした。アスタリスクも教員に対して「何かが検出された」という事実を伝えてしまうため、教員がそれをどのように受け取るかについては、本研究からは判断できません。

• Peitao Du, Tingting Liu, Xujin Xian, Automation bias in teachers' evaluation of student writing: effects of algorithmic warnings and visual risk cues in AI detection reports, Frontiers in Psychology 17:1889402, 2026年7月7日公開; 2026年10月2日閲覧（セクション3〜6、表1および表3、補足ファイル付録A、表B1および表F4）。
• Turnitin, Turnitin's AI writing detection capabilities FAQs。