ランダム化試験の報告書と AI 判定——CONSORT 2025 は、あなたが書く前に何を決めていたのか
ランダム化試験の報告書は、だれかに読まれる前に二度書かれます。一度はプロトコルとして、一度は論文として。どちらも同じグループの番号付きチェックリストに照らしてです。公開されているチェックリストは、タイトルの中の一語にまで踏み込んできます。検出ツールにハイライトされたからといって、どの文を書き換えるかを決める前に、このことは知っておく価値があります。
HumanPen チーム
· 15 分
データは自分のものなのに、なぜランダム化試験の報告書は高い AI スコアで返ってくるのですか?
試験報告書の大部分は事前に指定されており、そのかなりの部分は、あなたがすでに書いたものの二度目の記述だからです。CONSORT 2025 は報告書がカバーすべき三十の項目を列挙し、タイトルに特定の語を入れるよう求め、参加者数はフロー図へ、ベースライン特性は表へと追い出します。連続した散文として残るのは方法の記述と考察だけで、方法の記述は登録済みプロトコルの要約版です。Turnitin は、臨床試験に一切触れていない文書の中で、測定対象は散文の文だけだと述べ、自社の偽陽性には構造的な変化に乏しいテキストや、新しい考えを加えずに言い換えられたテキストが含まれ得ると述べています。方法のセクションに対するハイライトは、そのセクションがどう書かれたかについて何の証拠にもなりません。均一に見せようとしてチェックリスト由来の内容を削れば、報告書はむしろ悪くなります。
提供元側には、試験についてこうしたことを述べた記述はどこにもありません。私たちは AI Writing Report を定義している三つのページ(Using the AI Writing Report、AI writing detection capabilities FAQs、File requirements for an AI Writing Report)を 2026年8月27日 に読みました。レンダリングされた記事本文は三ページ合わせて 38,174 文字です。そして検索しました。`CONSORT` 0 件、`clinical` 0 件、`trial` 0 件、`randomis` 0 件、`randomiz` 0 件、`protocol` 0 件、`checklist` 0 件、`registr` 0 件。同じ確認で機器が正常に動いていることも確かめました。`prose` 12 件、`qualifying` 12 件。
もう一方の方向、つまり間違えやすい方についても、同じように数えました。SPIRIT-CONSORT のサイトマップに載っている十三のコンテンツページ、さらに CONSORT 2025 のチェックリストとその十二ページの拡張版、合計 61,768 文字です。`detection` 0 件、`detector` 0 件、`Turnitin` 0 件、`generative` 0 件、`large language` 0 件、`ChatGPT` 0 件、`plagiarism` 0 件。同じ確認での感度は `consort` 107 件、`trial` 167 件、`randomis` 36 件でした。`Artificial intelligence` の該当はちょうど 1 件だけで、それは拡張版のページで、介入が AI システムである試験向けの SPIRIT 拡張を挙げている箇所です。それは AI ツールの試験を報告するための規格であり、著者が AI を使うこととは別の話題です。つまり、以下で引く関係は私たちが組み立てたものであり、互いに言及したことのない二組の文書から作られています。
ガイドラインは、タイトルの一語まで指定している
CONSORT 2025 のチェックリストの項目 1a には `Identification as a randomised trial` とあります。各項目を詳しく説明している拡張版チェックリストでは、次のように端的に書かれています。
`Use the word "randomised" in the title`(タイトルに "randomised" という語を使うこと)
報告ガイドラインが、一つの行の中の一語にまで踏み込んでいるわけです。これは良い規則であり、それなりの理由があって存在しています。索引作成者や系統的レビュアーがあなたの試験を見つける必要があるからです。同時に、この分野の報告書なら世界中どれも、最初の行に同じ語を載せるということでもあります。
項目 1b は抄録を規定しています。必須内容のリストは七つの箇条書きで、そのうち三つがさらに十に分かれ、合わせて抄録が担うべき十四の事柄を挙げています。目的、試験のデザインと枠組み、適格基準と実施場所、介入と比較対象、主要アウトカム、参加者の割り付け方法、盲検化の対象、各群のランダム化された数、各群の解析対象数、効果量と精度を伴う各群の結果、重要な有害事象、全体的な解釈、レジストリ名と登録番号、そして資金源です。リストの下にはもう一つ指示があり、出典ではアスタリスクで印刷されています。
`Do not report information that does not appear in the body of the paper`(本文に出ていない情報は報告しないこと)
これを執筆上の制約として読むと、かなり異例です。抄録には自分の論文の圧縮版であることが求められ、かつ新しいことを含めないことも求められます。提供元側には、これに当たる表現があります。Turnitin が偽陽性の傾向を説明している段落です。それは `text that has been paraphrased without developing new ideas` です。この二つの文書が同じことを語っていると主張しているわけではありません。語っていません。しかし項目 1b に従って書かれた抄録は、構造上その説明にぴたりと当てはまりますし、セクション見出しを除けば、最初の語から最後の語まで散文の文です。
方法のセクションは、あなたが二度目に書いたものだ
ここは、他のほとんどの分野には相当するものがない部分です。そして、試験報告書が、チェックリストをホチキスで留めただけの論文とは別の問題になる理由でもあります。
試験が実施される前から、プロトコルがありました。CONSORT の項目 3 は、それがどこにあるかを述べることを求めています。`Where the trial protocol and statistical analysis plan can be accessed`。拡張版チェックリストはその場所の URL を求めています。項目 2 はレジストリ名、識別番号、URL、登録日を求めています。項目 10 は `Important changes to the trial after it commenced including any outcomes or analyses that were not prespecified, with reason` を報告することを求めています。
この三つを重ねると、具体的な状況が浮かび上がります。適格基準、ランダム化の方法、割り付けの隠蔽、盲検化の手順、計画された解析は、すべて論文から公に指し示されている文書に書き留められており、論文は同じ内容をより短い形でもう一度報告します。これは手抜きではありません。それこそが前向き登録の目的です。
プロトコル側には、同じグループによる独自のガイドライン、SPIRIT 2025 があります。CONSORT と並んで公表され、同じ助成金で賄われた、34 項目のチェックリストです。したがって二つの文書は、扱う主題以上のものを共有しています。どちらも、一緒に改訂される対になった番号付きリストに照らして書かれています。
自分の方法のセクションが書類のようだと感じたことがあるなら、それが理由です。学術出版の中でもっとも指定の細かい二つの文書が、同じ手順を、相次いで、足並みのそろった二つのチェックリストに向けて記述しているのです。
数値は、意図して散文の外に移された
CONSORT は、何を報告すべきかを述べるにとどまりません。もっとも重い項目のいくつかについては、どの形で報告すべきかまで述べます。
| CONSORT 2025 の項目 | 求められる形 | 散文のみを測定する場合、それがどう残るか |
|---|---|---|
| 22a、ランダムに割り付けられ、介入を受け、解析された参加者 | `In a flow diagram, the number of participants:` に続く、数の箇条書きリスト | 数を示す図には、散文の文がありません |
| 22b、ランダム化後の脱落と除外、およびその理由 | 同じく `In a flow diagram` | 同じです |
| 25、各群のベースラインの人口統計学的特性と臨床特性 | `A table showing baseline demographic and clinical characteristics for each group`(各群のベースライン特性を表で示すこと) | 平均値、標準偏差、割合の格子 |
| 27、すべての有害事象または意図しない出来事 | `For each group preferably in a table with the number of participants at risk`(各群について、できればリスクにある参加者数を添えた表で示すこと) | おおむね表形式で、その周りに多少の散文があります |
| 2、試験登録 | レジストリ名、番号、URL、日付 | 文ではなく、短い行 |
| 5a と 5b、資金と利益相反 | 資金提供者の名称、役割、申告された利益 | 多くは、短い項目が並ぶ宣言ブロックです |
ここに、Turnitin が何を読むかという定義を並べてみてください。
`This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.`(この対象テキストには散文の文だけが含まれます。つまり、標準的な文法に従って書かれた文のブロックだけを解析し、箇条書き(文になっていない短い構造)など、文以外の書き方は対象にしません。)
そして、同じページでその直後に続く文です。
`This percentage is not necessarily the percentage of the entire submission.`(この割合は、提出物全体に対する割合とは限りません。)
参考文献リストも対象外です。提供元自身の 2023年8月 のリリースノートには、文献引用の中の AI 文章をハイライトする不具合が修正されたこと、および `Bibliographies are now excluded when processing the AI writing report.` が記されています。そのノートはさらに、変更が適用されるには提出物の再提出が必要だとしています。
つまり、フロー図、ベースライン表、有害事象の表、登録の行、参考文献リストを差し引いてください。測定に残るのは、序論、方法の記述、表の周りにある結果の記述、そして考察です。言い換えれば、CONSORT がもっとも厳密に指定している部分から、実際の数値を担う部分のほとんどを引いたものです。Turnitin の AI 判定における「対象テキスト」とは が一般原則を、Turnitin は表の中の文章を読むのか が表の場合を扱っており、表のセル内の長文散文についてのあのリリースノートの部分も含まれます。
注目に値する二つ目の帰結があります。解析対象の散文が数百語にしかならない短い報告書は、Turnitin が `mostly "all or nothing" because we're predicting on a single segment without the opportunity to overlap` と述べる挙動に当てはまります。そしてその次の文は `some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated` と述べています。大きな図、三つの表、四十の参考文献を備えた試験報告書は、測定されている意味では、ページ数が示すより短いのです。短い文書と Turnitin のオール・オア・ナッシング問題 で詳しく検討しています。
チェックリストが、内容だけでなく表現まで裁く箇所
二つの項目は、内容を列挙するにとどまりません。どちらも長い表の中の一つの行として置かれているため、見落としやすいものです。
項目 22b、ランダム化後の脱落と除外について、次の一文が加わっています。
`The wording "protocol deviation" is not sufficiently explicit and exact reasons should be reported`("protocol deviation" という表現は十分に明確ではなく、正確な理由を報告すべきです)
報告ガイドラインが特定の表現を名指しして退けることは、めったにありません。ここでそれが重要な理由は、検出ツールとは何の関係もありません。改訂の最中に、具体的な理由を整った要約表現に置き換えれば、項目 22b を破ったことになります。この不備は校閲者には見えず、チェックリストを知る査読者には明らかです。
解釈についての項目 29 が、もう一つです。
`Avoid overinterpretation ('spin')`(過大な解釈、いわゆる「スピン」を避けること)
考察はふつう、論文の自由な部分だと説明されます。この分野では、そこに主張がどこまで踏み込めるかという指示が付いてきます。結果を既存の証拠と結びつけること、利益と有害事象のバランスを取ることという要件と並んでです。そして項目 30 が、限界の段落が扱うべき四つの事柄を挙げます。方法上の限界、精度の不足、一般化可能性、そして該当する場合は解析の多重性です。
チェックリストが決して触れないもの
次に何をすべきかを決めるのは、この区別です。そしてそれは、よくある改訂の助言が提示する区別とは違います。
CONSORT は何を載せるべきかを指定し、いくつかの箇所ではその形を、二か所では避けるべき表現を指定します。しかしあなたの文を書いてはくれません。その問いがなぜ重要だったのかをどう表現するかについて、チェックリストのどこにも書かれていません。
固定されており、番号でたどれます。 ここで役に立つのは、触れてはいけないという一般的な警告ではありません。これら一つひとつに、指し示せる項目番号があるということです。フロー図の数は 22a と 22b です。レジストリ名、番号、URL、日付は項目 2 です。実際に適用された適格基準は 12a です。割り付け系列を誰がどの方法で生成したかは 17a です。誰が盲検化され、どのように盲検が達成されたかは 20a と 20b です。効果量と精度を伴う各群の結果、および二値アウトカムの絶対効果と相対効果は項目 26 です。これだけで会話の形が変わります。「ここは削れません」は、引用が添えられていると受け取られ方が違うからです。CONSORT、STROBE、PRISMA をまとめて、表現と科学的な中身を切り分ける一般的な作法については、方法と結果: 言い換えてよいものと、正確さを保たねばならないもの を参照してください。
あなたのもの、そしてたいていは使われていないもの。 項目 6 は `Importance of the research question` と `Why a new trial is needed in the context of available evidence` を求めており、副項目として、介入がどう働き得るか、なぜその比較対象を選んだかを扱います。項目 29 は、結果が既存の証拠とどう関わるかを問います。これらは主張であり、主張は中の考え方が違えば形も変わります。もしあなたの序論が同じ分野の他のどの試験の序論とでも取り替えられるなら、それはガイドラインではなく習慣の問題です。そしてそこは、報告書の中で変化をつけても何も失わない唯一の場所です。
チェックリスト自身も、あらゆるデザインを網羅しているとは言っていません。拡張版のページには、2010 年のチェックリストに基づく CONSORT 拡張が二十二、2025 年版に基づくものが一つ挙げられており、そのリストが `is by no means exhaustive` だと本文で述べています。クラスター、クロスオーバー、ステップドウェッジ、パイロット、プラグマティック、非劣性、有害事象、患者報告アウトカム、それぞれに追加項目があります。あなたの試験がそのいずれかなら、論文のうち指定されている割合は小さくなく、大きいということです。
方法や抄録がハイライトされて返ってきた場合
- 数字を見る前に、ハイライトの位置を見てください。 方法のセクションが一続きのブロックとして返ってくるのには、まず理解しておくべき機械的な説明があります。Turnitin に方法のセクション全体をマークされた
- ページ数ではなく、解析対象の散文を数えてください。 フロー図、表、参考文献リストを取り除き、連続した散文がどれだけ残るかを見ます。オール・オア・ナッシングの挙動が関係するのは、ページ数ではなくその数です。
- どの表現にも手を付ける前に、チェックリスト由来の内容に印を付けてください。 拡張版チェックリストを原稿の隣に開き、項目が要求したから存在する文すべてに印を付けます。これは書き直しながらではなく、最初に、冷静な状態で決めてください。
- 提供元自身の立場を会話に持ち込んでください。 同社の FAQ は、その割合が `should not be used as the sole basis for action or a definitive grading measure by instructors` だと述べており、偽陽性についての段落は最後に、割合を読むときはテキストの性質を考慮するよう読者に勧めています。AI の割合が高いとき、指導教員はどうするよう言われているか がその案内をまとめています。
- だれかが基準値を突きつけてきたら、AI 20% は高すぎるのか が、公表されたどの数字も合格点として機能しない理由を説明しています。
- 開示は別に確認してください。 AI を支援に使った改訂を申告する必要があるかどうかは、検出ツールの問題ではなく投稿先の問題です。出版社の AI 開示ポリシー比較 が主要なものを並べています。
どうせ表現を変えることになるなら
試験報告書の改訂には、執筆とはほとんど関係のない固有のコストがあります。開いた段落は、後で必ず他の三つの文書と突き合わせて読み直さなければなりません。記入済みチェックリスト、登録済みプロトコル、そして項目 3 が世界中に所在を示させた統計解析計画です。原稿全体を開けば、原稿全体を再確認すると引き受けたことになります。ここでの確認漏れは誤植ではありません。研究に参加すると同意した人々に何が起きたかについての、公表された主張です。
だからこそ範囲が問題になります。HumanPen というツールは私たちのものですから、この先の数文は推奨ではなく、境界がどう働くかについての当事者による説明として受け取ってください。範囲は、何かが動く前に引かれます。対象箇所を自分で追加するか、検出レポートを取り込んでマークされた箇所に定義させるか、どちらかです。サイトは規則をこう述べています。エンジンが書き直す最小単位は段落だ、と。段落の半分をマークすると、境界は段落の端まで広がり、承認のために提示されるのはその広がった版です。その外側は一切開かれません。課金も同じ境界に従い、実際に書き直された語数だけを数えます。戻ってくるのは編集可能な文書で、書き直しが保とうとするものには意味、構造、用語、引用、レイアウト、スタイルが含まれます。また複雑な文書はダウンロード後に確認することが、サイト自身の助言です。ある箇所が条件を満たし、なおマークされている場合は、その箇所を無料で再実行できます。Turnitin のレポートがマークした段落だけを書き直す は、レポート駆動のやり方を順を追って説明しています。
後のスコアがどうなるかは、私たちを含め、だれも事前に約束できません。何を使うにせよ、再提出の前に、返ってきた方法の段落をプロトコルと、返ってきた効果量を解析出力と並べてください。桁を一つ失った信頼区間は、ハイライトされた一文より深刻な問題です。
よくある質問
CONSORT に従うと AI スコアが上がりますか? 提供元の公表物にそう書かれたものはありません。上の読み取りで確認したとおり、同社のレポート関連三ページには、試験、プロトコル、報告ガイドラインへの言及が一切ありません。公表されているのは、偽陽性に構造的な変化の少ない内容が含まれ得るという点です。そして CONSORT は、試験報告書の一部から構造的な変化を意図して取り除きます。
方法のセクションが登録済みプロトコルの繰り返しになっています。問題ですか? 報告としては問題ありません。プロトコルがあるからこそ試験は前向きになり、項目 3 はその所在を示すことを求め、項目 10 はそこからの逸脱を報告することを求めます。問題になるのは、ごく限られた意味においてだけです。自分の文書の二度目の記述は密度が高く均一な散文になり、それは測定にもっともさらされる形だという意味です。
フロー図やベースライン表は割合に算入されますか? 解析されるのは、対象となる散文の文だけです。数を示す図や平均値の格子は、散文の文ではありません。2023年8月 のリリースノートは、表のセル内の長文散文が処理されること、および既存の提出物は再処理に再提出が必要だと確かに述べています。したがって、完全な文で埋まった表は、数字の表とは別のケースです。
参加者の流れの記述を書き換えてスコアを下げてもよいですか? 文を動かすことはできますが、項目 22b は除外の正確な理由を求めており、`protocol deviation` では不十分な表現として明示的に退けています。改訂によって理由が要約表現に置き換われば、報告書は提出した版より遵守度が下がります。どんなスコアもそれを相殺しません。
抄録全体がハイライトされています。 項目 1b に従って書かれた抄録には、十四の必須内容、本文にないものを含めないという指示があり、間を取れる表、リスト、参考文献もありません。文書の中でもっとも密度の高い対象テキストです。提供元の案内は、その割合は判断の唯一の根拠にはならないというものであり、偽陽性についての段落こそ、問い詰めてくる相手に提示すべきものです。
これは CONSORT 2010 の論文や観察研究にも当てはまりますか? 上で引用した項目は CONSORT 2025 のもので、2025 年に 30 項目のチェックリストとして公表されました。観察研究はまったく別のガイドラインに従います。いずれにせよ、一般論は変わりません。どの文を変えるかを決める前に、自分の文のうちどれが報告基準に指定されたものかを突き止めてください。
続きを読む