Turnitin レポートでフラグが立った段落だけを書き直す

私は HumanPen という、今から説明する仕組みを実装したツールを開発しているので、これは中立的な比較調査ではありません。ただ、この仕組みそのものを記事にしておく価値はあると思います。手作業でやる場合でも同じです。

丸ごと書き換えツールは実行コストが安く、検証コストが高い。

実際にのしかかってくるコストは検証です。検証の手間は、何が悪かったかではなく、何が変わったかに比例します。どこかが書き換えられたら、そこでは数字が生き残っているか、用語が前の節と整合しているか、引用が依然としてその主張に紐付いているか、「表 2 を参照」が実際に表 2 を指しているか、断定表現が不用意に強められていないかを確認しなければなりません。私が一番怖いのが「関連」が「因果関係」にすり替わっているケースです。文面上は完璧に通ってしまうからです。

誰も触っていない段落なら、確認は不要です。

私たちの 比較記事 で使っている例で言えば、1 万語の論文のうち 2,800 語がフラグされています。全部書き換えたら、同じ修正のために 1 万語を読み直すことになります。残りの 7,200 語には疑う理由がなかったのに。

もう一つ、後で問題になるコストがあります。一度丸ごと書き換えを通すと、原本だったはずの clean な段落まで変わってしまうので、次のレポートが前回のレポートと比較できなくなります。新しいフラグが出た場合、それが以前からあったのかどうか判断できません。文書そのものが変わってしまっているからです。選択的書き換えなら、フラグされていないテキストを対照として残せます。

Turnitin のドキュメントにはっきり書かれています。AI writing indicator と similarity score は互いに独立しており、AI writing のハイライトは Similarity Report には一切表示されないと（Using the AI Writing Report）。Similarity Report は既存ソースとの重複をハイライトするものです。それをレポート誘導型のワークフローに放り込んでも、AI writing と判定された箇所には手が回らないままです。HumanPen は Similarity Report を AI Writing Report として読み込みません。

レポートの読み方にもう二つ、気を付けるべきことがあります。

• 20% 以下なら、数字は出ない。Turnitin は 1〜19% の範囲では割合の代わりにアスタリスクを表示します。この帯では偽陽性率が高いからです。だから割合が分かるとは限りません。分かるのはハイライトです。
• 割合は文書全体の比率ではない。Turnitin が解析するのは「qualifying text」と呼ばれる部分だけで、意味は定型の文法構造を持つ長文のプローズです。リスト、箇条書き、文ではない構造は解析対象外です。Turnitin 自身の説明によれば、「複数の執筆タイプを含む文書では、割合とハイライトが一致しなくなる」ことがあります。つまりハイライトと割合は必ずしも一致せず、どれだけズレるかは文書のうちプローズではない部分の量次第です。

アクショナブルなのは、割合ではなくハイライトされたスパンのほうです。

書き換え自体は簡単なほうです。

1. ハイライトを、解析目的で作られていないファイルから取り出す。Turnitin では AI writing indicator を見られるのは教員と管理者だけです。教員はレポートの PDF をダウンロードして学生と共有できるので、著者の手に渡るのは通常データではなく PDF です。そして PDF は描画結果です。テキストレイヤーは行単位に配置されたグリフの連続であり、ハイライトはその上に重ねられた色付きの図形にすぎません。ファイル内に「これらの文字がフラグされている」と明記されているわけではありません。それを復元するには、ハイライト図形とテキストレイヤーの位置情報を突合せて、どのグリフがハイライト内にあるかを読み取る必要があります。
2. 出てきたテキストを正規化する。元のテキストと同じではないからだ。単語は行末でハイフン折り返され、元々存在しなかったハイフンが紛れ込みます。合字は 2 文字で入力したのが 1 グリフとして返ってきます。まっすぐなアポストロフィーはカーブして戻ってきます。ランニングヘッド、ページ番号、フッターが抽出ストリームに割り込み、段落の中にジャーナル名が挟まった状態で到着することもあります。これらすべてが完全一致マッチングを破壊し、目に見えるエラーはなく、ただマッチャーが静かに「該当なし」を返します。
3. ソースファイルに突き合わせる際、両側で同じ正規化をかける。段落の劣化した描画結果を元の段落と比較するので、これは本質的にファジーマッチです。そしてファジーマッチは誰かに見せる必要があります。
4. マッチした箇所を段落単位に拡大する。ハイライトは段落の区切りと一致するとは限りません。そして設計を決定づけるのが、一致しないケースです。つまり、スパンが段落の途中から始まり、節の途中で終わる場合。フラグされた文字だけを書き換えると、段落の半分が別のトーンで書き上がり、手が触れなかった側の節で導入された代名詞や定義済み用語に依存した文が取り残されます。これが、段落を最小の書き換え単位とする理由です。一部だけハイライトされた場合でも段落全体に拡大し、その拡大されたリストを著者に見せて確認を求めます。
5. ファイル内でその場で書き換える。抽出して書き換えて戻すのではありません。書き換えた各段落は元の位置に戻り、通過時に untouched なまま残される保護対象のセットがあります：引用マーカー、参考文献エントリー、数式、コード、キャプション、図番、脚注、表セル、相互参照フィールド、目次。

ステップ 3 はヒューリスティックであり、ヒューリスティックは時には外れます。

メソッズの定型文のように、同じ文が文書内に 2 回登場する場合、間違ったほうのインスタンスにマッチすることがあります。レポート生成後に自分で編集した段落は、まったくマッチしないこともあります。キャプションや表セルが本文プローズのように見えることもあります。ツールが悪いマッチを静かに処理すると、レポートがフラグしていない段落を書き換えてしまい、しかもそれに気づかないままになります。これはまさに、このアプローチが避けようとしている事態そのものです。

だから、ジョブ開始前にマッチした段落を見せます。リストに追加したり削除したりでき、確認していないものはスコープから外れます。スコープは料金でもあります。実際の書き換え語数で課金されるので、その画面は見積もりにもなっています。

レポート誘導型が意味をなすのは、実際にレポートを持っている場合に限られます。ない場合は、文書全体を処理するか、自分で該当箇所を選ぶのが正直な答えです。私たちのツールでもその両方はできます。

出力は人間が読む必要があります。自動書き換えは修正が必要な詳細を生み出すものであり、意図的な文法ミスやスペルミスを注入しないからといって、それだけで提出可能になるわけではありません。

マッチングはアップロードしたファイルに対して実行されるので、レポート生成後に大きく編集している場合、マッチ数は減り、提案されるスコープは短くなります。レポートのハイライトより表示されるスコープが薄く見えるなら、たいていこれが理由です。

この記事のどこにも検知スコアの比較は載せていません。意図的にです。Turnitin ははっきり言っています。検知器がカバーするパラフレーズツールやバイパスツールの名前を公開しないのは、公開リストが回避を助長するからだと（AI writing detection FAQs）。つまり Turnitin 以外の誰にも「我々は検知器 X を突破した」という主張を検証できないので、私はそんな主張をしません。Turnitin はまた、同社のインジケーターを学生への措置の唯一の根拠にしてはならないとも言っています。想定より高い数字が出た時に、これは覚えておいてよいでしょう。

新しいレポートそれでも箇所がフラグされた場合、対象となる結果は AI 数値を無料で下げ続けることができます。これはサポートであり、数値がどこまで下がるかの約束ではありません。

Turnitin レポートでフラグされた段落だけを書き換えるツールはありますか？はい。HumanPen は Turnitin または iThenticate の AI Writing Report をインポートし、ハイライトされた箇所を元の文書に突き合わせ、マッチした段落を表示し、確認したものだけを書き換えます。ファイルは投入時と同じフォーマットで戻ってきます。

手作業でやることもできますか？はい。フラグされた段落が 5〜6 個程度なら、手作業で全く問題ありません。レポートを文書の隣に開き、各ハイライトを見つけて、その段落を自分で書き換え、他はそのままにします。同じスコープのメリットが得られます。ツールの価値は、長い PDF 全体でのマッチングと、その後のファイルの再組み立ての手間を省ける点です。

これは Turnitin だけでなく iThenticate でも使えますか？はい。どちらも AI Writing Report を生成し、両方対応しています。交換できないのは Similarity Report のほうです。あれは全く別のものを測定しています。

ツールが本当にそれを実装しているか、どうテストできますか？レポートのハイライトで、文の途中から始まっているものを見つけてください。そのレポートをツールに放り込み、提案されるスコープを確認します。そこにはその段落全体が含まれていなければならず、前後の段落は、それらもフラグされていない限り含まれていてはいけません。フラグされた正確なスパンだけを提案するツールは、二人で書いたような段落を返すことになります。セクション全体を提案するツールは、実際にはレポートを元にしていません。