正しく引用して出典も書いたのに、Similarity Report に一致として表示されるのはなぜか
引用符も出典も正しいブロックが一致として表示されると、バグのように感じます。たいていはバグではありません。その間には文書化された「認識」という工程があり、抜け落ちる可能性があるのはまさにこの工程です。
HumanPen チーム
· 8 分
短い答え
すべての一致は、ソフトウェアがその周囲で引用符と文中の出典を検出できたかどうかに応じて、四つのグループのどれかに振り分けられます。引用も引用符もなし、引用符なし、出典なし、出典ありかつ引用符あり、の四つです。この検出は機械学習モデルであり、限界が公表されています。学習データは英語、出典の認識対象は名前が挙げられている四つの形式、認識できる引用符は七つの特定の形だけ、そして一致箇所から遠く離れた出典は見落とされる可能性があります。帰属は正しいのに形が違う箇所は、誤ったグループに入ります。
まずは数値から。多くの人が思っているものとは違います
類似性の総合値には、頭に入れておける定義があります。文書内の総語数で一致語数を割ったものです。この式は何も重み付けせず、帰属が明記されているからといって何も差し引きません。
この数値を動かしているのはまったく別の仕組みであり、しかも自分では設定できません。同じヘルプサイトに除外フィルターのガイドがあり、五つ挙げられています。exclude bibliography(参考文献リストを除外)、exclude quoted text(引用符内のテキストを除外)、exclude cited text(出典付きテキストを除外)、exclude small matches(小さな一致を除外)、exclude small sources(小さなソースを除外)です。ここで最も重要なのは二つ目です。これは「ignores text enclosed in quotation marks or formatted as block quotes, preventing properly quoted material from appearing as matches」(引用符で囲まれたテキストやブロッククオート形式のテキストを無視するため、正しく引用された内容が一致として表示されなくなる)というもので、ファイルが .doc または .docx の場合はインデントされたブロックも対象になります。
これは、タイトルの問いに対する答えの半分にすでになっています。正しく引用した段落が表示されるのは、そのフィルターを誰も有効にしていないから、という場合があるのです。有効だったかどうかはチェックを実行した人が決めることであり、送られてくる数値には載りません。
分母は押さえておく価値があります。同じプラットフォームの AI 作成インジケーターは、この分母を使っていません。そのパーセンテージはファイル全体ではなく、対象となる散文に対して計算されます。だからこそ、その数値とハイライトが釣り合わないように見えることがあります。二つの数値、二つの分母です。この二つはSimilarity スコアと AI 作成スコアを並べて読むで並べています。
何よりも先に知っておきたい基準が一つあります。Similarity Report がそもそも作成されるには、提出物に最低 20語が必要です。
そして、ドキュメントの冒頭にある、見落としがちな位置づけの一文があります。「Highlighted matches are instances of text similarity; they do not always indicate plagiarism. The match could be a quote or cited material listed in a bibliography.」(ハイライトされた一致はテキストの類似性の事例であり、常に盗作を示すわけではありません。その一致は引用、あるいは参考文献一覧に載っている出典付きの内容である可能性があります。)
四つのグループ
Match Groups は、一致箇所がどのように帰属されているかによって総合類似性を分割します。ドキュメント自身の言い方では、次のようになります。
- Not Cited or Quoted(出典なし・引用符なし)— 「that are not written as a quotation or has no citation to its original source」(引用として書かれていない、または元の出典への言及がないもの)に当てはまる一致。
- Missing Quotations(引用符なし)— 「This text is cited, but the match is so exact that it may also require quotation marks.」(このテキストには出典があるが、一致が非常に精密なため引用符も必要になる可能性がある。)
- Missing Citation(出典なし)— 「This text is written as a quote, but lacks a citation to its original source.」(このテキストは引用として書かれているが、元の出典への言及がない。)
- Cited and Quoted(出典あり・引用符あり)— 「This text contains a quotation and is cited to a source.」(このテキストは引用を含み、出典が示されている。)
目的として示されているのは、査読する人が「distinguish between integrity issues, teachable moments, and properly-included source text」(整合性の問題、指導の機会、正しく組み込まれた引用元のテキストを区別できるようにすること)です。つまり、ある一致がどのグループに入るかは、人が原稿をどう読むかに実際に影響します。おそらく、一番上のパーセンテージよりも影響は大きいでしょう。
つまり実務上の問いは、「なぜこの一致が出たのか」ではなく、「この一致はどのグループに入ったのか、そしてそれは正しいグループなのか」になります。
判定の仕組みと、見落とす箇所
ここは文書化されているのに、他のどこでもほとんど繰り返されていない部分です。
出典と引用符の認識はルールではなく、学習済みのモデルです。ガイドには、機械学習技術が「to recognize in-text citations and quotation marks associated with matched text」(一致テキストに伴う文中の出典と引用符を認識するため)に使われているとあります。そして提供元は自らの誤り率を平易な言葉で示しています。「Since there are innumerable ways to include in-text citations and quotation marks, the Similarity Report won't get it right every time.」(文中の出典や引用符の入れ方は無数にあるため、Similarity Report が毎回正しく判定できるわけではない。)
そこから、文書化された三つの限界が導かれます。
英語限定です。 「The technology that powers Match Groups is trained on English content, and this functionality is currently only available for submissions in English.」(Match Groups を動かす技術は英語のコンテンツで学習されており、この機能は現在、英語の提出物にのみ利用できます。)
出典の学習対象は四つの形式です。 「Citation recognition models have been trained on citations in certain formats: APA, MLA, Turabian, and IEEE numbered citations and references. If a citation is included for a match but is not in one of these formats, the report may--but is less likely to--recognize those as citations.」(出典認識モデルは、APA、MLA、Turabian、および IEEE の番号付きの引用と参考文献という特定の形式の出典で学習されています。一致に出典が付いていても、それがこれらの形式のいずれでもない場合、レポートはそれを出典として認識するかもしれませんが、その可能性は低くなります。)
この一覧を、自分の専門分野に照らして読んでみてください。Vancouver、Chicago の著者-年方式、Harvard とその多数の独自バリエーションは載っていません。決して認識されないという意味ではありません。文言は「less likely」(可能性は低い)です。ただし、この四つ以外の形式で書いている場合、帰属を明記した引用が帰属ありとして読まれる確率は下がると文書化されています。実際にどの形式を求められているかはそれ自体が厄介な問題で、自分の Harvard 参照形式はどれかと分野別の引用形式の選び方で取り上げました。
距離が関係します。 「Citations may not be recognized if they are placed very far from the matched text.」(出典が一致テキストから非常に離れた場所にある場合、認識されないことがあります。)次の段落の末尾に出典があるブロッククオートは、まさにこのケースです。
認識される引用符
Match Groups のページに明示されている七つの形です。
- 直線の二重引用符: "…"
- 曲線の単一引用符: ‘…’
- ギュメ: «…»
- 逆向きのギュメ: »…«
- 下げ上げの二重引用符: „…“
- 二重かぎ括弧: 『…』
- かぎ括弧: 「…」
この一覧は注意して写してください。二重引用符の項目は直線のもので、単一引用符の項目は曲線のペアです。そして同じヘルプサイトの除外フィルターのガイドには、また別の一覧が出ています。八項目で、曲線ではなく直線の単一引用符、《…》と〈…〉が追加され、「…」が消えています。一つのヘルプサイトに二つの公開された一覧、両者を合わせると十種類の異なる形、そしてどちらのページも他方に言及していません。
これを、どの形を使うべきかという規則にしないでください。自分で校閲した原稿と、アップロードするファイルの間で、引用符を何も変えないという規則にしてください。
さらに、失敗のパターンが一つはっきり書かれています。「Quotation marks are not recognized if they are separated from the text by a space (for example, " this improperly quoted text").」(引用符が空白でテキストから離れている場合、その引用符は認識されません。例:" this improperly quoted text")
これはこの記事の中で最も確認しやすい点です。始まりの引用符の後に入った一つの空白——PDF からのコピー&ペーストで残ってしまうものや、段落の再配置で入り込むもの——があるだけで、一致は Cited and Quoted から Missing Quotations に移ります。
引用符が認識されない場合、その一致は出典が検出されたかどうかによって「Missing Quotations」(引用符なし)または「Not Cited or Quoted」(出典なし・引用符なし)に落ちます。二つの失敗は重なります。
複数の候補が一致したとき、どのソースが名前として出るか
同じ語句が複数のソースと一致する場合、レポートは最初に表示するものを一つ選びます。優先順位は公開されていて、Internet、次に Publications、次に Submitted Works です。
この順序は、自分の原稿を見ていると直感に反することがあります。公開論文から正しく取った一文が、カード上ではその論文を転載したウェブサイトに帰属することがあるからです。残りを表示する「Show overlapping sources」(重複するソースを表示)という操作部品があり、個々のカードには View other sources(他のソースを見る)という操作があります。
一致に異議を唱える前に知っておく価値があります。カードに名前が出るソースは最も強い一致であって、必ずしも自分が使ったソースではありません。
自分の原稿を二十分で見直す
これらはどれもレポートへのアクセスを必要としません。提出しようとしているファイルの中でできます。
- すべての直接引用を見つけ、始まりの引用符が最初の文字に隙間なく接しているかを確認してください。引用符の直後に空白が続いていないかを検索します。
- 引用符の形を確認し、変換後にもう一度確認してください。 テンプレート、PDF、共著者のエディタを経由すると、直線が曲線に勝手に置き換わります。翻訳原稿では、公開されている二つの一覧のどちらにも載っていない形が入っていることがあります。
- 出典を近づけてください。 引用の出典が次の文や次の段落の末尾にあるなら、引用箇所のすぐ隣に移動させます。
- 自分の引用形式を控えておいてください。 APA、MLA、Turabian、IEEE の番号式のいずれでもない場合、認識の信頼性は下がると考え、レポートが自動で分類してくれると思わずに、自分で説明できるようにしておきましょう。
- それでも一致が残るものについては、ハイライトの色ではなくソースのカードを確認してください。名前が出ているソースは最も強い一致であり、実際に使ったソースではない可能性があるからです。
レポートの二つの半分の間の線
レポートの類似性の側は私たちの領域ではありませんし、書き換えが解決策になるわけでもありません。ある箇所が一致したのが引用だからだとすれば、答えは帰属の明示です。引用の語句を変えれば、ただ質の悪い引用になるだけです。
HumanPenというツール はもう一方の指標に働きかけます。原稿が AI 作成率と具体的なハイライト箇所付きで戻ってきたとき、そのレポートを取り込むことで、どの段落を開くべきかが伝わります。
レポートに二つの数値が載っているなら、それは別の問題であり、別の対処法が必要です。一つとして扱うと、引用符を一組動かすだけで済んだ引用を書き換える羽目になります。
よくある質問
引用は正しく出典も書いたのに、まだ一致として表示されます。これはおかしいのでしょうか。 必ずしもおかしくはありません。ドキュメントは、ハイライトされた一致はテキストの類似性の事例であり常に盗作を示すわけではないとしています。また、引用テキスト用の除外フィルターが別にあり、それは誰かが有効にする必要があります。それが無効なら、正しく引用された内容が一致するのは想定どおりです。そのとき問題になるのは、四つの一致グループのどれに入るかです。
レポートは私の引用形式を理解しますか。 出典認識は APA、MLA、Turabian、IEEE の番号式で学習されていると文書化されています。他の形式でも認識される可能性はありますが、ガイドはその可能性は低いとしています。
なぜ私の引用符は反映されなかったのですか。 認識される形は一覧になっており、失敗のパターンが一つ明示されています。空白でテキストから離れた引用符は認識されません。始まりの引用符の直後に空白がないか確認してください。
これらは英語以外で書かれた原稿にも当てはまりますか。 Match Groups は英語のコンテンツで学習されており、英語の提出物にのみ利用できると文書化されています。
続きを読む