中国語から英語に訳すと、Turnitin に AI と判定されるのか

中国語で下書きし、それを英語に訳す学生は多い。訳された文章は均質で、文法は正しくても起伏に欠ける読み心地になりやすい。そしてそれは Turnitin が検出するパターンと重なる。ここでは、検出器が実際に何を見ているのか、第二言語の学習データについて Turnitin が何を主張しているのか、そしてどの誤判定パターンに注意すべきかを説明する。

HumanPen チーム

· 5 分

Turnitin が実際に分析しているもの

最初の問いは、Turnitin に「これは翻訳だ」とそもそも分かるのか、というものだ。答えは、検出器が何を見ているのかから始まる。Turnitin は提出物のあらゆる部分を同じように分析しているわけではない。

ドキュメントにはこうある。"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(この対象テキストには散文の文だけが含まれる。つまり、標準的な文法的な文として書かれたテキストの塊だけを分析の対象とし、箇条書きや項目記号(文になっていない短い構造)など、それ以外の種類の文章は含まれない。)

次の文がこう続く。"This percentage is not necessarily the percentage of the entire submission."(この割合は、提出物全体に対する割合とは限らない。)

つまり検出器が評価するのは完成品であって、執筆の過程ではない。最初に中国語で書いたか、辞書を使ったか、機械翻訳を使ったかは関係なく、提出された文書に入っている散文が問題になる。検出器は翻訳のメタデータを見ていない。見ているのは文だ。英語以外の提出物をどう扱うかは別の問題で、Turnitin は英語以外の提出物の AI を検出できるのかで扱っている。

訳した散文が標準的な文法的な文でできているなら、その文が対象テキストになる。検出器が採点するのはそこだ。英語で一から書いた文と、中国語から訳した文を、検出器には見分けられない。目にするのは最終的なテキストだけだ。

第二言語の書き手について Turnitin が主張すること

中国語を母語とする学生によくある不安は、第二言語特有の書き方が AI のパターンとして扱われるのではないかというものだ。Turnitin はこれを学習データで対処したと主張している。

ドキュメントにはこうある。"While creating our sample dataset, we also took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments, and less common subject areas such as anthropology, geology, sociology, and others to minimize bias when training our model."(サンプルデータセットの作成にあたっては、統計的に十分に代表されていない集団——第二言語の学習者、非英語圏の英語使用者、多様な学生構成の大学に通う学生、そして人類学・地質学・社会学などの一般的でない専門分野——も考慮に入れ、モデルの学習時にバイアスを抑えるようにした。)

ここは正確に述べておきたい。Turnitin が主張しているのは、バイアスを抑えるために第二言語の学習者を学習データに含めたということだ。この主張は第三者によって検証されたわけではない。翻訳文が決して検出されないことを保証するものでもない。言っているのは、モデルの学習時に第二言語の書き方を考慮しようとした、ということにすぎない。

実践的な結論はこうだ。Turnitin 自身の主張によれば、第二言語の書き手であること自体が高い AI スコアに直結するわけではない。検出器は第二言語のパターンと AI のパターンを区別する建前になっている。それが常にうまくいくかは別の問題で、非母語話者が AI 検出器によく検出される理由が外部の研究結果を検討している。

翻訳が引き起こしうる誤判定のパターン

Turnitin が第二言語の文章に配慮していると主張していても、翻訳文が誤判定を招くことはありうる。翻訳は、Turnitin が問題視するパターンをちょうど作り出してしまうからだ。

ドキュメントにはこうある。"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(誤判定(人が書いたテキストを AI 生成と誤って示すこと)には、構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、新しい考えを展開せずに言い換えただけのテキストが含まれることがある。)

次の文はこうだ。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(そのようなテキストで当社の指標が AI 執筆の割合を高めに示す場合は、示されたパーセンテージを見る際にその点を考慮に入れることをお勧めする。)

翻訳の仕組みを思い浮かべてほしい。中国語の文を一つずつ英語に訳していくと、出来上がるテキストは文の構造がそろいがちだ。訳者にせよ翻訳ツールにせよ、文法的には正しく、構造の似通った文を並べていく。専門用語が文をまたいで繰り返されることもある。翻訳は全体を通じて同じ文体を保つため、声は平坦で均一なままになりやすい。

これらは、Turnitin が説明しているパターンそのものだ。構造の均質さ、繰り返し、展開のない言い換え。検出器には、それが翻訳から生じたことは分からない。パターンを見て、指摘することがある。

完成したテキストが決め手になる理由

検出器が分析するのは提出されたテキストであって、その背後にある過程ではない。ドキュメントは、対象テキストは "includes only prose sentences."(散文の文だけを含む)と説明している。つまり、検出器は最終文書の散文ブロックを評価しているということだ。

翻訳したなら、分析されるのは訳された散文だ。検出器はあなたの英語を中国語の原文と照合しない。下書きにも翻訳の過程にもアクセスできない。提出物に現れた文を、そのまま採点する。

だからこそ翻訳はリスク要因になりうる。翻訳文は文法がきれいでも、構造の変化に乏しいことがある。とくに機械翻訳のツールは、修辞的な変化より流暢さを優先するぶん、同じ文型を繰り返しがちだ。機械翻訳は Turnitin に AI と判定されるのかはこのケースを単独で扱っている。結果として、読みやすくはあるが均質な散文になる。そしてそれこそが、Turnitin が AI 生成の可能性ありと示す特徴だ。

翻訳するときのリスクを下げるには

中国語から英語に訳すなら、取れる実践的な手順がある。

翻訳したら、英語の散文を構造の変化という観点から見直す。長く均質な文は短く分割する。どの文も同じ出だしにならないよう、節の順序を組み替える。意味が変わらない範囲で、繰り返し現れる専門用語の言い回しを変える。

自分自身の分析的な声を加える。翻訳文は原文の中立的で説明的な調子を保ちがちだ。自分の立場を示す、資料を比較する、限界を指摘する——そうした評価の文を差し込む。この分析の動きが生み出すのは、Turnitin の誤判定の説明で欠けているとされるもの、すなわち言い換えを超えて展開された新しい考えだ。

機械翻訳の出力を最終稿にしてはならない。最初の下書きとして扱い、ほかの下書きと同じように手を入れる。ツールなしで AI テキストを人の文章に近づける方法は、どの編集が実際に統計を動かし、どれが動かしているように見えるだけなのかを整理している。目指すのは、構造に変化があり、独自の分析を展開し、道具が変換したのではなく人が書いたように読める散文だ。

いますぐできること

書いたものを英語に訳し、AI 検出の指摘を受けたなら、次の手順を踏んでほしい。

  1. Turnitin が分析するのは完成した文書の散文であって、翻訳の過程ではないことを押さえておく。
  2. Turnitin は第二言語の学習者を学習データに含めたと主張しているが、それは第三者による検証を経ていない、と押さえておく。
  3. 訳した文章を誤判定のパターン——構造の均質さ、繰り返し、新しい考えのない言い換え——と照らし合わせる。
  4. 再提出する前に、指摘された散文に構造の変化と独自の分析を加える。

条件を満たす箇所は無料で再判定できる。訳した部分を手直しし、追加の費用なしで結果を確認できるということだ。

続きを読む