Turnitinは数式や散文以外の内容をどう扱っているのか

数式、公式、コードブロックは、TurnitinのAI検出器の分析対象ではありません。FAQにはこうあります。「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この条件を満たすテキストには散文の文のみが含まれます。つまり、標準的な文法的な文として書かれたテキストのかたまりだけを分析の対象とし、リストや箇条書きのような文になっていない短い構造など、それ以外の種類の文章は含みません。）モデルについてはさらに、「does not reliably detect AI-generated text in the form of non-prose, or code.」（散文以外のかたち、あるいはコードのかたちをしたAI生成テキストは、確実には検出しない。）とも書かれています。FAQはまた、「In addition, we are not pursuing ChatGPT code detection at this time.」（さらに、現時点ではChatGPTのコード検出には取り組んでいません。）とも付け加えています。つまり、数式や公式がAIスコアに直接影響することはありません。スコアに反映されるのは、文書のうち散文の部分だけです。数式が中心で説明が少ししかない論文では、AI検出器が評価するテキストはごくわずかになり、スコアの意味は薄れます。

FAQは、モデルが何を調べるのかを次のように定義しています。

「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この条件を満たすテキストには散文の文のみが含まれます。つまり、標準的な文法的な文として書かれたテキストのかたまりだけを分析の対象とし、リストや箇条書きのような文になっていない短い構造など、それ以外の種類の文章は含みません。）

その次の文です。「This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.」（これは、複数の異なる書き方が混ざっている文書では、パーセンテージとハイライトの間に食い違いが生じることを意味します。）

数学や工学の論文であてはめると、数式そのものは評価されないということです。AI検出の対象になるのは、その周りにある散文の文、つまり説明や導入、考察の部分です。数式がびっしり並んだページに説明が二文しかなければ、検出器が評価するのはその二文だけです。書き直しを考えるときには、裏返しの疑問も出てきます。AIヒューマナイザーで引用や表、数式がどう扱われるか。

FAQは、散文以外の内容について率直に述べています。

「The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures).」（モデルは、散文以外のかたちやコードのかたちをしたAI生成テキストを確実には検出しません。また、箇条書きのような文になっていない短い構造など、短い形式や型にはまらない文章も検出しません。）

FAQはまた、次のようにも述べています。「In addition, we are not pursuing ChatGPT code detection at this time.」（さらに、現時点ではChatGPTのコード検出には取り組んでいません。）

これは理系の論文にとって、実用的な意味を持ちます。コードや数式を作るためにAIツールを使っていたとしても、AI検出器はそれを見つけるようには作られていません。検出器が評価するのはまわりの散文であって、コードや数式そのものではありません。

検出モデルは、条件を満たすテキストを重なり合うかたまりに分割して処理します。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.」（論文がTurnitinに提出されると、提出物から文が取り出され、予測分析のために重なり合うセクションへと分割されます。各セクションはAI検出モデルによって分類され、0から1の値が与えられます。これは、そのテキストが人間によるものかAIによるものかを示す確率を表します。）

セクションは重なり合うため、1つの文が複数のスコアを受け取り、それらがまとめられることがあります。数式が密で散文が少ない論文では、分割できる散文の文が少ないぶん、この重なりの利点が弱まります。モデルが使えるデータ点が減るため、スコアは不安定になりがちです。

2023年8月のリリースノートに、モデルが表をどう扱うかが書かれています。

「We are now able to process long-form prose text in tables.」（表の中にある長めの散文テキストを処理できるようになりました。）

その次の文です。「Resubmit to reprocess existing submissions that contain tables.」（表を含む既存の提出物を処理し直すには、再提出してください。）

つまり、表の中に長めの散文の文があれば、その文は現在は分析されるということです。ただし、表の中の生データや数値、短いラベルは散文の文ではないため、条件を満たすテキストの定義から外れます。参考文献リストも対象外です。同じリリースノートに「Bibliographies are now excluded when processing the AI writing report.」（AIライティングレポートの処理において、参考文献リストは除外されるようになりました。）とあります。その次の文でも、既存の提出物には再提出が求められています。だからこそ、古いレポートでは今もTurnitinが参考文献を指摘したかのように見えることがあります。

よくある混乱のひとつが、類似性チェックで指摘された数式がAIスコアにも影響するのかというものです。影響しません。FAQにはこうあります。

「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似性スコアとAIライティング検出のパーセンテージは完全に独立しており、互いに影響しません。）

数式が類似性データベースの文献と一致しても、それが影響するのは類似性スコアであって、AIスコアではありません。AI検出器は、類似性チェックが何を見つけたかに関係なく、散文だけをAI生成のパターンについて調べます。ここで避けたいのが、二つのスコアを同じものとして読んでしまうことです。

ここまで見てきたことをまとめると、次のようになります。

• 数式や公式はAI検出器の分析対象ではありません。対象になるのは条件を満たす散文の文だけです。
• FAQによれば、モデルは散文以外の内容やコードを確実には検出せず、コード検出にも取り組んでいません。
• 長めの散文を含む表は現在は処理されますが、生データや短いラベルは処理されません。
• 参考文献リストはAI検出の処理から除外されます。
• AIスコアと類似性スコアは完全に独立しており、互いに影響しません。
• 数式が密で散文が少ない論文は、モデルが評価できるテキストが少ないため、スコアが不安定になることがあります。

理系の論文でTurnitinのレポートを受け取り、指摘された散文の箇所に対応したい場合は、レポートを取り込んで、そこを手直ししてください。条件を満たす箇所は無料で再実行できます。