Turnitin은 수학 수식과 산문이 아닌 콘텐츠를 어떻게 처리할까요

수학 수식과 공식, 코드 블록은 Turnitin AI 탐지기의 분석 대상이 아닙니다. FAQ에는 이렇게 나와 있습니다. "This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 자격 요건을 갖춘 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법을 갖춘 문장으로 쓰인 텍스트 덩어리만 분석하며, 목록이나 불릿 포인트(문장이 아닌 짧은 구조), 그 밖에 문장이 아닌 구조의 글은 포함하지 않습니다.) 모델에 대해서는 "does not reliably detect AI-generated text in the form of non-prose, or code." (산문이 아닌 형태나 코드 형태의 AI 생성 텍스트는 안정적으로 탐지하지 못합니다.)라고도 합니다. FAQ는 덧붙여 "In addition, we are not pursuing ChatGPT code detection at this time." (또한 현재로서는 ChatGPT 코드 탐지를 추진하지 않고 있습니다.)라고 밝힙니다. 즉, 수식과 공식은 AI 점수에 직접 영향을 주지 않습니다. 점수에는 문서의 산문 부분만 반영됩니다. 수식이 대부분이고 설명이 짧게 붙은 논문이라면, AI 탐지기가 평가하는 텍스트는 매우 적고, 그만큼 점수의 의미도 옅어집니다.

FAQ는 모델이 무엇을 살펴보는지 이렇게 정의합니다.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 자격 요건을 갖춘 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법을 갖춘 문장으로 쓰인 텍스트 덩어리만 분석하며, 목록이나 불릿 포인트(문장이 아닌 짧은 구조), 그 밖에 문장이 아닌 구조의 글은 포함하지 않습니다.)

그다음 문장입니다. "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (이는 여러 가지 서로 다른 유형의 글이 담긴 문서에서는 백분율과 강조 표시 사이에 불일치가 생길 수 있다는 뜻입니다.)

수학이나 공학 논문이라면 이는 수식 자체는 평가되지 않는다는 뜻입니다. AI 탐지 대상이 되는 것은 그 주변의 산문 문장, 즉 설명과 서론, 논의 부분입니다. 수식으로 가득 찬 페이지에 설명이 두 문장뿐이라면, 탐지기가 평가하는 것은 바로 그 두 문장입니다. 그리고 문장을 다시 쓸 때는 정반대의 질문도 생깁니다. AI 휴머나이저에서 인용과 표, 수식이 어떻게 처리되는지.

FAQ는 산문이 아닌 콘텐츠에 대해 분명하게 말합니다.

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (모델은 산문이 아닌 형태나 코드 형태의 AI 생성 텍스트를 안정적으로 탐지하지 못하며, 불릿 포인트(문장이 아닌 짧은 구조)처럼 짧거나 비표준적인 형태의 글도 탐지하지 못합니다.)

FAQ는 또한 이렇게 밝힙니다. "In addition, we are not pursuing ChatGPT code detection at this time." (또한 현재로서는 ChatGPT 코드 탐지를 추진하지 않고 있습니다.)

이공계 논문이라면 실질적인 의미가 있습니다. 코드나 수식을 만들 때 AI 도구를 사용했더라도, AI 탐지기는 그것을 잡아내도록 설계되어 있지 않습니다. 탐지기가 평가하는 것은 주변의 산문이며, 코드나 수식 자체가 아닙니다.

탐지 모델은 자격 요건을 갖춘 텍스트를 서로 겹치는 구간으로 나누어 처리합니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 받으며, 이 값은 해당 텍스트가 사람이 썼을지 AI가 생성했을지의 확률을 나타냅니다.)

구간은 서로 겹치기 때문에 하나의 문장이 여러 점수를 받고, 그 점수들이 모일 수 있습니다. 수식이 촘촘하고 산문이 드문 논문에서는 나눌 산문 문장이 적기 때문에 이 겹침의 이점이 줄어듭니다. 모델이 활용할 데이터 지점이 적어지므로 점수는 덜 안정적일 수 있습니다.

2023년 8월 릴리스 노트에는 모델이 표를 어떻게 처리하는지 나와 있습니다.

"We are now able to process long-form prose text in tables." (이제 표 안에 있는 긴 산문 텍스트도 처리할 수 있습니다.)

그다음 문장입니다. "Resubmit to reprocess existing submissions that contain tables." (표가 포함된 기존 제출물을 다시 처리하려면 재제출하십시오.)

즉, 표에 긴 산문 문장이 들어 있다면 그 문장은 이제 분석됩니다. 다만 표 안의 원자료나 숫자, 짧은 라벨은 산문 문장이 아니므로 자격 요건을 갖춘 텍스트의 정의에서 벗어납니다. 참고문헌 목록도 제외됩니다. 같은 릴리스 노트에 "Bibliographies are now excluded when processing the AI writing report." (AI 작성 리포트를 처리할 때 참고문헌은 이제 제외됩니다.)라고 나와 있습니다. 그다음 문장에서도 기존 제출물은 재제출이 필요하다고 하며, 그래서 오래된 리포트는 지금도 Turnitin이 참고문헌을 표시한 것처럼 보일 수 있습니다.

흔한 혼란 가운데 하나는 유사성 검사에서 표시된 수학 내용이 AI 점수에도 영향을 주는지입니다. 영향을 주지 않습니다. FAQ는 이렇게 밝힙니다.

"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사성 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로 영향을 주지 않습니다.)

수식이 유사성 데이터베이스의 자료와 일치하더라도, 그것이 영향을 주는 것은 AI 점수가 아니라 유사성 점수입니다. AI 탐지기는 유사성 검사에서 무엇이 나왔는지와 무관하게 산문만을 AI 생성 패턴에 대해 살펴봅니다. 여기서 피해야 할 실수는 두 점수를 같은 것으로 읽는 것입니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다.

• 수학 수식과 공식은 AI 탐지기의 분석 대상이 아닙니다. 자격 요건을 갖춘 산문 문장만 해당됩니다.
• FAQ에 따르면 모델은 산문이 아닌 콘텐츠나 코드를 안정적으로 탐지하지 못하며, 코드 탐지도 추진하지 않고 있습니다.
• 긴 산문이 담긴 표는 이제 처리되지만, 원자료와 짧은 라벨은 처리되지 않습니다.
• 참고문헌 목록은 AI 탐지 처리에서 제외됩니다.
• AI 점수와 유사성 점수는 완전히 독립적이며 서로 영향을 주지 않습니다.
• 수식이 촘촘하고 산문이 드문 논문은 모델이 평가할 텍스트가 적어 점수가 덜 안정적일 수 있습니다.

이공계 논문에 대한 Turnitin 리포트를 받았고 표시된 산문 부분을 손보고 싶다면, 리포트를 가져와 그 부분을 다듬으십시오. 요건을 갖춘 문단은 무료로 다시 실행할 수 있습니다.