영어 논문에서의 AIGC 탐지: 의미와 작동 방식

영어 논문에 대한 AIGC 탐지는 AI 작성 탐지와 같은 과정을 가리킵니다. Turnitin 탐지기는 텍스트를 서로 겹치는 구간으로 나누고, 각 구간이 사람이 썼거나 AI가 생성했을 확률을 분류한 뒤, 그 점수들을 모아 문서 단위 비율로 집계합니다. "AIGC"(AI 생성 콘텐츠)라는 용어는 중국 학계에서 흔히 쓰이지만, 무엇이라 부르든 탐지 메커니즘은 같습니다. 탐지기는 특정 AI 도구의 고유 신호나 워터마크를 찾지 않습니다. 읽어 내는 것은 단어 선택에 나타나는 통계적 패턴, 구체적으로는 학습 과정에서 익힌 단어 확률 패턴입니다. AI 점수는 유사도(표절) 점수와 완전히 별개이며, AI 표시를 볼 수 있는 사람은 교수자와 관리자뿐입니다.

Turnitin FAQ는 탐지 처리 과정을 이렇게 설명합니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 탐지 모델이 분류하고, 해당 텍스트가 사람이 썼을 가능성 또는 AI가 생성했을 가능성을 나타내는 0에서 1 사이의 값을 받습니다. 이 구간에 속한 대상 문장은 각각 구간의 점수를 물려받습니다. 구간이 겹치기 때문에 여러 점수를 갖는 문장도 있고, 그 점수들은 하나로 합쳐집니다. 이 문장 점수들은 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 사용됩니다.)

탐지기가 "AI처럼 보이는" 특정 문구를 찾아다니는 것은 아닙니다. 학습 데이터에서 통계적 패턴을 익힌 모델로 텍스트 구간을 분류하고 있을 뿐입니다. 구간마다 확률이 부여되고, 그 확률들이 모여 하나의 비율로 집계됩니다. 그 비율은 모델이 AI가 생성했을 가능성이 높다고 분류한, 대상 텍스트의 비율을 나타냅니다.

FAQ의 서술 두 가지가 모델의 접근 방식을 분명히 합니다. 첫째, "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (저희 모델은 “burstiness”, “perplexity” 또는 공개적인 논의에서 때때로 언급되는 다른 개별 지표와 같은 특정 신호를 평가하도록 명시적으로 프로그래밍되지 않았습니다.) 그다음 문장은 이렇습니다. "Instead, it learns statistical patterns from our training data." (대신 저희 학습 데이터에서 통계적 패턴을 학습합니다.) 둘째, "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (저희 분류기는 단어 확률에서 나타나는 이러한 차이를 감지하도록 학습되었으며, 사람 필자가 보여 주는 특유의 단어 확률 배열에도 능숙합니다.)

모델은 버스티니스나 퍼플렉서티처럼 이름 붙은 지표를 계산하지 않습니다. 다만 단어 확률 데이터로 학습되어 있습니다. 익히는 패턴은 단어가 어떻게 선택되고 배열되는지에 드러나며, 문장 길이의 변화나 어휘의 다양성 같은 표면적 특징에 드러나는 것이 아닙니다. 그래서 단어 몇 개를 바꾸거나 연결어를 넣는 정도의 표면적 수정으로는 점수가 바뀌지 않을 수 있습니다. 탐지기는 단어 배열의 더 깊은 통계적 특징을 읽으며, 이에 대해서는 퍼플렉서티와 버스티니스 외에 AI 탐지기가 측정하는 것에서 다룹니다.

FAQ는 분석 대상이 되는 텍스트가 무엇인지 이렇게 정합니다.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 대상 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법에 맞는 문장으로 쓰인 텍스트 덩어리만 분석하며, 목록, 불릿 포인트(문장이 아닌 짧은 구조) 또는 그 밖의 비문장 구조와 같은 다른 유형의 글은 포함하지 않습니다.)

그다음 문장은 이렇습니다. "This percentage is not necessarily the percentage of the entire submission." (이 비율이 반드시 제출물 전체의 비율을 뜻하는 것은 아닙니다.)

영어 학술 논문의 경우, 방법론 표, 수식 블록, 그림 캡션, 참고문헌 목록은 AI 분석에서 대부분 제외됩니다. 비율은 원고의 산문 부분에만 적용됩니다. 표와 수식이 많은 논문은 대상 텍스트가 적기 때문에, AI 비율이 문서에서 차지하는 몫은 겉보기보다 작습니다. Turnitin AI 작성 리포트 읽는 법에서는 그 차이가 페이지의 어디에서 드러나는지 하나씩 짚어 봅니다.

두 점수는 서로 다른 측정값입니다.

"The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사도 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로에게 영향을 주지 않습니다.)

유사도 점수는 내 텍스트가 데이터베이스에 있는 기존 자료와 얼마나 겹치는지를 보여 줍니다. AIGC 점수는 내 텍스트 중 모델이 AI가 생성했을 가능성이 높다고 분류한 비율을 보여 줍니다. 유사도는 높고(제대로 인용한 자료 때문에) AIGC 점수는 낮은 논문이 있을 수 있고, 반대로 유사도는 낮고 AIGC 점수는 높은 논문도 있을 수 있습니다. 한쪽을 손봐도 다른 쪽에는 영향이 없습니다. AIGC 점수를 낮추려고 유사도 점수를 낮춰도 도움이 되지 않고, 그 반대도 마찬가지입니다. 대개는 두 점수를 같은 것으로 읽는 데서 문제가 시작됩니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다.

• 영어 논문의 AIGC 탐지는 AI 작성 탐지와 같은 방식으로 작동합니다. 산문 구간의 단어 확률 패턴을 분류하는 것입니다.
• 모델은 버스티니스나 퍼플렉서티를 이름 붙은 지표로 계산하지 않지만, 단어 확률 데이터로 학습되어 있습니다.
• 산문 문장만 분석됩니다. 표, 수식, 참고문헌 목록은 대부분 제외됩니다.
• AIGC 점수와 유사도 점수는 완전히 독립적입니다. 한쪽을 바꿔도 다른 쪽은 변하지 않습니다.
• AI 표시를 볼 수 있는 사람은 교수자와 관리자뿐입니다. 학생은 교수자에게 PDF 버전을 요청할 수 있습니다.

어느 부분이 표시되었는지 보여 주는 Turnitin 또는 iThenticate 리포트가 있다면, 리포트를 불러온 뒤 해당 부분만 작업하세요. 조건에 맞는 부분은 무료로 다시 실행하실 수 있습니다.