비원어민의 글이 AI로 표시되었다면? 문서에 적힌 내용

영어를 모국어로 하지 않는 사람도 직접 쓴 글에 대해 AI 표시를 받을 수 있습니다. Turnitin FAQ는 모델의 학습 데이터가 "took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries" (둘째 언어로 영어를 배우는 학습자나 영어권이 아닌 나라에서 영어를 쓰는 사람처럼 통계적으로 과소 대표된 집단을 고려했다)고 하며, 편향을 줄이기 위한 조치를 취했다고 설명합니다. 이는 기업 스스로의 주장이며 독립적으로 검증된 것은 아닙니다. 탐지기는 여전히 산문 텍스트의 단어 확률 패턴을 분류하는 방식으로 작동합니다. 비원어민에게 가르치는 형식적인 학술 영어는 정해진 틀과 표준적인 연결 표현을 강조하기 때문에 구조적 변화가 적은 글을 만들어냅니다. 그런데 그 특징은 Turnitin이 스스로 밝힌 오탐 가능성이 높은 텍스트 유형 목록에 들어 있습니다. 따라서 표시를 받았다고 해서 영어가 너무 능숙하다거나 너무 기계적이라는 뜻은 아닙니다. 여러분 글의 통계적 특성이 모델이 AI와 연관 짓는 패턴과 겹쳤다는 뜻입니다.

FAQ는 편향 문제를 직접 다룹니다:

"While creating our sample dataset, we also took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments, and less common subject areas such as anthropology, geology, sociology, and others to minimize bias when training our model." (저희는 표본 데이터세트를 만들면서 모델 학습 시 편향을 줄이기 위해 통계적으로 과소 대표된 집단도 함께 고려했습니다. 둘째 언어로 영어를 배우는 학습자, 영어권이 아닌 나라에서 영어를 쓰는 사람, 학생 구성이 다양한 대학에 다니는 학생, 그리고 인류학·지질학·사회학처럼 흔하지 않은 전공 분야 등이 여기에 포함됩니다.)

이것은 Turnitin이 자사 학습 방법론을 설명한 내용입니다. 주장의 요지는 둘째 언어로 쓴 글이 학습 데이터에 반영되었다는 것입니다. 다만 이 주장에는 둘째 언어로 쓴 글에서 모델이 실제로 얼마나 잘 작동하는지 보여 주는 수치나 시험 결과, 외부 검증이 전혀 없습니다. FAQ는 원어민과 비원어민으로 나눈 오탐율도 공개하지 않습니다. 즉 다양한 데이터를 사용했다는 주장만 있을 뿐, 그 노력이 얼마나 효과가 있었는지는 공개 문서만으로는 독립적으로 측정할 수 없습니다.

탐지 과정은 모든 텍스트에 대해 동일합니다:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 탐지 모델이 분류하고, 해당 텍스트가 사람이 썼거나 AI가 썼을 가능성을 나타내는 0에서 1 사이의 값을 받습니다. 이 구간 안에서 조건을 충족하는 각 문장은 구간의 점수를 물려받습니다. 구간이 겹치기 때문에 여러 점수를 받는 문장도 있으며, 이 점수들은 하나로 합쳐집니다. 이렇게 정리된 문장 점수는 다시 집계되어 문서 전체의 AI 집필 점수를 계산하는 데 사용됩니다.)

탐지기는 여러분의 언어적 배경을 알지 못합니다. 단어의 배열을 읽고 분류할 뿐입니다. 형식적인 영어 교육으로 형성된 여러분의 작성 패턴이 모델이 AI 생성 텍스트와 연관 짓도록 학습한 확률 배열과 겹치면, 점수는 예상보다 높게 나올 수 있습니다. 이러한 패턴이 무엇인지는 AI 탐지기가 perplexity와 burstiness 외에 무엇을 측정하는지에서 다룹니다.

FAQ는 오탐 가능성이 높은 텍스트를 이렇게 나열합니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때때로 오탐, 즉 사람이 쓴 글을 잘못해 AI가 생성한 것으로 표시하는 일은 구조적 변화가 거의 없는 내용, 글자 그대로 반복되는 문장, 또는 새로운 생각을 전개하지 않고 표현만 바꾼 글에서 발생할 수 있습니다.)

그다음 문장입니다: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (저희 지표가 이러한 텍스트에서 AI 집필 비중이 더 높게 나타낸다면, 표시된 비율을 보실 때 그 점을 고려하시기를 권합니다.)

비원어민을 위한 영어 교육은 정형화된 학술 틀을 강조하는 경우가 많습니다. 학습자는 표준 문형, 형식적인 연결 표현, 균일한 단락 구조를 익힙니다. 그 결과 FAQ가 오탐 가능성이 높다고 설명한 바로 그 균일성을 지닌 글이 나옵니다. 이 겹침은 의도된 것이 아닙니다. 비원어민에게 학술 영어가 어떻게 가르쳐지는지, 그리고 탐지기가 텍스트를 어떻게 규정하는지에 따른 결과일 뿐입니다. 그렇다면 쓰는 방식을 바꾸는 것이 옳은 대응인가. 그것은 또 다른 문제입니다: 표시를 피하려고 쓰는 방식을 바꿔야 할까

FAQ는 다음과 같이 밝힙니다:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (그러므로 AI 집필 지표의 비율은 조치를 결정하는 유일한 근거로, 또는 교수자가 최종 평가 기준으로 사용해서는 안 된다는 점을 반드시 강조하고자 합니다.)

직접 쓴 글이 표시를 받았다면 교수자와 대화할 근거가 있습니다. FAQ가 제시한 오탐 가능성이 높은 텍스트 설명을 가리키고, 자신의 집필 과정을 설명하며, 점수는 여러 자료 가운데 하나일 뿐이라고 말할 수 있습니다. 학습 데이터의 다양성에 관한 주장을 언급할 수도 있지만, 그것이 오탐을 면하게 해 주는 것은 아니라는 점은 솔직하게 말해야 합니다. 그 근거를 어떻게 구성하는지는 표시되었지만 직접 썼다에서 다룹니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다:

• Turnitin은 학습 데이터에 둘째 언어 학습자가 포함되었다고 주장하지만, 효과를 확인할 수 있는 수치는 제시하지 않습니다.
• 탐지기는 언어적 배경과 무관하게 단어 확률 패턴을 읽습니다.
• 비원어민에게 흔한 형식적인 학술 문체는 오탐을 유발하기 쉬운 특징과 겹칠 수 있습니다.
• FAQ는 점수가 조치의 유일한 근거가 되어서는 안 된다고 말합니다.
• 표시를 받았다면 집필 과정과 FAQ 스스로 밝힌 오탐 설명이 대화의 근거가 됩니다.

어떤 부분이 표시되었는지 보여 주는 Turnitin 리포트가 있다면 리포트를 가져와서 그 부분만 다듬으세요. 조건을 충족하는 부분은 무료로 다시 실행할 수 있습니다.