Turnitin은 비원어민의 영어 글쓰기를 AI로 판정합니까? 2026년에 발표된 연구

이번 연구 결과에 따르면 때때로 판정하며, 그 비율은 BBC 뉴스 기사와 거의 비슷했습니다. 2022년 8월 이전에 작성된 영어를 외국어로 배우는 학생 (EFL)의 에세이 48편 중, Turnitin은 4편을 20% 초과로 판정했고 Originality 역시 4편을 그렇게 판정했습니다. 전문적으로 작성된 BBC 뉴스 텍스트 48편 중에서는 Turnitin이 3편을 20% 초과로 판정했고 Originality는 한 편도 없었습니다. 저자들은 Turnitin의 경우 두 집단 간에 유의미한 차이가 없었으며, Originality의 경우 경계선 수준의 차이를 보였다고 밝혔습니다. 두 감지기 모두 인간과 AI가 절반씩 섞인 텍스트에서는 제대로 판별하지 못했습니다.

해당 연구의 제목은 "Evaluating the accuracy and reliability of AI content detectors in academic contexts" (학술 맥락에서 AI 콘텐츠 감지기의 정확도 및 신뢰성 평가)이며, 술탄 카부스 대학교의 Mohammad Hadra, Karleen Cambridge, Mostefa Mesbah가 작성하여 2026년 2월 2일 International Journal for Educational Integrity에 오픈 액세스로 게재되었습니다. 저자들은 이해상충이 없음을 밝혔습니다.

연구진은 48편씩 4개 그룹으로 나누어 총 192편의 텍스트를 구성했습니다:

• EFL 학생 글쓰기. 해당 대학의 기초 프로그램 (Foundation Program) 과학 영어 강좌의 기말 과제물로, 학생들이 ChatGPT와 같은 도구를 사용할 수 없었던 2022년 8월 이전에 모두 제출되었습니다.
• 전문가 글쓰기. BBC 뉴스 기사로 구성된 연구용 데이터셋인 XSum의 텍스트입니다.
• AI 생성 텍스트. 학생들의 과제와 유사한 에세이 주제에 대해 두 개의 대규모 언어 모델이 생성한 텍스트입니다.
• 혼합 텍스트. EFL 학생이 작성한 글 약 절반과 AI가 생성한 텍스트 약 절반을 결합하여 한 편으로 구성했습니다.

텍스트 분량은 300단어에서 1,100단어 사이였으며, 192편 중 135편이 과학 관련 주제였습니다. 감지기 테스트는 2025년 1월부터 5월 사이에 진행되었습니다. 각 감지기의 점수는 세 구간으로 분류되었습니다. 0%에서 20%는 인간 작성 (Human), 21%에서 79%는 혼합 (Hybrid), 80% 이상은 AI로 간주했습니다.

Turnitin의 경우 학생 에세이와 뉴스 기사 간의 격차는 통계적으로 유의하지 않았습니다 (p = 0.50). 저자들은 이것이 "suggests that Turnitin did not exhibit measurable bias against EFL writers within this dataset." (이 데이터셋 내에서 Turnitin이 EFL 작성자에 대해 측정 가능한 편향을 나타내지 않았음을 시사합니다)라고 기술했습니다. Originality는 모든 뉴스 기사를 올바르게 분류했으나 학생 에세이 4편을 오분류했으며, 저자들은 이러한 차이를 비원어민 작성자에 대한 감지기 편향을 다룬 이전 연구들과 같은 방향성을 지닌 경계선 수준의 경향 (단측 p = 0.058)으로 설명했습니다.

이 수치는 실험 규모와 함께 고려해야 합니다. 48편 중 4편은 대략 열두 편 중 한 편에 해당합니다. 이는 결코 0이 아니며, 20%를 초과하는 결과는 학생이 소명을 요구받을 수 있는 바로 그 수준입니다. 또한 이는 원어민이 작성한 학술 에세이가 아니라 뉴스 저널리즘과의 비교 결과라는 점도 감안해야 합니다.

인간과 AI가 절반씩 섞인 텍스트에서 두 감지기 모두 대부분 중간 구간으로 분류하지 못했습니다. Turnitin은 해당 텍스트의 31%만을 중간 구간으로 분류했고, Originality는 2%에 그쳤습니다. 저자들은 감지기들이 "appear calibrated primarily for binary distinctions (AI vs. Human) and struggle to identify partial or mixed AI involvement." (주로 이분법적 구분 (AI 대 인간)을 기준으로 보정된 것으로 보이며, 부분적이거나 혼합된 AI 개입을 식별하는 데 어려움을 겪습니다)라고 해석했습니다.

4개 그룹 전체에 걸친 종합 정확도는 Turnitin이 0.61, Originality가 0.69였습니다.

두 감지기 모두 인문학 텍스트보다 과학 텍스트에서 정확도가 훨씬 떨어졌습니다:

이 수치는 4개 그룹 전체를 합산한 것이므로, 인간이 쓴 글이 AI로 판정된 경우뿐만 아니라 모든 방향의 오류를 측정한 것입니다. 저자들은 과학 분야 글쓰기에서 흔히 나타나는 특징, 즉 "such as lexical density, technical terminology, and formulaic sentence structure, may be more difficult for detectors to distinguish from AI-generated text." (어휘 밀도, 전문 용어, 정형화된 문장 구조 등과 같은 특징으로 인해 감지기가 AI 생성 텍스트와 구별하기 더 어려울 수 있습니다)라고 제시했습니다.

발표된 논문 초록을 대상으로 Pangram과 GPTZero를 테스트한 또 다른 2026년 연구에서는 최근 정치학 및 신학 초록이 화학 및 컴퓨터 과학 초록보다 더 자주 감지되는 것으로 나타났습니다. 해당 연구는 다른 감지기를 사용하여 다른 항목을 측정한 것으로, 이에 대해서는 AI 윤문이 감지기에 표시되는지에 대한 연구에서 다루고 있습니다. 이 두 연구 결과를 종합하더라도 어떤 학문 분야가 더 안전한지에 대한 일반적인 규칙을 도출할 수는 없습니다.

길이 또한 영향을 미쳤으나, 단순한 정비례 관계는 아니었습니다. 4개 그룹 전체에서 두 감지기 모두 가장 짧은 텍스트 (300~330단어)에서 정확도가 가장 높았고, 중간 구간 (450~550단어)에서 가장 낮았습니다. 짧은 텍스트, 중간 텍스트, 긴 텍스트에 대한 정확도는 Turnitin이 각각 0.87, 0.56, 0.68이었으며, Originality는 각각 0.96, 0.63, 0.84였습니다.

• 2025년 초에 테스트된 단 2개의 감지기. 2025년 1월부터 5월 사이에 Turnitin과 Originality만 테스트되었으며, 감지기는 업데이트에 따라 성능이 달라집니다.
• 단일 학생 집단. EFL 에세이는 한 대학교의 단일 기초 프로그램에서 수집되었습니다.
• 학술 논문이 아닌 뉴스 기사를 비교군으로 사용. 전문가 텍스트로 BBC 기사를 사용했습니다.
• 고정된 혼합 비율. 모든 혼합 텍스트는 약 50 대 50 비율이었으나, 저자들도 지적했듯이 실제 학생들의 글쓰기에서는 이러한 비율이 드뭅니다.

연구진의 결론은 "neither detector achieves the level of reliability required for high-stakes decision-making." (두 감지기 모두 중대한 의사결정에 필요한 신뢰성 수준에 도달하지 못했습니다)라는 것입니다.

1. 자신의 점수가 어느 구간에 해당하는지 확인하십시오. 본 연구에서는 20% 이하의 점수를 인간 작성으로 간주했습니다. Turnitin은 낮은 점수에 대해 숫자 대신 별표를 표시합니다. 자세한 내용은 Turnitin AI 점수의 별표 의미를 참조하십시오.
2. 초안과 버전 기록을 보관하십시오. 이러한 기록은 점수만으로는 알 수 없는 글의 실제 작성 과정을 증명해 줍니다.
3. 어느 구절이 강조 표시되었는지 확인하십시오. 소명할 준비를 해야 하는 부분은 바로 그 구절들입니다.
4. 객관적인 증거를 제시하십시오. 본 연구나 비원어민 영어 작성자가 더 자주 감지되는 이유에서 다룬 이전의 비원어민 대상 연구들은 감지기 점수 하나만으로는 명백한 증거가 될 수 없다는 점을 뒷받침합니다.

Turnitin이나 iThenticate 보고서가 있고 표시된 구절을 다시 작성해야 하는 경우, HumanPen의 humanize 옵션이 바로 그 역할을 수행합니다. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요. 사용하기 전에 먼저 AI 활용에 관한 소속 강좌의 규정을 확인하고, 최종 제출 전에 수정된 내용을 반드시 직접 읽어보십시오.

Turnitin은 비원어민 영어 작성자에게 편향되어 있습니까? 이번 데이터셋에서 Turnitin은 EFL 학생의 에세이와 BBC 뉴스 텍스트를 거의 동일하게 평가했으며, 통계적으로 유의미한 차이를 보이지 않았습니다. 그러나 이는 특정 학생 집단을 대상으로 한 단일 테스트 결과일 뿐이며, 일반화할 수 있는 결론은 아닙니다.

이번 연구에서 "표시됨"은 무엇을 의미합니까? 20%를 초과하는 점수를 의미합니다. 21%에서 79%의 점수는 혼합 (Hybrid), 80% 이상은 AI로 간주했습니다.

학생 에세이는 정말로 AI 없이 작성되었습니까? 해당 과제물은 2022년 8월 이전에 제출되었습니다. 저자들은 당시 학생들이 ChatGPT와 같은 도구를 이용할 수 없었으며, 당시에 존재하던 텍스트 생성 프로그램은 제한된 접근 권한과 기술적 설정이 필요했다고 밝혔습니다.

어느 감지기가 더 우수했습니까? Originality가 전반적인 종합 정확도에서 더 높은 수치를 기록했습니다 (0.61 대비 0.69). 학생 에세이에서는 두 감지기 모두 48편 중 4편을 20% 초과로 판정하여 동일한 성능을 보였으나, Originality는 모든 뉴스 텍스트를 정확하게 판별했습니다. 혼합 텍스트는 두 감지기 모두 제대로 처리하지 못했습니다.

• Mohammad Hadra, Karleen Cambridge, Mostefa Mesbah, Evaluating the accuracy and reliability of AI content detectors in academic contexts, International Journal for Educational Integrity 22, 제4호, 2026년 2월 2일 게재; 2026년 9월 28일 열람 (표 1–5).