석사 논문이 AI로 감지되는 비율은 얼마나 될까요? 1,163편을 분석한 2026년 연구

한 학부의 2024–2025 학년도 석사 학위 논문에서 Pangram은 1,163편 중 529편 (45.5%)을 표시했습니다. 표시된 논문의 AI 생성 텍스트 추정 비율 중앙값은 30%였으며, 80%를 초과하는 것으로 추정된 논문은 1.9%에 불과했습니다. 연구진은 해당 수치를 논문이 실제로 어떻게 작성되었는지와 일일이 대조해 확인할 수는 없었습니다. 작성자가 확인된 별도의 대조 실험에서는 Turnitin, Pangram, GPTZero, Copyleaks 모두 사람이 직접 작성한 논문에 대해 0%에서 20% 사이의 점수를 부여했습니다.

해당 연구는 브뤼셀 자유대학교 (Vrije Universiteit Brussel)의 Marijke Van Vlasselaer, Filip Van Droogenbroeck, Bram Spruyt가 수행한 "Who wrote this? Evaluating the reliability of AI detection tools in higher education" (누가 작성했는가? 고등교육 환경에서 AI 감지 도구의 신뢰성 평가)으로, 2026년 6월 29일 International Journal for Educational Integrity에 오픈 액세스로 게재되었습니다. 저자들은 테스트에 사용된 어떠한 도구와도 재정적 혹은 기관적 이해관계가 없음을 밝혔습니다.

연구진은 각각 최소 4,000단어 이상인 영어 학술 논문 40편씩 총 4개 그룹을 구성했습니다.

• 사람이 직접 작성한 논문. 2017년에서 2019년 사이에 제출된 영어가 모국어가 아닌 학생들의 석사 학위 논문으로, 기관 아카이브에서 추출했습니다.
• 완전한 AI 생성 논문. ChatGPT 모델이 단독으로 생성한 완성형 논문입니다.
• 하이브리드 논문. 사람이 쓴 논문의 문헌 검토와 결론 부분을 AI가 생성한 텍스트로 교체한 논문입니다.
• 재작성된 하이브리드 논문. AI가 작성한 섹션을 "sounds more like it was written by a real person" (실제 사람이 쓴 것처럼 느껴지도록) 요청하는 단일 ChatGPT 프롬프트로 다시 작성한 하이브리드 논문입니다.

그런 다음 연구진은 각 도구의 점수를 논문별 실제 AI 텍스트 비율과 비교했습니다.

사람이 직접 작성한 논문의 경우, 4개 도구 모두 모든 논문의 점수를 0%에서 20% 사이로 판정했습니다. Pangram과 Copyleaks는 0%를 기록했습니다. Turnitin은 3편의 논문에 대해 숫자 대신 별표를 표시했는데, Turnitin의 공식 문서에 따르면 별표는 1%에서 19% 사이의 점수를 의미하며 이에 대한 자세한 내용은 Turnitin AI 점수에 표시되는 별표의 의미에서 설명해 드린 바 있습니다. GPTZero는 일부 논문에 낮은 점수를 부여했습니다. 저자들은 이 결과를 영어가 모국어가 아닌 작성자를 대상으로 한 2023년 연구와 대조했습니다. "Unlike Liang et al. (2023), who reported substantial false-positive bias against non-native writers using seven early-generation GPT detectors, we found no false positives for Pangram, Copyleaks, and Turnitin" (7개의 초기 세대 GPT 감지 도구를 사용하여 비모국어 작성자에 대한 심각한 위양성 편향을 보고한 Liang 등의 2023년 연구와 달리, 본 연구에서는 Pangram, Copyleaks, Turnitin에서 위양성이 전혀 발견되지 않았습니다). 해당 이전 연구에 대한 내용은 영어가 모국어가 아닌 작성자가 더 자주 의심받는 이유에서 다루고 있습니다. 저자들은 위양성이 "almost absent" (거의 나타나지 않았습니다)라며 이전 연구들을 감안할 때 놀라운 결과라고 평가하면서도, "some tools may use conservative thresholds to avoid falsely labelling human-written text as AI-generated, which may increase the number of false negatives." (일부 도구는 사람이 작성한 텍스트를 AI 생성으로 잘못 판정하지 않도록 보수적인 임계값을 적용할 수 있으며, 이로 인해 위음성이 증가할 수 있습니다)라는 자체적인 주의사항을 덧붙였습니다.

실제 AI 텍스트가 포함된 논문에서는 도구 간의 결과가 크게 엇갈렸습니다. Pangram의 추정치는 3개 AI 카테고리 전체에서 실제 비율에 가장 근접했습니다. Turnitin을 포함한 나머지 세 도구는 완전한 AI 생성 논문의 비율을 심각하게 과소평가했는데, 이 논문들은 모두 해당 그룹에 사용된 단일 모델에서 생성된 것이었습니다. 저자들은 이러한 격차가 해당 모델이 당시 사용 가능한 최신 모델이었기 때문이라고 분석했습니다. 하이브리드 논문의 경우 Pangram은 40편 중 37편을 올바른 범위로 분류했으나, Turnitin은 24편, Copyleaks는 12편에 그쳤고 GPTZero는 단 한 편도 맞추지 못했습니다.

Turnitin의 수치를 해석할 때 유의해야 할 세부 사항이 하나 있습니다. 연구진은 Turnitin에서 별표가 표시된 논문을 가장 낮은 구간에 포함시켰다는 점입니다. 저희의 Pangram과 Turnitin 비교 분석 글에서도 해당 연구를 자세히 다루고 있습니다.

Pangram이 실제 AI 텍스트 비율을 가장 정확하게 추적했기 때문에, 연구진은 소속 사회과학 및 경제학부의 여러 학위 과정에서 2024–2025 학년도에 제출된 석사 학위 논문 1,163편 전체를 스캔하는 데 Pangram을 사용했습니다.

저자들은 이러한 분포를 다음과 같이 해석했습니다. "the majority showed low-to-moderate AI usage, with very high AI usage (> 80%) being rare." (대다수는 낮거나 중간 수준의 AI 사용을 보였으며, 80%를 초과하는 매우 높은 수준의 AI 사용은 드물었습니다).

저자들은 이번 연구의 한계를 명확히 밝혔습니다.

• 실제 진실(Ground truth)의 부재. 1,163편의 논문이 실제로 어떻게 작성되었는지는 아무도 알지 못하므로, "the flagging percentages cannot be interpreted as confirmed prevalence rates of AI use." (표시된 비율을 확인된 AI 사용률로 해석할 수는 없습니다). 저자들은 이번 분석이 여전히 "a valuable first indication" (가치 있는 첫 지표)이라고 밝히고 있으나, 해당 수치는 Pangram의 추정치일 뿐 확인된 실제 비율이 아닙니다.
• 단일 학부, 단일 도구. 조사된 논문은 단 한 개 대학교의 사회과학 및 경제학부에서 나온 것이며, 검사에도 Pangram 단 하나만 사용되었습니다.
• 특정 시점의 결과. 테스트에 사용된 AI 텍스트는 2025년 5월에 생성되었으며, 저자들은 연구 결과가 "are valid only for a specific snapshot in time." (특정 시점의 단면에서만 유효합니다)라고 밝혔습니다.
• 한 가지 재작성 방식. "재작성된 하이브리드" 그룹은 단일 ChatGPT 프롬프트만을 사용했습니다. 저자들은 실제 학생들이 여러 방식을 조합하여 사용할 수 있으므로, 해당 그룹의 결과가 다른 상황에 그대로 적용되지 않을 수 있다고 지적했습니다.

사람이 직접 작성한 논문 그룹 역시 특정 표본이었습니다. 단일 학부에서 2017년에서 2019년 사이에 제출된 석사 학위 논문들이었습니다. 이 논문들에서 감지 결과가 깨끗하게 나왔다는 점은 긍정적인 신호이지만, 모든 논문에 대해 동일한 결과를 보장하는 것은 아닙니다.

1. 어떤 감지 도구에서 나온 점수인지 확인하세요. 이번 연구는 동일한 논문이라도 도구에 따라 큰 차이가 발생한다는 점을 보여주었습니다. Pangram의 추정치, Turnitin의 백분율, GPTZero의 점수는 서로 동일한 기준으로 치환될 수 없습니다.
2. 해당 도구가 논문 전체를 읽을 수 있는지 확인하세요. 예를 들어 Turnitin은 30,000단어를 초과하는 제출물에 대해서는 AI 작성 보고서를 생성하지 않습니다. 자세한 내용은 Turnitin으로 학위 논문 전체를 검사할 수 있는지 여부를 참고하시기 바랍니다.
3. 어느 섹션이 표시되었는지 확인하세요. 보고서에서 특정 문단을 하이라이트했다면, 초안과 버전 수정 이력을 바탕으로 소명할 수 있도록 준비해야 하는 부분이 바로 그곳입니다.
4. 그 점수가 어떻게 활용되는지 문의하세요. 저자들의 공식적인 견해에 따르면, AI 의심 표시는 "should trigger a more thorough review of the student's paper content, rather than relying on an AI detection tool to draw a final conclusion." (AI 감지 도구에 의존해 최종 결론을 내리기보다는, 학생의 논문 내용에 대한 보다 면밀한 검토를 촉발하는 계기가 되어야 합니다)라는 것입니다.

사람이 직접 쓰고 AI로 윤문한 글이 얼마나 자주 표시되는지 측정한 또 다른 2026년 연구는 AI로 윤문한 글도 감지 도구에 걸릴까 글을 확인해 보시기 바랍니다.

논문에서 표시된 부분이 다시 손봐야 할 특정 문단들일 때, HumanPen의 휴머나이즈(humanize) 기능은 바로 그 작업에 맞춰 설계되었습니다. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요. 소속 대학의 AI 활용 규정이 언제나 최우선이며, 수정되어 전달된 모든 장은 제출 전에 전체를 꼼꼼히 정독해 보실 가치가 있습니다.

사람이 직접 작성한 논문을 잘못 감지한 도구가 있었나요? 20%를 초과한 경우는 없었습니다. 4개 도구 모두 사람이 직접 쓴 모든 논문의 점수를 0%에서 20% 사이로 매겼습니다. Turnitin은 3편에 대해 별표를 표시했고 GPTZero는 일부 논문에 낮은 점수를 부여했으며, Pangram과 Copyleaks는 전 논문에서 0%를 기록했습니다. 저자들은 보수적인 임계값을 적용하면 위양성은 줄일 수 있지만 그 대가로 더 많은 AI 텍스트를 놓치게 될 수 있다고 주의를 당부했습니다.

45.5%라는 수치가 석사과정 학생의 거의 절반이 AI를 사용했다는 뜻인가요? 확정된 수치로는 그렇게 볼 수 없습니다. 이는 Pangram이 전체 논문의 45.5%에서 어느 정도의 AI 생성 콘텐츠가 포함되어 있다고 추정했다는 뜻입니다. 저자들은 이를 AI 보조 작성이 이미 보편화되었음을 보여주는 "a valuable first indication" (가치 있는 첫 지표)으로 해석하면서도, 실제 진실(Ground truth)이 확인되지 않은 상황에서 해당 비율을 "cannot be interpreted as confirmed prevalence rates of AI use." (확인된 AI 사용률로 해석할 수는 없습니다)라고 강조했습니다.

어떤 감지 도구가 가장 정확했나요? 이번 테스트에서는 Pangram의 추정치가 실제 알려진 AI 비율에 가장 근접했습니다. 다만 이는 2025년 5월에 생성된 단일 논문 세트를 대상으로 한 단 한 편의 연구 결과일 뿐이며, 그 이후 감지 도구와 AI 모델 모두 계속해서 변화해 왔습니다.

실제 학위 논문 검사에도 Turnitin이 사용되었나요? 아닙니다. 1,163편의 실제 논문 검사에는 오직 Pangram만 사용되었습니다.

• Marijke Van Vlasselaer, Filip Van Droogenbroeck and Bram Spruyt, Who wrote this? Evaluating the reliability of AI detection tools in higher education, International Journal for Educational Integrity 22, article 16, 2026년 6월 29일 발행, 2026년 9월 27일 확인.