ZeroGPT와 Turnitin AI 탐지, 점수가 서로 맞지 않는 이유

ZeroGPT와 Turnitin은 애초에 다른 탐지 도구입니다. 모델이 다르고, 학습 데이터가 다르고, AI로 판정하는 기준값도 다릅니다. ZeroGPT에서 점수가 낮게 나왔다고 해서 Turnitin에서도 낮게 나오리라는 보장은 없습니다. Turnitin은 FAQ에서 자사의 판별 방식을 이렇게 설명합니다. 제출된 텍스트를 서로 겹치는 구간으로 나누고, 각 구간에 0에서 1 사이의 확률값을 매긴다는 것입니다. 같은 문장이 여러 구간에 걸치면 점수도 여러 번 매겨지고, 그것이 모여 문서 전체의 퍼센트가 됩니다. FAQ는 AI 작성 비중이 20%를 넘는 문서를 기준으로 오탐률을 1% 미만으로 유지하는 것을 목표로 삼는다고 밝힙니다. 또한 Turnitin은 1~19% 구간의 점수에 별표(*)를 붙여 정확한 수치를 공개하지 않는데, 정밀도를 과장하지 않으려는 조치입니다. ZeroGPT도 자체 정확도 수치를 내세우지만, 이는 업체가 스스로 공개한 것으로 Turnitin 문서와 맞춰 검증할 수 있는 성질의 것이 아닙니다. 소속 기관이 Turnitin을 쓴다면, ZeroGPT 점수는 앞일을 가늠하는 자료가 되지 못합니다.

FAQ에 나온 판별 절차는 다음과 같습니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (과제가 Turnitin에 제출되면 제출물에서 문장을 추출해 서로 겹치는 구간으로 나눈 뒤 예측 분석을 수행합니다. 각 구간은 AI 탐지 모델이 분류하며 0에서 1 사이의 값이 부여되는데, 이는 해당 텍스트가 사람이 쓴 것인지 AI가 쓴 것인지의 확률을 나타냅니다.)

구간이 겹치기 때문에 한 문장이 여러 개의 점수를 받을 수 있고, 그 점수들이 합산되어 문서 전체 퍼센트가 됩니다. ZeroGPT는 자체 모델을 쓰는데, Turnitin 자료에는 그에 대한 설명이 없고 분류 방식 자체가 전혀 다를 수 있습니다.

FAQ의 설명은 이렇습니다.

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (저희는 탐지기의 성능을 최대한 끌어올리는 한편, 사람이 전부 쓴 글을 AI가 쓴 글로 잘못 판정하는 오탐률을 AI 작성 비중이 20%를 넘는 문서에서 1% 미만으로 유지하고자 합니다.)

바로 다음 문장도 짚어둘 만합니다. "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 사람이 전부 쓴 문서 100편 가운데 1편 정도는 AI가 쓴 문서로 표시될 수 있습니다.)

점수가 낮게 나온 경우, Turnitin은 수치를 감추는 방식을 씁니다.

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (오탐이 발생할 가능성을 피하고자, AI 탐지 점수가 1%에서 19% 사이인 경우에는 점수나 하이라이트를 표시하지 않습니다. 리포트에서 AI 탐지율이 20% 기준값 아래로 나오면 별표(*%)로만 표시하고 구체적인 퍼센트는 부여하지 않습니다.)

ZeroGPT는 이런 방식을 쓰지 않습니다. 확신도가 낮은 구간에서도 대개 구체적인 퍼센트를 그대로 보여줍니다. Turnitin에서 "*%"로 표시되는 과제가 ZeroGPT에서는 "12%"로 나올 수 있다는 뜻입니다. 그렇다고 표시 방식의 차이가 어느 쪽이 더 정확한지를 말해주는 것은 아닙니다. 불확실한 구간을 다루는 방식이 서로 다를 뿐입니다. Turnitin AI 점수의 별표(*%)는 무슨 뜻일까에서 Turnitin 쪽 기준을 자세히 다룹니다.

FAQ에는 짧은 문서에서 나타나는 특징이 따로 나와 있습니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어 수가 수백 개 수준으로 짧은 문서에서는 겹치는 구간을 만들지 못하고 단일 구간만으로 예측하기 때문에, 결과가 대개 전부 아니면 전무 식으로 나옵니다.)

그다음 문장도 함께 봐두세요. "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (즉, AI가 쓴 부분과 직접 쓴 부분이 섞인 글도 전체가 AI 작성으로 표시될 수 있다는 뜻입니다.)

이 현상은 Turnitin의 구간 분할 방식에서 비롯된 것입니다. ZeroGPT가 짧은 글에서 같은 양상을 보이는지는 알 수 없습니다. 300단어 분량의 초록을 ZeroGPT에 돌려 0%가 나왔다 해도, 같은 글을 Turnitin이 어떻게 처리할지는 전혀 알 수 없습니다. 입력이 짧으면 Turnitin의 단일 구간 예측이 한쪽 극단으로 크게 흔들릴 수 있기 때문입니다. Turnitin이 내 과제를 100% AI로 판정하는 이유에서 다루는 것이 바로 이 극단적인 흔들림입니다.

Turnitin에서 AI 점수와 유사도 점수는 서로 별개입니다. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Similarity 점수와 AI 작성 탐지 비율은 완전히 별개이며 서로 영향을 주지 않습니다.) 일부 무료 도구는 AI 판정과 유사도를 하나의 수치로 합쳐서 보여주는데, 이런 점수는 구조상 Turnitin이 따로 내주는 AI 비율과 비교할 수 없습니다.

제출할 때 실제로 중요한 점수는 소속 기관이 쓰는 도구에서 나온 점수 하나뿐입니다. 학교가 Turnitin을 쓴다면, ZeroGPT로 아무리 확인해 봐도 Turnitin 점수가 얼마가 될지는 알 수 없습니다. 무료 탐지기를 여러 개 돌려 보면 내 글에 AI다운 패턴이 있는지 대략적인 감은 잡을 수 있지만, 그것으로 기관 도구의 결과를 대신할 수는 없습니다. 같은 글인데 탐지기마다 점수가 다른 이유에서 이 격차가 왜 특정 도구의 오류가 아니라 구조적인 것인지 설명합니다.

지금까지의 내용을 정리하면 다음과 같습니다.

• ZeroGPT와 Turnitin은 모델이 서로 다른 탐지기입니다. 점수가 같게 나올 수 없습니다.
• Turnitin은 글을 겹치는 구간으로 나누고 각 구간에 확률 점수를 매깁니다.
• Turnitin의 오탐 목표치는 AI 작성 비중이 20%를 넘는 문서에서 1% 미만입니다.
• Turnitin은 오탐이 잦은 1~19% 구간에서 정확도를 과장하지 않으려고 별표(*)를 사용합니다.
• 짧은 문서는 단일 구간으로만 평가되기 때문에 Turnitin에서 전부 아니면 전무 식의 예측이 나옵니다.
• 중요한 점수는 소속 기관이 사용하는 도구에서 나온 점수뿐입니다.

Turnitin AI 리포트를 받아 AI 판정을 받은 구간을 손보고 싶다면, 리포트를 불러온 뒤 해당 부분만 작업하면 됩니다. 조건에 해당하는 구간은 추가 비용 없이 다시 실행할 수 있습니다.