Undetectable AI와 Turnitin: 공식 문서에 실제로 적혀 있는 이야기

Undetectable AI의 검사기와 Turnitin의 AI 작성 감지는 서로 다른 팀이 서로 다른 모델을 기반으로 만든 것입니다. 각자 자기 데이터로 학습했고, 텍스트를 분류하는 방식도 저마다 다릅니다. 모델이 다른 검사기는 같은 글에 다른 점수를 냅니다. Undetectable AI가 AI 70%로 표시한 문단이 Turnitin에서는 25%가 나올 수 있고, 그 반대도 마찬가지입니다. 어느 한쪽이 틀렸다고 단정할 수는 없습니다. 서로 다른 데이터로 학습한 서로 다른 모델이 내놓은 확률 추정치일 뿐입니다.

모든 검사기가 결국 도달하는 공통의 AI 탐지 점수라는 것은 없습니다. 이 점은 같은 글인데 검사기마다 점수가 달라지는 이유에서 자세히 다룹니다. 각 검사기는 저마다의 추정치를 내놓습니다. 서로 다른 도구의 점수를 같은 단위로 같은 대상을 재는 값처럼 다루면 혼란만 커집니다.

어느 도구가 더 정확한지에 대해 저희가 판단하려는 것은 아닙니다. 여기서는 Turnitin 문서가 자사 시스템에 대해 밝힌 내용과, 그 시스템이 왜 Undetectable AI와 맞지 않는 점수를 내는지를 전하고 있을 뿐입니다.

Turnitin은 AI 작성 점수를 산출하는 절차를 문서에 이렇게 명시하고 있습니다:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장을 추출해 겹치는 구간으로 나누어 예측 분석을 진행합니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 부여받는데, 이는 해당 텍스트가 사람이 썼을지 AI가 썼을지의 확률을 뜻합니다. 이 구간에 속한 요건 충족 문장은 구간 점수를 그대로 물려받습니다. 구간이 서로 겹치므로 어떤 문장은 점수를 여러 개 받기도 하며, 이 점수들은 하나로 합쳐집니다. 이렇게 얻은 문장 점수들을 다시 집계해 문서 전체의 AI 작성 점수를 계산합니다.)

이 과정은 문장을 추출하고, 겹치는 단위로 구간을 나누고, 각 구간에 점수를 매기고, 문장 점수를 하나로 합치고, 문서 단위 백분율로 집계하는 순서로 이루어집니다. Undetectable AI를 비롯한 다른 검사기는 구간을 나누는 전략, 예측 단위, 집계 방법이 다를 수 있습니다. 두 도구가 같은 글에 같은 숫자를 내놓을 수는 없습니다.

Turnitin 문서는 AI 작성 감지 비율과 유사도 점수가 별개라는 점도 분명히 합니다. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사도 점수와 AI 작성 감지 비율은 완전히 독립적이며 서로에게 영향을 주지 않습니다.) 유사도 점수는 제출 문서에서 Turnitin의 방대한 유사도 검사용 콘텐츠와 일치하는 텍스트가 몇 퍼센트인지를 보여줍니다. 유사도는 높은데 AI는 낮을 수도 있고, 그 반대일 수도 있습니다. Turnitin AI Writing Report와 Similarity Report의 차이에서 각 숫자가 무엇을 세는지 확인하실 수 있습니다. 두 숫자는 서로 영향을 주지 않습니다.

Turnitin은 오탐률 목표를 구체적인 수치로 공개하고 있습니다:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (저희는 검사기의 효과를 최대한 끌어올리는 한편, 오탐률, 즉 사람이 전적으로 쓴 텍스트를 AI가 쓴 것으로 잘못 판단하는 비율을 AI 작성 비율이 20%를 넘는 문서에서 1% 미만으로 유지하고자 합니다.)

문서는 같은 내용을 이렇게 다시 풀어 씁니다. "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 사람이 전적으로 쓴 문서 100편 가운데 1편 정도를 AI가 쓴 것으로 표시할 수 있습니다.) 그런데 이 두 번째 표현에서는 "AI 작성 비율 20% 초과"이라는 단서가 빠져 있습니다. 20% 기준이 함께 붙은 쪽이 더 정확한 표현입니다.

이 목표를 검증하는 테스트 체계에 대해서도 Turnitin은 이렇게 설명합니다. "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (테스트 체계를 보강하고 오탐의 통계적 추이를 진단하기 위해, 업데이트나 새 모델 출시 전마다 ChatGPT 출시 이전에 작성된 70만 편이 넘는 추가 학술 논문을 대상으로 테스트를 진행해 오탐률이 1% 미만임을 재검증합니다.)

이것은 Turnitin이 자사 시스템에 대해 밝힌 내용입니다. 그 1%가 1년치 제출물에서 어느 정도 규모가 되는지는 1% 오탐률이 실제로 의미하는 것에서 확인하실 수 있습니다. Undetectable AI는 정확도 목표가 다르거나, 검증 절차가 다르거나, 비교할 만한 수치를 아예 공개하지 않을 수도 있습니다. 정확도를 직접 견줄 수는 없습니다. Turnitin 문서에 적힌 내용을 전할 수 있을 뿐입니다.

문서 길이는 Turnitin 검사기가 텍스트를 처리하는 방식에 영향을 줍니다. 문서가 짧으면 점수 산출 구조가 다르게 작동합니다. 문서에는 이렇게 나와 있습니다:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어가 몇백 개뿐인 짧은 문서에서는 겹칠 기회 없이 단일 구간 하나만으로 예측하기 때문에, 예측 결과가 대체로 전부 아니면 전무, 즉 'all or nothing' 식으로 나옵니다.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (즉, AI가 쓴 부분과 직접 쓴 부분이 섞인 텍스트도 전체가 AI가 쓴 것으로 표시될 수 있다는 뜻입니다.)

긴 문서에서 점수를 평균 내 주는 겹침 구조는 텍스트가 단일 구간일 때는 작동하지 않습니다. 사람이 쓴 부분과 AI가 쓴 부분이 섞인 몇백 단어짜리 글도 100%로 나올 수 있는데, 이는 Turnitin이 내 과제를 100% AI로 표시하는 이유에서 다루는 원인 가운데 하나입니다. 짧은 입력에서 나타나는 구조적인 특성입니다.

같은 짧은 문서를 Undetectable AI가 다르게 점수화한다면, 두 도구가 짧은 입력을 같은 방식으로 처리하지 않기 때문이기도 합니다.

Turnitin은 20% 미만 점수는 숫자로 표시하지 않습니다. 문서에는 이렇게 나와 있습니다:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (오탐 발생 가능성을 피하기 위해 1%에서 19% 구간의 AI 탐지 점수에는 점수나 하이라이트를 부여하지 않습니다. 보고서에서 AI 탐지율이 20% 기준값 미만이면 별표(*%)로만 표시하고 백분율은 부여하지 않습니다.)

Turnitin 모델이 AI 8%로 추정한 문서는 보고서에 8%라는 숫자가 아니라 별표(*%)로 표시됩니다. 본문에는 하이라이트도 적용되지 않습니다. 신뢰도가 낮은 구간에서 오탐 가능성을 굳이 드러내지 않으려는 것인데, 자세한 내용은 Turnitin AI 점수의 별표(*%)가 뜻하는 것에서 확인하실 수 있습니다.

Undetectable AI는 이 구간의 점수를 온전한 백분율로 표시할 수 있습니다. 또 어떤 도구는 값이 0이 아니면 어떤 수준이든 하이라이트를 넣습니다. Turnitin은 20% 미만에서 숫자와 하이라이트를 둘 다 의도적으로 감춥니다. 이런 표기 방식 때문에 AI 비중이 낮은 같은 문서라도 두 도구의 결과는 매우 다르게 보입니다.

같은 문서를 두고 Undetectable AI와 Turnitin 결과를 비교하고 있다면, 핵심은 다음과 같습니다:

• 모델이 다르면 점수도 다릅니다. Undetectable AI와 Turnitin은 서로 다른 탐지 모델을 씁니다. 두 점수가 일치하리라고 기대할 수는 없습니다.
• Turnitin은 구간을 나누어 집계합니다. 문장을 추출해 겹치는 구간으로 나누고, 점수를 매기고, 하나로 모은 뒤 집계합니다. AI 점수와 유사도 점수는 완전히 별개입니다.
• Turnitin의 오탐률 목표는 1% 미만입니다. AI 작성 비율이 20%를 넘는 문서를 대상으로 하며, ChatGPT 출시 이전에 작성된 학술 논문 70만 편 이상으로 검증했습니다.
• 짧은 문서는 전부 아니면 전무로 나옵니다. 내용이 섞여 있어도 몇백 단어짜리 글은 0% 또는 100%로 나올 수 있습니다.
• 20% 미만 점수는 별표로 표시됩니다. 1-19% 구간에서는 백분율 숫자도, 하이라이트도 나타나지 않습니다.

조건에 해당하는 문단은 무료로 다시 검사하실 수 있습니다.