Humbot과 Turnitin: 공식 문서가 실제로 말하는 것

Humbot의 AI 탐지기와 Turnitin의 AI 작성 탐지는 서로 다른 팀이 서로 다른 기반 모델로 만들었습니다. 각자 자기 데이터로 학습했고, 텍스트를 분류하는 방식도 제각각입니다. 모델이 다른데 같은 글에서 같은 점수가 나오기를 기대할 수는 없습니다. Humbot이 AI 70%로 표시한 문단이 Turnitin에서는 25%를 받을 수도 있고, 그 반대일 수도 있습니다. 그렇다고 둘 중 하나가 틀렸다는 뜻은 아닙니다. 서로 다른 데이터로 학습한 서로 다른 모델이 내놓은 확률 추정값일 뿐입니다.

모든 도구가 하나의 값으로 수렴하는 범용 AI 탐지 점수란 존재하지 않습니다. 이 부분은 모든 탐지기에서 같은 글이 다르게 나오는 이유에서 자세히 짚어 봅니다. 각 탐지기는 자기 나름의 추정치를 내놓을 뿐입니다. 서로 다른 도구의 점수를 같은 단위로 같은 것을 재는 값인 양 취급하면 혼란만 커집니다.

어느 쪽이 더 정확한지를 저희가 판단하려는 것은 아닙니다. Turnitin 문서가 자사 시스템을 어떻게 설명하는지, 그리고 왜 그 시스템의 점수가 Humbot의 점수와 일치하지 않는지를 전하고 있을 뿐입니다.

Turnitin은 AI 작성 점수를 산출하는 과정을 다음과 같이 문서로 정리해 두었습니다:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어, 예측 분석을 위해 서로 겹치는 구간으로 분할됩니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 부여받는데, 이는 해당 텍스트가 사람이 썼거나 AI가 생성했을 확률을 나타냅니다. 이러한 구간 안에서 조건을 충족하는 각 문장은 구간의 점수를 그대로 물려받습니다. 구간이 겹치기 때문에 하나의 문장이 여러 개의 점수를 가질 수 있고, 이 점수들은 다시 하나로 합산됩니다. 이 문장 점수들은 추가로 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.)

요컨대 문장을 추출해 겹치는 단위로 나누고, 각 구간에 점수를 매긴 뒤 문장 점수를 합산하고, 그것을 문서 단위 백분율로 집계하는 순서입니다. Humbot을 비롯한 다른 탐지기는 구간을 나누는 전략이나 예측 단위, 집계 방법이 다를 수 있습니다. 같은 글을 넣어도 두 도구가 같은 숫자를 내놓지는 않습니다.

Turnitin 문서는 AI 작성 탐지 비율과 유사도 점수가 별개라는 점도 분명히 합니다. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사도 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로 영향을 주지 않습니다.) 유사도 점수는 제출된 문서를 Turnitin이 유사도 검사용으로 보유한 방대한 콘텐츠 모음과 비교해, 일치하는 텍스트가 얼마나 되는지를 백분율로 보여주는 값입니다. 유사도는 높은데 AI 비율은 낮을 수도 있고, 그 반대일 수도 있습니다. 두 숫자는 서로 영향을 주지 않습니다.

Turnitin은 오탐률 목표를 구체적인 수치로 공개하고 있습니다:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (저희는 탐지기의 성능을 최대한 끌어올리는 한편, AI 작성 비중이 20%를 넘는 문서를 기준으로 오탐률, 즉 사람이 전부 쓴 텍스트를 AI가 생성한 것으로 잘못 판단하는 비율을 1% 미만으로 유지하고자 합니다.)

문서는 같은 내용을 이렇게 다시 풀어 씁니다: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 사람이 전부 쓴 문서 100편 가운데 1편은 AI가 쓴 것으로 표시할 수 있습니다.) 다만 이 두 번째 표현에는 "AI 작성 비중 20% 초과"이라는 단서가 빠져 있습니다. 20% 기준이 붙은 첫 번째 표현이 더 정확하며, AI 20%는 너무 높은 기준일까에서 그 수치가 합격선이 아니라 업체의 설계 목표인 이유를 설명합니다.

이 목표를 검증하기 위해 Turnitin은 자사의 테스트 체계를 다음과 같이 설명합니다: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (테스트 체계를 보강하고 오탐의 통계적 추세를 진단하기 위해, 업데이트나 새 모델 출시 전마다 ChatGPT 출시 이전에 쓰인 700,000편 이상의 추가 학술 논문으로 테스트를 수행하여 오탐률이 1% 미만임을 재검증합니다.)

여기까지가 Turnitin이 자사 시스템에 대해 밝힌 내용입니다. 오탐률 1%가 의미하는 것에서는 이 수치를 대학이 실제로 제출하는 물량에 대비해 살펴봅니다. Humbot은 정확도 목표나 검증 절차가 다를 수 있고, 비교할 만한 수치를 아예 공개하지 않을 수도 있습니다. 그래서 정확도를 직접 견줄 수는 없습니다. 저희가 할 수 있는 것은 Turnitin 문서에 적힌 내용을 그대로 전하는 것뿐입니다.

Turnitin 탐지기가 텍스트를 처리하는 방식은 문서 길이에 따라 달라집니다. 문서가 짧으면 점수를 산출하는 구조 자체가 다르게 작동합니다. 문서의 설명은 다음과 같습니다:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어가 수백 개뿐인 짧은 문서에서는 겹칠 기회 없이 단일 구간만으로 예측하기 때문에, 결과는 대개 '전부 아니면 전무' 식으로 나옵니다.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (즉, AI가 생성한 부분과 직접 쓴 부분이 섞인 텍스트도 전부 AI가 생성한 것으로 표시될 수 있습니다.)

긴 문서에서는 구간이 겹치면서 점수가 평균화되지만, 텍스트가 구간 하나뿐이면 그런 작동은 아예 일어나지 않습니다. 사람이 쓴 부분과 AI가 쓴 부분이 섞인 수백 단어짜리 글도 100%로 돌아올 수 있습니다. Turnitin이 내 과제를 100% AI라고 하는 이유에 나오는 원인 가운데 하나입니다. 짧은 입력에서 나타나는 구조적인 특성입니다.

같은 짧은 문서를 Humbot이 다르게 평가한다면, 두 도구가 짧은 입력을 처리하는 방식이 서로 다른 탓도 있습니다.

Turnitin은 20% 미만의 점수는 숫자로 보여 주지 않습니다. 문서의 설명은 다음과 같습니다:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (잠재적인 오탐 발생을 피하기 위해, AI 탐지 점수가 1%에서 19% 사이인 경우에는 점수나 강조 표시를 부여하지 않습니다. 리포트에서 AI 탐지 결과가 20% 기준값 미만이면 이제 별표(*%)로 표시하고 백분율은 부여하지 않습니다.)

Turnitin 모델이 AI 8%로 추정한 문서는 리포트에 숫자 8%가 아니라 별표로 표시됩니다. 본문에도 강조 표시가 적용되지 않습니다. 신뢰도가 낮은 구간에서 생길 수 있는 오탐을 굳이 드러내지 않으려는 조치이며, 이 이야기는 Turnitin AI 점수의 별표(*%)가 의미하는 것에서 더 깊게 다룹니다.

Humbot은 이 구간의 점수를 온전한 백분율로 표시할 수 있습니다. 값이 0이 아니기만 하면 강조 표시를 하는 도구도 있습니다. 반면 Turnitin은 20% 미만에서 숫자와 강조 표시를 둘 다 의도적으로 숨깁니다. 표시 방식이 이렇게 다르기 때문에, AI 비율이 낮은 같은 문서라도 두 도구가 보여 주는 결과는 매우 다르게 보입니다.

같은 문서로 Humbot과 Turnitin의 결과를 비교하고 있다면, 핵심은 다음과 같습니다:

• 모델이 다르면 점수도 다릅니다. Humbot과 Turnitin은 서로 다른 탐지 모델을 씁니다. 두 점수가 일치하기를 기대할 수는 없습니다.
• Turnitin은 구간을 나눠 집계하는 방식으로 점수를 냅니다. 문장을 추출해 겹치는 단위로 나누고, 점수를 매겨 합산한 뒤 집계합니다. AI 점수와 유사도 점수는 완전히 별개입니다.
• Turnitin의 오탐률 목표는 1% 미만입니다. AI 작성 비중이 20%를 넘는 문서를 기준으로 하며, ChatGPT 이전에 쓰인 700,000편 이상의 추가 학술 논문으로 검증했습니다.
• 짧은 문서는 전부 아니면 전무 식으로 나옵니다. 내용이 섞여 있어도 수백 단어 정도면 0% 또는 100%로 돌아올 수 있습니다.
• 20% 미만 점수는 별표로 표시됩니다. 1-19% 구간에서는 숫자 백분율도, 강조 표시도 나타나지 않습니다.

조건에 해당하는 문단은 무료로 다시 실행할 수 있습니다.