Sapling AI Detector와 Turnitin: 공식 문서에 실제로 적힌 내용

Sapling의 AI 탐지기와 Turnitin의 AI 작성 탐지는 서로 다른 팀이 서로 다른 기반 모델로 만든 것입니다. 각각 자체 데이터로 학습했고, 자체 방식으로 텍스트를 분류합니다. 모델이 다른 두 탐지기는 같은 텍스트에 서로 다른 점수를 냅니다. Sapling이 70% AI로 표시한 문단이 Turnitin에서는 25%가 나올 수 있고, 그 반대도 가능합니다. 어느 한쪽이 틀렸다고 볼 수는 없습니다. 서로 다른 데이터셋으로 학습한 서로 다른 모델이 내놓은 확률 추정값일 뿐입니다.

모든 도구가 같은 값으로 수렴하는 만능 AI 탐지 점수는 없습니다. 같은 글인데 탐지기마다 점수가 달라지는 이유에서 그 차이가 어디서 비롯되는지를 다룹니다. 각 탐지기는 저마다의 추정값을 냅니다. 서로 다른 도구의 점수를 같은 단위로 같은 것을 재는 값인 양 다루면 혼란만 커집니다.

어느 도구가 더 정확한지에 대해 저희가 판단하려는 것은 아닙니다. Turnitin 문서가 자사 시스템을 어떻게 설명하는지, 그리고 왜 그 시스템이 Sapling과는 맞지 않는 점수를 내는지를 전하고 있을 뿐입니다.

Turnitin 문서는 AI 작성 점수를 산출하는 절차를 다음과 같이 설명합니다:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장을 추출해 예측 분석을 위해 서로 겹치는 구간으로 나눕니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 받으며, 이는 해당 텍스트가 사람이 썼거나 AI가 생성했을 확률을 나타냅니다. 이 구간 안에서 요건을 충족하는 각 문장은 구간의 점수를 물려받습니다. 구간이 겹치기 때문에 여러 개의 점수를 갖는 문장이 생길 수 있고, 이 점수들은 하나로 합쳐집니다. 이 문장 점수들은 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.)

이 과정은 문장을 추출하고, 서로 겹치는 단위로 구간을 나누고, 각 구간에 점수를 매기고, 문장 점수를 하나로 합친 뒤 문서 단위의 백분율로 집계하는 순서로 이루어집니다. Sapling을 비롯한 다른 탐지기는 구간을 나누는 방식이나 예측 단위, 집계 방법이 다를 수 있습니다. 두 도구가 같은 텍스트에 같은 숫자를 내는 일은 없습니다.

Turnitin 문서는 AI 작성 탐지 비율과 Similarity 점수가 별개라는 점도 분명히 합니다. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Similarity 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로 영향을 주지 않습니다.) Similarity 점수는 제출된 문서를 Turnitin의 유사도 검사용 콘텐츠 모음과 비교했을 때 일치하는 텍스트가 차지하는 비율을 나타냅니다. 유사도는 높고 AI 비율은 낮은 문서가 있을 수 있고, 그 반대도 가능합니다. Turnitin AI 작성 리포트와 Similarity 리포트 나란히 읽기에서 두 리포트를 견주어 살펴봅니다. 두 수치는 서로 영향을 주지 않습니다.

Turnitin은 오탐률 목표치를 구체적으로 공개하고 있습니다:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (저희는 AI 작성 비율이 20%를 넘는 문서에서, 사람이 전부 쓴 텍스트를 AI가 생성한 것으로 잘못 판단하는 비율인 오탐률을 1% 미만으로 유지하면서, 탐지기의 성능을 최대한 끌어올리려 노력합니다.)

문서는 같은 내용을 이렇게 다시 씁니다: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 사람이 전부 쓴 문서 100편 가운데 1편은 AI가 쓴 것으로 표시할 수 있습니다.) 이렇게 다시 쓴 문장에는 "AI 작성 비율 20% 초과"이라는 단서가 빠져 있습니다. 20% 기준이 들어 있는 쪽이 더 정확한 표현입니다.

이 목표를 검증하기 위해 Turnitin은 자사 테스트 체계를 이렇게 설명합니다: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (테스트 체계를 강화하고 오탐의 통계적 추이를 진단하기 위해, 업데이트나 새 모델 배포 전마다 ChatGPT 출시 이전에 작성된 70만 편 이상의 추가 학술 논문으로 테스트를 진행해 1% 미만 오탐률을 재검증합니다.)

이것은 Turnitin이 자사 시스템에 대해 밝힌 내용입니다. 1%라는 수치가 대학 규모로 제출이 이루어질 때 어떤 의미가 되는지는 오탐률 1%가 의미하는 것을 보시면 됩니다. Sapling은 정확도 목표가 다르거나, 검증 절차가 다르거나, 비교할 만한 수치를 아예 공개하지 않을 수도 있습니다. 정확도를 직접 비교할 수는 없습니다. Turnitin 문서에 적힌 내용만 전할 수 있을 뿐입니다.

문서 길이는 Turnitin 탐지기가 텍스트를 처리하는 방식에 영향을 줍니다. 문서가 짧으면 점수를 매기는 구조가 다르게 작동합니다. 문서에는 이렇게 나와 있습니다:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어 수가 몇백 개뿐인 짧은 문서에서는, 겹칠 기회 없이 단일 구간만으로 예측하기 때문에 예측 결과가 대체로 '전부 아니면 전무' 식이 됩니다.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (즉, AI가 생성한 내용과 직접 쓴 내용이 섞인 텍스트도 전체가 AI가 생성한 것으로 표시될 수 있습니다.)

긴 문서에서 점수를 평균 내 주는 겹침 구조는 텍스트가 단일 구간일 때는 작동하지 않습니다. 사람이 쓴 부분과 AI가 쓴 부분이 섞인 몇백 단어짜리가 100%로 돌아올 수 있으며, 이는 Turnitin이 내 글을 100% AI라고 하는 이유로 이어지는 경로 가운데 하나입니다. 짧은 입력에서 나타나는 구조적인 동작입니다.

같은 짧은 문서를 Sapling이 다르게 평가한다면, 두 도구가 짧은 입력을 같은 방식으로 처리하지 않기 때문이기도 합니다.

Turnitin은 20% 미만 점수를 숫자로 표시하지 않습니다. 문서에는 이렇게 나와 있습니다:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (잠재적인 오탐 발생을 피하기 위해, AI 탐지 점수가 1%에서 19% 구간일 때는 점수나 강조 표시를 부여하지 않습니다. 리포트에서 AI 탐지가 20% 기준 미만이면 이제 별표(*%)로 표시하고 백분율은 부여하지 않습니다.)

Turnitin 모델이 8% AI로 추정한 문서는 리포트에서 숫자 8%가 아니라 별표로 표시됩니다. 텍스트에는 강조 표시도 적용되지 않습니다. 신뢰도가 낮은 구간에서 잠재적인 오탐을 드러내지 않으려는 취지이며, Turnitin AI 점수의 별표(*%)가 뜻하는 것에서 더 자세히 풀어 설명합니다.

Sapling은 이 구간의 점수를 온전한 백분율로 표시할 수 있습니다. 다른 도구는 값이 0이 아니면 어떤 수준이든 강조 표시를 할 수 있습니다. Turnitin은 20% 미만에서 숫자와 강조 표시를 모두 의도적으로 숨깁니다. 이런 점수 표기 방식 때문에 AI 비율이 낮은 같은 문서라도 두 도구의 결과는 매우 다르게 보입니다.

같은 문서로 Sapling과 Turnitin의 결과를 비교하고 있다면, 요약은 다음과 같습니다:

• 모델이 다르면 점수도 다릅니다. Sapling과 Turnitin은 서로 다른 탐지 모델을 씁니다. 두 점수가 맞아떨어지기를 기대할 수는 없습니다.
• Turnitin은 구간을 나누고 집계해 점수를 냅니다. 문장을 추출해 서로 겹치는 단위로 나누고, 점수를 매기고, 하나로 합친 뒤 집계합니다. AI 점수와 Similarity 점수는 완전히 독립적입니다.
• Turnitin의 오탐률 목표는 1% 미만입니다. AI 작성 비율이 20%를 넘는 문서를 대상으로 하며, ChatGPT 이전에 작성된 70만 편 이상의 추가 학술 논문으로 검증했습니다.
• 짧은 문서는 전부 아니면 전무 식 점수가 나옵니다. 몇백 단어짜리는 내용이 섞여 있어도 0% 또는 100%로 돌아올 수 있습니다.
• 20% 미만 점수는 별표로 표시됩니다. 1~19% 구간에는 백분율 숫자도, 강조 표시도 나타나지 않습니다.

조건에 맞는 문단은 무료로 다시 실행할 수 있습니다.