StealthWriter와 Turnitin: 문서가 실제로 밝히고 있는 것

StealthWriter의 FAQ는 자사 탐지 점수를 "입력값 가운데 자연스럽다고 분류한 비율"로 정의합니다. Turnitin이 설명하는 것은 아래에 정리된 절차를 거쳐 만들어지는 AI 작성 비율입니다. 확인한 자료에는 이 두 가지 이름을 잇는 환산 규칙이 없으므로, 한 제품의 숫자를 다른 제품의 숫자로 옮겨 적을 수는 없습니다.

모든 도구가 같은 값으로 수렴하는 범용 AI 탐지 점수는 없습니다. 그 차이가 어디에서 오는지는 같은 글인데 탐지기마다 점수가 다른 이유에서 짚어 봅니다. 탐지기는 저마다 자기 방식의 추정치를 냅니다. 서로 다른 도구의 점수를 같은 대상을 같은 단위로 잰 것처럼 다루면 혼란만 커집니다.

어느 도구가 더 정확한지 저희가 판단을 내리는 것은 아닙니다. 이 글을 위해 업체 간 정확도나 일치율 검사를 재현하지 않았습니다. 각 결과는 해당 업체가 스스로 정의한 기준에 맞춰 읽어야 합니다.

Turnitin은 AI 작성 점수에 이르는 절차를 다음과 같이 문서로 정리하고 있습니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되고, 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 부여받는데, 이는 해당 글이 사람이 썼을 가능성과 AI가 만들었을 가능성을 나타냅니다. 이 구간에 속한 대상 문장은 구간의 점수를 그대로 물려받습니다. 구간이 겹치기 때문에 여러 점수를 갖는 문장이 생기고, 이 점수들은 하나로 합쳐집니다. 이렇게 정리된 문장 점수는 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.)

절차를 풀어 보면 문장을 추출하고, 겹치는 단위로 나누고, 구간마다 점수를 매기고, 문장 점수를 하나로 모아 문서 단위 비율로 집계합니다. 이 글에서 확인한 StealthWriter 공개 페이지에는 이에 대응하는 분할·집계 과정이 정리되어 있지 않습니다. 따라서 현재 자료만으로는 StealthWriter가 같은 방식을 쓴다고도, 다른 방식을 쓴다고도 말할 수 없습니다.

Turnitin 문서는 AI 작성 탐지 비율과 Similarity 점수가 별개라는 점도 분명히 합니다. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Similarity 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로 영향을 주지 않습니다.) Similarity 점수는 제출된 문서를 Turnitin의 유사도 검사용 콘텐츠 모음과 비교했을 때 일치하는 텍스트가 발견된 비율을 뜻합니다. 유사도는 높고 AI는 낮은 문서가 있을 수 있고, 그 반대도 가능합니다. Turnitin AI 작성 보고서와 Similarity 보고서 비교는 둘을 계속 구분해 둡니다. 두 숫자는 서로 영향을 주지 않습니다.

Turnitin은 거짓 양성과 관련해 구체적인 목표를 공개하고 있습니다.

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (저희는 탐지기의 효과를 최대화하는 한편, 거짓 양성 비율, 즉 사람이 직접 쓴 글을 AI가 쓴 것으로 잘못 판단하는 비율을 AI 작성이 20%를 넘는 문서에서 1% 미만으로 유지하고자 노력합니다.)

문서는 같은 내용을 이렇게도 풀어 씁니다. "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 사람이 온전히 쓴 문서 100건 가운데 1건은 AI가 쓴 것으로 표시될 수 있다는 뜻입니다.) 이 문장에서는 "AI 작성 20% 초과"라는 단서가 빠집니다. 20% 기준값이 들어 있는 쪽이 더 정확한 서술입니다. 그 기준값이 여러분의 점수에 대해 무엇을 뜻하고 무엇을 뜻하지 않는지는 AI 20%는 높은 편인가에서 다룹니다.

이 목표를 검증하기 위해 Turnitin은 자사의 테스트 체계를 다음과 같이 설명합니다. "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (테스트 체계를 보강하고 거짓 양성의 통계적 추이를 진단하기 위해, 저희는 업데이트나 새 모델 출시 전마다 ChatGPT가 공개되기 전에 쓰인 700,000건이 넘는 추가 학술 논문으로 테스트를 수행해 거짓 양성 비율이 1% 미만임을 다시 검증합니다.)

이것은 Turnitin이 자사 시스템에 대해 밝힌 내용입니다. StealthWriter는 정확도 목표가 다를 수도 있고, 검증 절차가 다를 수도 있고, 비교할 만한 수치를 공개하지 않을 수도 있습니다. 정확도를 직접 비교할 수는 없습니다. Turnitin 문서에 적힌 내용을 전하는 것만 가능합니다.

문서 길이는 Turnitin 탐지기가 텍스트를 처리하는 방식에 영향을 줍니다. 짧은 문서에서는 점수 산출 구조가 다르게 움직입니다. 문서에는 다음과 같이 적혀 있습니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어가 몇 백 개뿐인 짧은 문서에서는 겹칠 기회 없이 구간 하나만으로 예측하기 때문에, 판정은 대체로 'all or nothing', 즉 전부 아니면 전무가 됩니다.)

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (이는 AI가 만든 내용과 직접 쓴 내용이 섞인 텍스트도 전부 AI가 만든 것으로 표시될 수 있다는 뜻입니다.)

긴 문서에서 점수를 고르게 만들어 주는 겹침 구조는, 텍스트가 구간 하나일 때는 작동하지 않습니다. 사람이 쓴 부분과 AI 부분이 섞인 몇 백 단어가 100%로 돌아올 수도 있습니다. Turnitin이 여러분의 과제를 100% AI로 판정하는 이유에서 다루는 경로 가운데 하나입니다. 이는 짧은 입력에서 나타나는 구조적인 동작입니다.

이 짧은 입력 동작은 Turnitin에 대해 문서화되어 있습니다. 확인한 StealthWriter 페이지에는 이에 대응하는 짧은 입력 절차가 없으므로, 이 글에서는 StealthWriter에 같은 구조가 있다거나 다르다고 단정하지 않습니다.

Turnitin은 20% 미만의 숫자 점수를 표시하지 않습니다. 문서에는 다음과 같이 적혀 있습니다.

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (거짓 양성이 발생할 가능성을 피하기 위해, AI 탐지 점수가 1%에서 19% 범위일 때는 점수나 강조 표시를 부여하지 않습니다. 보고서에서 AI 탐지가 20% 기준값 아래로 나오면 이제는 별표 (*%)로 표시하고 백분율은 부여하지 않습니다.)

Turnitin 모델이 AI 8%로 추정한 문서는 보고서에 숫자 8%가 아니라 별표로 표시됩니다. 텍스트에 강조 표시도 적용되지 않습니다. 신뢰도가 낮은 구간에서 거짓 양성이 드러나지 않게 하려는 취지이며, 이 부분은 Turnitin AI 점수에 붙는 별표 (*%)의 뜻에서 자세히 다룹니다.

별표 규칙은 Turnitin의 것입니다. 확인한 StealthWriter 페이지는 자체 점수를 정의하고 있지만, 값이 낮은 경우를 어떻게 표시하는지는 정리해 두지 않았습니다. 별도로 문서화된 검사 없이 환산이나 표시 차이를 추론하지 않는 것이 좋습니다.

같은 문서로 StealthWriter와 Turnitin 결과를 비교하고 있다면, 요점은 다음과 같습니다.

• 정의가 다르고 환산 규칙도 없습니다. StealthWriter는 자연스러움의 비율을 정의하고, Turnitin은 AI 작성 점수를 문서화합니다. 확인한 자료에는 둘을 잇는 대응표가 없습니다.
• Turnitin은 나누고 집계해서 점수를 냅니다. 문장을 추출하고, 겹치는 단위로 나누고, 점수를 매기고, 모으고, 집계합니다. AI 점수와 Similarity 점수는 완전히 독립적입니다.
• Turnitin은 거짓 양성 1% 미만을 목표로 합니다. AI 작성이 20%를 넘는 문서를 기준으로 하며, ChatGPT 이전에 쓰인 700,000건이 넘는 추가 학술 논문으로 검증했습니다.
• 짧은 문서는 전부 아니면 전무 점수를 받습니다. 몇 백 단어가 내용이 섞여 있어도 0% 또는 100%로 돌아올 수 있습니다.
• 20% 미만 점수는 별표로 표시됩니다. 1%에서 19% 구간에는 숫자 백분율도, 강조 표시도 나타나지 않습니다.

요건을 충족하는 부분은 무료로 다시 실행할 수 있습니다.