유사도는 2%인데 AI 점수는 21% — 이 조합을 어떻게 읽어야 할까요

유사도 2%와 AI 점수 21%는 서로 모순되지 않습니다. 측정하는 대상이 다르기 때문입니다. 유사도는 "이 글이 이미 발표된 다른 글과 일치하는가"를 묻고, AI 점수는 "이 글이 통계적으로 기계가 쓴 문장처럼 읽히는가"를 묻습니다.

두 답은 동시에 참일 수 있습니다. 글은 거의 아무것과도 일치하지 않고(그래서 유사도가 2%입니다), 일부 문단은 기계가 쓴 문장처럼 읽힙니다(그래서 AI 점수가 21%로 표시됩니다). 유사도가 낮다고 해서 AI 점수까지 사라지는 것은 아닙니다. 두 시스템은 서로 독립적입니다.

그리고 21%는 결코 작은 숫자가 아니지만, 사람들이 생각하는 이유 때문은 아닙니다. 별표 대신 보고서에 실제로 표시되는 첫 번째 숫자라는 점이 중요합니다. 이는 표시 규칙이지 판결이 아닙니다.

두 보고서는 서로 다른 두 질문에 답합니다. 여러분이 받은 조합은, 자기가 직접 쓴 글이지만 모델이 기계적으로 읽는 문체로 작성한 학생에게서 흔히 나타나는 형태입니다.

유사도 보고서는 제출한 글을 Turnitin이 보유한 발행 콘텐츠 모음과 비교합니다. 2%라는 점수는 그 모음에서 여러분의 글과 일치하는 부분이 거의 없다는 뜻입니다. 베꼈다는 신호도 아니고, AI를 썼다는 신호도 아닙니다.

AI 작성 보고서는 글의 통계적 특성을 바탕으로, 여러분의 글 중 얼마나 많은 부분이 기계가 쓴 문장처럼 읽히는지를 추정합니다. 21%라는 점수는 모델이 점수 산정 대상 문장의 약 20% 정도를 AI가 쓴 것으로 판단했다는 뜻입니다.

질문이 둘이니 답도 둘입니다. 오류도 아니고 모순도 아닙니다.

가장 솔깃한 해석이 하나 있습니다. "내 유사도는 2%니까 분명히 베낀 게 없을 텐데, 그럼 AI 점수는 왜 높지?" 하는 생각입니다. 답은 이것입니다. 두 점수는 서로를 참조하지 않습니다.

Turnitin의 자체 문서도 AI 점수를 유사도 점수와 독립적인 것으로 설명합니다. 유사도 시스템은 이미 발행된 콘텐츠와 일치하는 텍스트를 찾고, AI 시스템은 단어가 어떻게 선택되었는지, 즉 문장의 통계적 형태를 봅니다. 어디와도 일치하지 않는 100% 창작 텍스트도 통계적으로는 기계가 쓴 글과 비슷할 수 있습니다. 베끼지 않았다는 의미의 창작성과 통계적 의미의 AI 유사성은 서로 다른 축입니다.

따라서 유사도가 낮은 것은 "AI 아님"의 증명서가 아니라 "베끼지 않음"의 증명서입니다. 둘 다 쓸모가 있지만, 어느 하나가 다른 하나를 대신하지는 않습니다.

21%는 실제로 표시되는 첫 번째 숫자입니다. 숫자 자체보다 그 이유가 더 중요합니다.

Turnitin의 표시 규칙은 다음과 같습니다. 오탐 발생 가능성을 피하기 위해 AI 탐지 점수가 1%에서 19% 구간일 때는 점수나 강조 표시가 부여되지 않습니다. 보고서에서 AI 탐지 결과가 20% 기준선 아래이면 별표(*%)로 표시되고 백분율은 부여되지 않습니다. 그 표시선을 넘으면 보고서에 숫자와 강조 표시가 나타납니다.

따라서 21%는 판결이 아니라 처음으로 눈에 보이는 숫자입니다. 14% 점수는 보이지 않습니다. 별표로만 표시되니까요. 반면 21%는 "21%"로 표시됩니다. 별표에서 숫자로 바뀐 것은 표시 규칙의 차이일 뿐, 잘못이 두 배로 커졌다는 뜻이 아닙니다.

함께 알아 둘 만한 것이 공식적인 오탐 기준입니다. Turnitin은 AI 작성 비율이 20%를 넘는 문서에서 오탐률을 1% 미만으로 유지하려 한다고 밝힙니다. 즉, 사람이 완전히 쓴 문서 100편 가운데 1편 정도는 AI가 쓴 문서로 표시될 수 있다는 뜻입니다. 숫자가 표시되는 구간에서도 공식 입장은 같습니다. 완전히 사람이 쓴 문서 100편 중 약 1편이 표시될 수 있습니다. 21%는 그 구간에 속합니다. 그러니 이 점수는 살펴봐야 할 신호이며, 확정된 판결이 아닙니다.

21%는 문서 전체에 고르게 퍼져 있지 않습니다. 특정 문단에서 나옵니다.

Turnitin이 설명하는 작동 방식은 이렇습니다. 제출물에서 문장을 추출해 서로 겹치는 구간으로 나눈 뒤 분석합니다. 각 구간에는 0에서 1 사이의 확률이 매겨지고, 점수 산정 대상 문장은 자신이 속한 구간의 점수를 물려받습니다. 구간이 겹치기 때문에 여러 점수를 받는 문장도 있고, 이 점수들이 합쳐져 문서 전체 백분율이 됩니다.

여기에서 실질적인 결론이 두 가지 나옵니다. 첫째, 점수를 만든 문단을 찾아낼 수 있습니다. 지도교수님이 보고서를 공유해 주시면, 모델이 AI 가능성이 높다고 판단한 문단이 강조 표시로 정확히 드러납니다. 둘째, 수정은 그 문단에 집중해야 합니다. 문서 전체에 힘을 흩뿌려서는 안 됩니다.

짧은 문서에는 한 가지 주의할 점이 있습니다. 제출물이 몇백 단어에 불과하다면 예측은 대체로 "all or nothing" (전부 아니면 전무) 식으로 이루어집니다. 모델이 겹치는 구간 없이 단일 구간만으로 예측하기 때문에, AI가 쓴 부분과 직접 쓴 부분이 섞인 글도 전체가 AI 작성으로 표시될 수 있습니다. 짧은 과제물이라면 21%는 긴 과제물보다 더 크게 할인해서 봐야 합니다.

공식 문구를 직접 짚어 보여줄 수 있다면 대화의 성격이 달라집니다.

Turnitin의 자체 문서에는 AI 작성 지표의 백분율을 조치의 유일한 근거나 확정적인 채점 기준으로 사용해서는 안 된다고 적혀 있습니다. 그대로 인용할 수 있는 문장이며, 요행을 노리는 말이 아닙니다. Turnitin 스스로의 입장입니다.

대화에 가져갈 것은 네 가지입니다. 숫자(21%), 그 의미(별표 구간을 넘어 실제로 보이는 첫 번째 숫자이며 판결이 아님), 위치(보고서 PDF를 받을 수 있다면 강조 표시된 문단), 그리고 작동 방식(점수는 문서 전체가 아니라 특정 구간에서 나옴). 여러분이 설명하게 될 조합은 이렇습니다. 내 글은 발행된 어떤 글이나 2%만큼만 유사하고, 통계적 축에서의 AI 유사성은 21%입니다. 격식 있는 학술 문구를 사용해 공들여 쓴 창작 과제물이라면 둘은 동시에 참일 수 있습니다.

해명하기 전에 먼저 보고서를 요청하세요. 학생은 AI 지표를 직접 볼 수 없습니다. 지도교수님과 관리자만 볼 수 있지만, 지도교수님은 PDF로 내려받아 공유하실 수 있습니다. 보고서가 있으면 막연한 의심이 실제로 대응할 수 있는 문단 목록으로 바뀝니다.

유사도 2%와 AI 점수 21%는 모순이 아닙니다. 하나는 베끼기를 측정하고, 다른 하나는 통계적 AI 유사성을 측정합니다. 유사도가 낮다고 해서 의심이 사라지는 것도 아니고, 21%가 판결인 것도 아닙니다. 별표 구간 위로 표시되는 첫 번째 숫자일 뿐이며, 그 구간에서 공식적인 오탐률 주장은 1% 미만입니다. 점수는 특정 문단에서 나오고, 공식 지침은 그것을 조치의 유일한 근거로 쓰지 말라고 합니다. 지도교수님께 가져갈 조합은 이것입니다. 서로 독립적인 숫자 둘, 설명 가능한 작동 방식 하나, 그리고 여러분 편에 서 있는 Turnitin 자신의 말.