Turnitin AI 점수에 뜨는 별표(\*%), 무슨 의미일까요?

Turnitin AI 탐지기가 20% 기준값 아래에서 AI 생성 텍스트를 찾아내면, 리포트에는 숫자 대신 별표(*%)가 표시됩니다. 퍼센트도 나오지 않고 하이라이트도 지정되지 않습니다. 오류도, 오작동도 아닙니다. Turnitin은 그 이유를 이렇게 밝힙니다: "to avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range." (오탐지가 발생할 가능성을 피하고자, AI 탐지 점수가 1%에서 19% 구간인 경우에는 점수와 하이라이트를 지정하지 않습니다.)

리포트에 5%나 12% 같은 숫자가 나올 줄 알았는데 *%가 떴다면, 탐지기는 실제로 AI처럼 보이는 텍스트를 찾아낸 것입니다. 다만 그 구간에서는 신뢰도가 낮아 확정적인 점수를 매길 근거가 되지 않기 때문에, 구체적인 퍼센트를 부여하거나 특정 문단을 하이라이트하지 않기로 했을 뿐입니다.

별표는 여러분을 오탐지로부터 보호하려고 존재합니다. 오탐지란 사람이 직접 쓴 글이 AI 생성으로 표시되는 경우를 말합니다. Turnitin은 1%에서 19% 구간에서 오탐지 위험이 더 크다는 점을 알고 있습니다. 1% 오탐지율이 실제로 의미하는 바에서는 대학이 대량으로 제출할 때 그 비율이 학생 몇 명에게나 영향을 미치는지 보여줍니다. Turnitin은 교수자가 AI를 썼다고 오해하게 만들 수 있는 구체적인 퍼센트를 제시하는 대신, 별표라는 중립적인 신호를 띄웁니다.

Turnitin 문서에서 가장 핵심이 되는 문장은 다음과 같습니다: "When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (리포트에서 AI 탐지 결과가 20% 기준값 미만이면 이제 별표(*%)로 표시되고 퍼센트는 부여되지 않습니다.) 여기서 "no percentage is attributed" (퍼센트가 부여되지 않는다)라는 대목이 중요합니다. 탐지기가 무언가를 찾아내기는 했지만, 숫자로까지 확정할 생각은 없다는 뜻입니다. 보수적인 방식이고, 글을 직접 썼다면 오히려 여러분에게 유리하게 작용합니다.

보통 퍼센트 점수가 나올 때는 Turnitin이 AI 생성으로 판단한 문단을 하이라이트로 표시합니다. 별표가 뜰 때는 하이라이트가 아예 나타나지 않습니다. 이유는 같습니다. 신뢰도가 충분하지 않기 때문입니다. "No score or highlights are attributed" (점수와 하이라이트가 지정되지 않는다)는 Turnitin이 문서의 어느 부분도 문제 삼지 않았다는 뜻입니다.

어느 부분이 탐지를 건드렸는지 알고 싶다면 답답할 수 있습니다. 하지만 반대로 보면, 구체적인 혐의가 제기되지 않았다는 뜻이기도 합니다. 하이라이트가 없으면 제시된 증거가 없고, 증거가 없으면 반박할 것도 없습니다.

별표는 학술적 부정행위가 있다는 판단이 아닙니다. 탐지기가 확실하게 결론을 내릴 수 있는 기준에는 못 미치지만 무언가를 찾았다는 신호일 뿐입니다. 교수자가 이를 문제 삼을지는 그 사람에게 달려 있습니다. 다만 퍼센트와 하이라이트가 없다는 것은, 반박해야 할 구체적인 증거가 없다는 뜻이기도 합니다.

본인이 직접 쓴 글이라는 걸 스스로 알고 있다면, 별표는 그 사실과 어긋나지 않습니다. 사람이 쓴 글, 특히 격식 있는 글이나 기술적인 문장에서도 AI와 비슷한 패턴이 옅게 나타날 수 있습니다. AI 탐지기가 잘 쓴 에세이를 표시하는 이유에서 다루는 논지가 바로 이것입니다. 탐지기가 무언가를 포착하기는 했지만, 점수로 확정할 정도는 아니었습니다.

브레인스토밍이나 개요를 잡는 데 AI 도구를 썼지만 최종 원고는 직접 썼다면, 별표는 그 과정에서 남은 유사성을 반영한 것일 수 있습니다. Turnitin에서 그 경계가 실제로 어디에 놓이는지는 AI 보조와 AI 생성의 차이에서 확인할 수 있습니다. 점수가 Turnitin이 조치를 취할 만큼 높지 않기 때문에 별표 상태로 남아 있는 것입니다.

대부분의 경우 별표 때문에 따로 조치할 일은 없습니다. 교수자가 물어보면, 점수가 20% 미만이어서 퍼센트가 부여되지 않았다는 뜻이라고 설명하면 됩니다. 교수자가 근거로 삼는 지침은 AI 퍼센트가 높게 나왔을 때 교수자가 안내받는 대응법입니다. 하이라이트도 지정되지 않았으니, 특정 문단이 지적된 것은 아니라는 점도 함께 말할 수 있습니다.

조금 더 신경을 쓰고 싶어서 별표 자체를 줄이고 싶다면, 문서에서 틀에 박힌 표현이나 어디서나 볼 수 있는 일반적인 문장을 찾아 검토해 보세요. 문장을 조이고 본인의 분석을 덧붙이면 도움이 됩니다. 이미 다른 제출물에서 더 높은 점수가 나와서 거기 표시된 문단을 손보고 싶다면, 차라리 그쪽에 힘을 쏟는 편이 낫습니다.

조건에 해당하는 문단은 무료로 다시 실행할 수 있으니, 수정을 택하더라도 추가 비용 없이 글을 다듬을 수 있습니다.