Turnitin AI 점수를 교사는 어떻게 다뤄야 할까요

Turnitin은 이런 말을 한두 군데에서만 한 게 아닙니다. AI 작성 탐지 FAQ에는 이렇게 적혀 있습니다. "Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (따라서 AI 작성 지표의 백분율은 강사가 조치를 취하는 유일한 근거로, 또는 확정적인 채점 기준으로 사용되어서는 안 된다는 점을 반드시 강조하는 바입니다.)

또 다른 공식 페이지도 같은 이야기를 다른 말로 전합니다. 이 모델은 "may not always be accurate," (항상 정확한 것은 아닐 수 있음) 하므로 "should not be used as the sole basis for adverse actions against a student," (학생에게 불리한 조치를 내리는 유일한 근거로 사용되어서는 안 됨) 하며, 부정행위를 판정하는 일은 "takes further scrutiny and human judgment." (한층 더 면밀한 검토와 사람의 판단이 필요함) 합니다.

Turnitin 자료 전반에서 메시지는 일관됩니다. 숫자는 판단이 아니라는 것. 판단은 교육자의 몫입니다. 업체는 AI 비율이 높게 나왔을 때 강사가 하도록 안내받는 절차를 별도의 글로 다룹니다.

보고서를 어떻게 검토하라는 Turnitin의 지침은 이 점을 바로 짚습니다. AI 점수는 "is not meant to provide definitive answers in isolation." (단독으로 확정적인 답을 제공하기 위한 것이 아님)

같은 페이지는 그 이유도 설명합니다. "More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (어떠한 도구보다 중요한 것은, 점수를 확인한 뒤 학생과 학생의 과제, 그리고 학교 정책에 대해 자신이 알고 있는 것과 이 정보를 균형 있게 저울질하여 판단하는 교육자입니다.)

그리고 원래의 사용 목적으로 글을 맺습니다. "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교육자가 AI 작성 점수를 확정적인 결론이 아니라 하나의 데이터 포인트로 활용할 때, 그것은 의도된 대로 사용되는 것입니다.) 이 문장이 곧 점수를 읽는 방법의 전부라고 해도 과하지 않습니다.

Turnitin은 오탐, 즉 사람이 쓴 글인데 AI 작성으로 표시되기 쉬운 텍스트 유형도 직접 나열합니다. "content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (구조적 변화가 거의 없는 내용, 그대로 되풀이되는 문장, 또는 새로운 생각을 덧붙이지 않고 바꿔 쓴 텍스트)

뒤이어 나오는 말이 진짜 기억할 부분입니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (이러한 텍스트에서 AI 작성 비율이 높게 나타난다면, 표시된 백분율을 보실 때 그 점을 고려하시기를 권합니다.)

실제로 이 말은 이렇습니다. 구조가 평탄하게만 흘러가거나, 자기 표현을 되풀이하거나, 출처를 새로운 생각 없이 바꿔 쓴 학생 에세이는 AI가 쓴 글이 아닌데도 점수가 높게 나올 수 있습니다. Turnitin 자체도 그런 점수는 감안하라고 권합니다. 바꿔 쓰기가 오히려 Turnitin AI 점수를 높일 수 있다고 하는 것도 같은 이유에서입니다.

출발점은 공식 기준입니다. 점수는 "should not be used as the sole basis for action." (조치를 취하는 유일한 근거로 사용되어서는 안 됨) 백분율 하나만으로는 부정행위의 증거가 되지 않습니다.

Turnitin의 설명은 분량이 많을수록 예측이 신뢰할 만하고, 짧은 문서가 가장 약한 경우라는 쪽입니다. FAQ에 따르면 분량이 몇백 단어에 불과한 문서에서는 "the prediction will be mostly 'all or nothing'." (예측은 대체로 'all or nothing'이 됩니다.) 그러니 짧게 제출된 과제의 점수는 한층 더 조심해서 봐야 합니다.

점수가 높게 나왔다면 숫자만 쳐다보지 말고 글을 봐야 합니다. 문장이 평탄한가요, 반복되는가요, 새로운 생각 없이 바꿔 쓴 부분이 있는가요. 그렇다면 Turnitin이 다르게 평가하라고 한 바로 그 패턴입니다. 에세이 구조가 Turnitin AI 점수에 미치는 영향에서 그중 첫 번째를 다룹니다. 점수가 낮게 나왔다면, 1%에서 19% 구간은 숫자가 아니라 별표로 표시된다는 점을 기억합시다(Turnitin AI 점수의 별표(*%)가 뜻하는 것). 백분율이 없다는 건 뚜렷한 신호가 없다는 뜻이지, 아무 문제 없다는 보증이 아닙니다.

학생이 실질적으로 기억할 점은 이것입니다. 점수에는 교육자의 판단이 늘 함께 따라오며, 그것은 판결이 아닙니다. Turnitin의 릴리스 노트도 같은 문장을 되풀이합니다. AI 작성 점수는 "should not be used as the sole basis for adverse actions against a student." (학생에게 불리한 조치를 내리는 유일한 근거로 사용되어서는 안 됩니다.)

강사가 이 점수를 꺼낸다면, 대화의 초점은 글 자체에 두는 게 훨씬 생산적입니다. 구조, 반복, 새로운 생각 없는 바꿔 쓰기 말입니다. Turnitin이 오탐에 취약하다고 직접 꼽은 특징이 바로 그것들이기 때문입니다. 점수는 살펴보라는 신호이지, 부정행위가 있었다는 선언이 아닙니다. 그 대화에서 학생이 준비할 내용은 직접 썼는데 AI로 표시되었다면: 답변 준비하기에서 볼 수 있습니다.