공식 창구: Turnitin에 오탐지를 보고하는 방법

Turnitin 오탐지에 대한 조언은 대부분 한 가지 경로만 안내합니다. 교수님께 이의를 제기하고, 필요하면 학과나 학술윤리 담당 부서로 넘어가는 길입니다. 그 길은 성적을 다루는 길입니다. 하지만 다른 글에서는 거의 언급하지 않는 두 번째 길이 있습니다. Turnitin 본사로 직접 이어지는 길입니다.

Turnitin의 자체 문서에는 피드백 창구가 마련되어 있습니다. 이렇게 분명히 밝힙니다. "If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (저희가 놓친 AI 작성 문서를 발견하시거나, AI 생성으로 분류된 진짜 학생의 작성물을 보시면 알려주십시오. 여러분의 피드백은 저희가 기술을 더욱 개선하는 데 매우 중요합니다.)

이는 탐지기를 만드는 팀의 직접적인 요청입니다. 두 가지 유형의 피드백을 구합니다. 놓친 AI 문서, 즉 위음성과 AI로 잘못 분류한 사람의 글, 즉 오탐지입니다. 두 방향 모두 모델을 개선하므로 둘 다 중요합니다.

저희가 이 부분을 강조하는 이유는 실질적인 조언이 대개 학교 차원에서 멈추기 때문입니다. 교수님께 이의를 제기하고, 증거를 모으고, 자신의 입장을 설명합니다. 하지만 그 점수를 만든 시스템도 여러분의 이야기를 듣고 싶어 합니다. 한 창구는 성적을 위한 길이고, 다른 창구는 시스템 자체를 개선하는 길입니다.

피드백 창구는 두 가지 상황에 적용되며, Turnitin은 두 상황을 같은 문장에서 설명합니다. 첫째는 진짜 학생의 작성물이 AI 생성으로 분류되는 경우입니다. 자신의 글이 잘못되었다고 생각되는 AI 작성 점수를 받았다면 그것이 오탐지이며, Turnitin은 그 사실을 알고 싶어 합니다.

두 번째 상황은 그 반대로, 탐지기가 놓친 AI 작성 문서입니다. 가르치는 입장에서 Turnitin이 지적하지 않은 AI 생성 문서를 발견했다면, 그 피드백도 이 창구로 보내는 것이 마땅합니다.

자신의 사례가 오탐지일 가능성이 높은지 어떻게 알 수 있을까요? Turnitin은 오탐지를 자주 유발하는 글의 유형에 대해 이렇게 안내합니다. "Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때때로 오탐지에는…… 구조적 변화가 거의 없는 내용, 말 그대로 반복되는 문장, 또는 새로운 생각을 전개하지 않고 바꿔 쓴 문장이 포함될 수 있습니다.) 지적된 문장이 이 가운데 하나에 해당한다면, 그 사실을 피드백에 함께 담을 가치가 있습니다.

Turnitin은 이렇게 권고하기도 합니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 문장에서 AI 작성 비율이 높게 나타난다면, 표시된 백분율을 볼 때 그 점을 고려하시기를 권합니다.) 다시 말해, 글이 구조적으로 단조롭거나 바꿔 쓰기에 크게 의존한다면 점수가 실제보다 높게 나올 수 있으며, 그런 경우야말로 Turnitin에 보고하는 것이 적절합니다.

Turnitin에 오탐지를 보고할 때는 구체적인 정보가 사례 판단에 도움이 됩니다. 다음 항목을 포함하시기를 권합니다.

첫째, 해당 문장과 받은 점수를 밝히십시오. Turnitin이 매긴 전체 백분율과, 가능하다면 어느 부분이 지적되었는지를 적어 두십시오.

둘째, 문장의 특징을 설명하십시오. 자신의 글이 Turnitin 스스로 제시한 오탐지 패턴 가운데 하나에 해당한다면 그 사실을 밝히십시오. 예를 들어 지적된 부분이 여러 출처를 자체 분석 없이 바꿔 쓴 문헌 검토라면, 그것이 Turnitin의 설명에 해당한다고 적으십시오. "content without a lot of structural variation" (구조적 변화가 거의 없는 내용) 또는 "text that has been paraphrased without developing new ideas." (새로운 생각을 전개하지 않고 바꿔 쓴 문장)이 그것입니다.

셋째, 과제와 집필 과정에 대한 배경을 제공하십시오. 글을 크게 수정했습니까? 표현을 균일하게 만들 수 있는 문법 검사 도구를 사용했습니까? 이런 배경은 분류기가 왜 글을 잘못 읽었을 수 있는지 Turnitin이 이해하는 데 도움이 됩니다.

넷째, 오탐지율 목표를 언급하십시오. Turnitin은 이렇게 밝힙니다. "We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (저희는 탐지기의 성능을 극대화하는 한편, AI 작성 비율이 20%를 넘는 문서에 대해 오탐지율을 …… 1% 미만으로 유지하려 노력합니다.) 여러분은 완벽을 내세우는 시스템에 불만을 제기하는 것이 아닙니다. 작지만 실제로 존재하는 오류율을 분명히 인정하는 시스템에 피드백을 보태는 것입니다.

Turnitin의 오탐지 목표는 구체적입니다. AI 작성 비율이 20%를 넘는 문서에 대해 1% 미만을 목표로 하며, 이를 쉬운 말로 바꿔 설명합니다. "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 온전히 사람이 쓴 문서 100건 가운데 1건은 사람이 쓴 문서임에도 AI가 쓴 것으로 지적할 수 있습니다.)

이는 모두가 자신의 글을 제출하는 100명의 수업에서 한 명은 오탐지를 겪을 수 있다는 뜻입니다. 목표치는 낮지만 오탐지가 아예 없다는 뜻은 아닙니다. Turnitin은 이 균형에 대해 분명히 밝힙니다. 오탐지율을 1%로 유지하기 위해, 일부 AI 문장을 놓칠 가능성을 감수합니다. "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document." (오탐지율을 1%라는 낮은 수준으로 유지하기 위해, 문서 안의 일부 AI 작성 문장을 놓칠 가능성이 있습니다.)

구체적인 예도 제시합니다. "If we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (문서의 50%가 AI 도구로 작성되었을 가능성이 높다고 판단한 경우, 실제로는 최대 65%의 AI 작성 문장이 포함되어 있을 수 있습니다.) 보고된 점수는 실제 AI 비율보다 적게 나올 수 있으며, 그 차이는 의도된 것입니다.

이 때문에 피드백 창구가 중요합니다. 1% 목표는 오탐지가 발생한다는 뜻입니다. 이 시스템은 사람의 글을 지적하지 않는 쪽으로 기울도록 보정되어 있으므로, 실제로 발생하는 오탐지는 예상된 일입니다. 이를 보고하면 그 보정이 제대로 작동하는지, 아니면 특정 문장 패턴이 체계적으로 잘못 분류되는지 Turnitin이 판단하는 데 도움이 됩니다.

피드백 창구는 Turnitin이 강조하는 더 큰 틀 안에 있습니다. 자체 문서에는 이렇게 나와 있습니다. "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (저희의 AI 작성 탐지 모델은 항상 정확하지 않을 수 있습니다. 사람이 쓴 문장, AI가 생성한 문장, AI가 바꿔 쓴 문장을 잘못 판별할 수 있습니다. 따라서 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다.)

이어서 이렇게 말합니다. "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학술 부정행위가 있었는지를 판단하려면 추가적인 검토와 사람의 판단, 그리고 기관이 자체 학술 정책을 적용하는 과정이 함께 있어야 합니다.)

이는 탐지기를 만드는 회사의 직접적인 발언입니다. 점수는 판결이 아닙니다. Turnitin은 점수를 학생과 맥락을 아는 교육자가 해석해야 하는 신호로 규정합니다. "It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이 도구는 단독으로 확정적인 답을 내기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 보고, 그 정보를 학생과 학생의 과제, 기관 정책에 대한 자신의 이해와 균형 있게 고려하여 판단하는 교육자입니다.)

의도된 사용 방식은 분명합니다. "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교육자가 AI 작성 점수를 확정적인 결론이 아니라 하나의 데이터로 보고 활용할 때, 그것은 의도된 대로 사용되는 것입니다.)

저희는 피드백 창구를 같은 철학의 일부로 봅니다. 점수가 하나의 데이터라면, 오탐지가 의심된다고 보고하는 일은 그 데이터에 맥락을 부여하고 시간이 지나면서 개선하는 일입니다. 교수님께 이의를 제기하면 당장의 상황을 다루게 됩니다. Turnitin에 보고하면 모두를 위한 시스템 보정에 기여하게 됩니다. 두 걸음 모두 중요하며, 목적은 서로 다릅니다. Turnitin 보고서 확인하기.