Turnitin 오탐지, 어떻게 신고하고 어떻게 대응할까

오탐지는 사람이 쓴 글을 Turnitin이 AI 생성 문서로 표시할 때 발생합니다. Turnitin도 문서에서 이런 일이 일어날 수 있음을 인정하고, 사용자에게 알려 달라고 요청합니다. "If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (저희가 놓친 AI 작성 문서를 발견하셨거나, 학생이 직접 쓴 진짜 과제를 AI 생성으로 판정한 사례를 보셨다면 알려 주십시오. 여러분의 피드백은 저희 기술을 개선하는 데 매우 중요합니다.)

오탐지를 겪었다면 Turnitin의 피드백 채널을 통해 신고하시기 바랍니다. 동시에 그 점수는 확정적인 판결이 아니라, 사람의 판단이 필요한 하나의 신호로 받아들이셔야 합니다.

Turnitin은 오탐지에 대해 분명한 기준을 제시합니다. 문서에서는 이렇게 밝힙니다. "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (저희는 탐지기의 성능을 최대한 끌어올리면서도, AI 작성 비중이 20%를 넘는 문서에서 사람이 전적으로 쓴 글을 AI 생성으로 잘못 판정하는 비율, 즉 오탐지율을 1% 미만으로 유지하고자 합니다.)

1% 미만이라는 목표치는 낮은 수치지만, 0은 아닙니다. 수천 건의 제출물을 처리하는 학교라면 1%의 몇 분의 일이라도, 직접 쓴 과제로 해명을 해야 하는 학생이 실제로 생긴다는 뜻입니다. 1% 오탐지율이 실제로 의미하는 것에서는 실제 제출 규모를 놓고 이 계산을 해 보았습니다. Turnitin이 피드백을 요청하는 이유가 여기에 있고, 점수가 자동으로 처리되지 않고 교수자의 검토를 거치도록 설계된 이유도 여기에 있습니다.

Turnitin은 오탐지를 자주 일으키는 몇 가지 패턴을 짚어 놓았습니다. 문서의 설명은 다음과 같습니다. "Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (간혹 발생하는 오탐지, 즉 사람이 쓴 글을 AI 생성으로 잘못 표시하는 경우는 구조적 변화가 거의 없는 내용, 같은 표현이 그대로 반복되는 문장, 또는 새로운 아이디어를 덧붙이지 않고 바꿔 쓴 글에서 나타날 수 있습니다.)

바로 다음 문장도 그에 못지않게 중요합니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그런 글에서 저희 지표가 높은 AI 작성 비중을 보여 준다면, 표시된 백분율을 해석할 때 그 점을 함께 고려하시기를 권합니다.)

달리 말해, 글의 구조가 지나치게 균일하거나, 의도적으로 반복을 쓰거나, 출처를 많이 바꿔 쓰면서 새로운 분석을 덧붙이지 않았다면 탐지기가 표시할 가능성이 더 높습니다. 그렇다고 그 글이 AI가 쓴 것이라는 뜻은 아닙니다. 다만 AI 산출물과 겉모습이 닮았다는 뜻이고, 백분율도 그 전제를 염두에 두고 읽어야 합니다. AI 탐지기가 잘 쓴 에세이를 표시하는 이유에서는 같은 현상을 반대 방향에서 다룹니다.

Turnitin은 자사 탐지기가 징계 도구가 아님을 분명히 밝힙니다. 문서에는 이렇게 나와 있습니다. "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (저희 AI 작성 탐지 모델은 항상 정확한 것은 아니며 사람이 쓴 글, AI가 쓴 글, AI가 바꿔 쓴 글을 잘못 판별할 수 있으므로, 학생에게 불리한 조치를 내리는 유일한 근거로 사용해서는 안 됩니다.)

다음 문장은 이 점을 더 분명히 합니다. "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학술적 부정행위가 있었는지를 판단하려면 추가적인 검토와 사람의 판단이 필요하며, 여기에 해당 기관이 자체 학사 정책을 적용하는 과정이 함께 이루어져야 합니다.)

이는 점수만으로는 학술적 부정행위를 단정할 수 없다는 Turnitin의 직접적인 지침입니다. 검토자가 과제물을 직접 살펴보고, 학교의 규정을 적용해 판단을 내려야 합니다.

문서는 점수를 어떻게 다뤄야 하는지에 대해 한발 더 나아가 설명합니다. "It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이 점수는 그 자체로 확정적인 답을 내주기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 확인하고, 이 정보를 학생과 학생의 과제물, 그리고 학교 규정에 대한 자신의 이해와 함께 저울질하여 판단하는 교수자입니다.)

다음 문장은 Turnitin이 의도한 사용 방식을 잘 보여 줍니다. "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교수자가 AI 작성 점수를 확정적인 답이 아니라 여러 자료 중 하나로 활용할 때, 그 도구는 의도한 대로 쓰이고 있는 것입니다.)

저희가 권하는 관점도 바로 이것입니다. 백분율은 여러 판단 자료 중 하나일 뿐, 결론이 아닙니다. 교수자라면 점수에 학생의 기존 작문 이력, 과제의 성격, 학교 규정에 대한 이해를 함께 반영하시기 바랍니다. 오탐지를 겪은 학생이라면 이 관점이 가장 강력한 근거가 됩니다. 도구 스스로 확정적인 답으로 취급해서는 안 된다고 말하고 있기 때문입니다. AI 탐지 오탐지에 불복하는 방법에서는 대학이 실제로 함께 받아들이는 증거들을 정리했습니다.

Turnitin은 탐지기가 실수했을 때 적극적으로 피드백을 받고자 합니다. 문서에는 이렇게 적혀 있습니다. "If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (저희가 놓친 AI 작성 문서를 발견하셨거나, 학생이 직접 쓴 진짜 과제를 AI 생성으로 판정한 사례를 보셨다면 알려 주십시오. 여러분의 피드백은 저희 기술을 개선하는 데 큰 도움이 됩니다.)

오탐지를 신고하려면 Turnitin의 피드백 채널을 이용하세요. 문서 원본, 보고된 AI 작성 비율, 그리고 표시된 부분이 사람이 쓴 글이라고 판단하는 이유를 간단히 덧붙이면 됩니다. 피드백이 구체적일수록 모델 개선에 더 도움이 됩니다. 다만 업체에 피드백을 보냈다고 해서 학교와의 문제가 해결되는 것은 아니며, 내 글이 직접 쓴 것임을 증명하는 방법은 그쪽을 위한 별도의 절차입니다.

답변이나 검토를 기다리는 동안에는 표시된 부분에 집중하세요. 논문의 특정 단락이 탐지를 유발했다면, 그 부분에 구조적 변화와 독자적인 분석을 더하고 반복 표현을 줄여 다시 제출하는 것이 도움이 될 수 있습니다. Turnitin 리포트에서 표시된 문단만 다시 쓰기에서 이 좁은 범위의 수정 작업을 정리했습니다.

Turnitin 리포트가 직접 쓴 부분을 표시했다면, 다음 단계를 따라 보세요.

1. Turnitin의 피드백 채널을 통해 오탐지를 신고합니다.
2. 표시된 부분을 Turnitin이 설명한 패턴과 대조해 봅니다. 구조가 균일한지, 표현이 반복되는지, 새로운 아이디어 없이 바꿔 쓰기만 했는지 살펴보면 됩니다.
3. 표시된 부분에 변화와 독자적인 분석을 더해 수정합니다.
4. Turnitin의 문서가 안내하듯, 점수를 확정적인 결론이 아닌 여러 자료 중 하나로 취급합니다.

조건에 해당하는 문단은 무료로 다시 실행할 수 있습니다.