Turnitin AI 비율이 높게 나왔다면, 그다음에 할 일

AI 점수가 높다는 것은 검출기 모델이 글의 상당수 구간을 AI가 썼을 가능성이 높다고 분류했다는 뜻입니다. 당신이 AI를 썼다고 검출기가 확신했다는 뜻도 아니고, 교수자가 그 점수만으로 조치를 취해야 한다는 뜻도 아닙니다. Turnitin FAQ는 그 비율을 두고 "should not be used as the sole basis for action or a definitive grading measure by instructors." (교수자가 이 수치를 조치의 유일한 근거나 확정적인 채점 기준으로 삼아서는 안 된다는 뜻)라고 못 박습니다. 같은 FAQ는 오탐이 잘 나오는 글의 특징도 함께 적어 두었는데, 구조 변화가 거의 없는 글, 같은 말이 되풀이되는 글, 새로운 생각 없이 문장만 바꿔 쓴 글 등입니다. 먼저 해야 할 일은 점수가 무엇을 뜻하는지 이해하는 것입니다. 그다음은 실제로 어떤 문단이 지적됐는지 확인하는 일입니다. 마지막으로 그 문단을 다시 쓸지, 교수자와 점수를 두고 이야기할지, 아니면 둘 다 할지를 정하면 됩니다.

점수는 구간 단위 확률 분류를 모아 만든 값입니다:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (제출물이 Turnitin에 들어가면 문장을 추출해 서로 겹치는 구간으로 나누고, 그 구간마다 AI 검출 모델이 0에서 1 사이의 값을 매기는데, 이 값은 그 글이 사람이 썼을 확률과 AI가 썼을 확률을 나타냅니다. 구간에 속한 문장은 그 구간의 점수를 그대로 물려받습니다. 구간이 겹치기 때문에 여러 점수를 받은 문장은 하나로 합산됩니다. 이렇게 얻은 문장 점수들을 다시 모아 문서 전체의 AI 작성 점수를 계산합니다)

그 비율은 판정 대상이 되는 글 가운데 모델이 AI가 썼을 가능성이 높다고 분류한 부분의 비율입니다. 확정적 판단이 아니라 통계적 집계이고, 모델이 언제나 맞는 것도 아닙니다. 점수는 자료 하나일 뿐, 판결이 아닙니다. 그러면 곧바로 다음 질문이 생깁니다. Turnitin에서 AI 비율은 어느 정도까지 괜찮은가.

FAQ가 오탐을 부를 수 있는 특징으로 든 것은 다음과 같습니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (간혹 오탐, 즉 사람이 쓴 글을 AI가 쓴 글로 잘못 지적하는 일이 있는데, 구조 변화가 거의 없는 글이나 말 그대로 같은 내용이 되풀이되는 글, 새로운 생각을 보태지 않고 문장만 바꿔 쓴 글에서 주로 나타납니다)

바로 다음 문장도 눈여겨볼 만합니다: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (이런 글에서 AI 작성 비율이 높게 나온다면, 표시된 수치를 해석할 때 그 점을 함께 고려하라는 뜻)

자기 글이 이런 특징에 해당한다면, 높은 점수 중 일부는 오탐일 수 있습니다. 문헌 연구나 방법론 부분, 기존 연구를 요약하거나 되풀이하는 글은 AI를 전혀 쓰지 않았어도 이런 결과가 나올 수 있습니다. 자세한 사례는 Turnitin이 방법론 섹션 전체를 지적한 경우에서 직접 풀어 보았습니다.

AI 지표를 볼 수 있는 사람은 교수자와 관리자뿐입니다. FAQ도 "only instructors and administrators are able to see the indicator." (지표를 볼 수 있는 사람은 교수자와 관리자뿐입니다)라고 밝힙니다. 다만 "with the PDF download feature, instructors can download and share the AI report with students." (PDF 내려받기 기능을 쓰면 교수자가 AI 리포트를 내려받아 학생과 공유할 수 있습니다)라고도 했습니다. 교수자에게서 AI 점수가 높다는 이야기를 들었다면 PDF 리포트를 공유해 달라고 요청합시다. 어떤 문단이 지적됐는지 리포트에 나오는데, 다음에 무엇을 할지 정하려면 꼭 알아야 하는 정보입니다. 리포트를 손에 넣은 뒤 무엇을 봐야 하는지는 Turnitin AI 작성 리포트 읽는 법에 정리해 두었습니다.

FAQ는 이 부분을 분명히 못 박습니다:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (그러므로 AI 작성 지표에 표시된 비율을 교수자가 조치의 유일한 근거나 확정적인 채점 기준으로 삼아서는 안 된다는 점을 거듭 강조합니다)

즉, 점수가 높다는 사실 하나만으로는 불리한 조치를 정당화할 수 없습니다. 교수자가 그 점수를 문제 삼는다면, 이 공식 안내가 대화를 이어 갈 근거가 되어 줍니다. 글을 어떤 과정을 거쳐 썼는지 설명하고, 오탐이 잦은 특징에 해당한다면 그 점을 짚고, 정확히 어떤 문단이 지적됐는지 물어보면 됩니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다:

• 높은 AI 점수는 구간 단위 분류를 모아 놓은 값입니다. 확정적 판단이 아닙니다.
• 오탐이 잘 나오는 글의 유형이 있습니다. 구조 변화가 적은 글, 되풀이가 많은 글, 새로운 생각 없이 문장만 바꿔 쓴 글입니다.
• 점수는 교수자만 볼 수 있지만, PDF 리포트는 학생에게 공유할 수 있습니다.
• FAQ는 점수를 조치의 유일한 근거로 삼지 말라고 말합니다.
• 다음 단계는 PDF 리포트를 받고, 지적된 문단을 확인하고, 그 문단을 다시 쓸지 교수자와 상의할지 정하는 것입니다.

리포트를 이미 갖고 있다면 불러오기를 눌러 지적된 문단만 집중적으로 손봅시다. 조건에 맞는 문단은 추가 비용 없이 다시 실행할 수 있습니다.