Turnitin은 서로 다른 두 가지 오탐률을 공개합니다. 문장 단위 수치는 4%입니다.

보고서에서 두세 문장이 표시된 경우, 4%는 그렇게 표시된 문장 중 하나가 실제로 사람이 쓴 것일 확률입니다. 그 특정 문장에 대한 표시는 잘못되었을 수 있으며, "약 4%"는 그런 일이 일어나는 빈도입니다. 이것은 문서 단위가 아니라 문장 단위의 숫자이며, 어느 한쪽에서 다른 쪽을 이끌어 낼 수는 없습니다.

Turnitin의 최고제품책임자인 Annie Chechitelli는 2023년 십이월에 이를 이렇게 설명했습니다.

"Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content." (저희의 문장 단위 오탐률은 약 4%입니다. 즉, AI가 작성한 것으로 표시된 특정 문장이 실제로는 사람이 작성한 것일 확률이 4%라는 뜻입니다. 이러한 발생은 사람이 쓴 콘텐츠와 AI가 쓴 콘텐츠가 섞여 있는 문서에서 더 흔하며, 특히 두 콘텐츠가 이어지는 전환 지점에서 두드러집니다.)

4%는 이미 표시된 문장에 적용되는 수치입니다. 이는 개별 표시의 정확성에 관한 정보를 줄 뿐, 문서 전체에서 표시가 몇 개나 나타날지에 관한 정보는 주지 않습니다.

문서에 대해 Turnitin은 별도의 더 낮은 수치를 공개합니다.

"Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing." (저희의 문서 단위 오탐률, 즉 문서 안에서 사람이 전부 작성한 텍스트를 AI가 생성한 것으로 잘못 판정하는 비율은, AI 작성 비율이 20% 이상인 문서에서 1% 미만입니다.)

두 가지가 눈에 띕니다. 하나는 이 수치가 전적으로 사람이 작성한 문서 전체가 AI 텍스트를 포함한 것으로 잘못 표시되는 경우를 설명한다는 점입니다. 다른 하나는 1% 미만이라는 수치가 AI 작성 비율이 20% 이상인 문서, 즉 실제로 AI 텍스트가 일부 들어 있는 혼합 문서에 한정된 조건부 수치라는 점입니다.

여기가 가장 오해하기 쉬운 지점이며, 짚어 둘 만한 가치가 있습니다. 공개된 두 수치는 모두, 여러분이 전부 직접 작성한 논문을 대상으로 한 것이 아닙니다.

4%는 혼합 문서의 특성으로 설명됩니다. "particularly in the transitions between human- and AI-written content." (특히 사람이 쓴 콘텐츠와 AI가 쓴 콘텐츠가 이어지는 전환 지점에서.) AI 텍스트가 들어 있지 않은 논문에는 그런 전환 지점이 없으므로, Turnitin이 4%를 적용하는 상황은 여러분의 상황을 설명하지 않습니다.

그렇다고 1% 미만의 수치가 대신 여러분을 감싸 주는 것도 아닙니다. 그 수치의 표현을 다시 읽어 보십시오. "less than 1% for documents with 20% or more AI writing." (AI 작성 비율이 20% 이상인 문서에서 1% 미만.) 이 수치에는 조건이 붙어 있고, AI 작성분이 없는 문서는 그 조건을 충족하지 않습니다.

따라서 두 숫자에는 모두 적용 범위가 있고, 전적으로 사람이 쓴 논문은 그 둘의 범위 밖에 놓입니다. 누군가 어느 한쪽을 마치 논의가 끝난 것처럼 여러분에게 내밀기 전에 알아 두면 좋습니다.

Turnitin은 잘못 표시된 문장이 어디에 나타나는지에 관한 구체적인 수치를 제시했습니다.

"As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing." (앞선 글에서 설명했듯, 이 문장들과 문서 안에서 실제 AI 작성 지점까지의 거리 사이에는 상관관계가 있습니다. 54%의 경우, 이 문장들은 실제 AI 작성 지점 바로 옆에 자리합니다.)

"These sentences"는 오탐, 즉 사람이 썼는데도 표시된 문장을 가리킵니다. 그중 절반 이상이 실제 AI 작성 텍스트 바로 옆에 있습니다. 이는 오탐이 사람의 글과 AI의 글이 이어지는 지점에 몰린다는 앞선 설명과도 들어맞습니다.

그래서 이 통계는 여러분에게는 반대 방향으로 작용합니다. AI 텍스트가 전혀 없는 논문에 표시가 흩어져 있다면, Turnitin이 여기서 설명하는 작동 방식은 그것을 만들어 내는 방식이 아닙니다. 이는 혼합 문서에서 자사 오류가 어디에 몰리는지에 관한 설명일 뿐입니다.

같은 글은 표시가 결론이 아니라 출발점이라는 점을 분명히 밝힙니다. 그것도 여러분이 읽어 주길 바라는 대상, 즉 교수자에게 말입니다.

"Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion." (표시된 문장은 AI 작성 부분이 있는 곳과 가까울 것으로 예측되므로 관심 영역으로 보십시오. 다만 소수의 경우 AI 모델이 틀릴 수 있습니다. 그러므로 이 정보는 결론을 내리는 데가 아니라 대화를 시작하는 데 사용하십시오.)

이 글은 학생들이 흔히 자신이 평가받는 기준이라고 생각하는 것도 배제합니다. 맞춰야 할 숫자는 없습니다.

"Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score." (Similarity Score와 마찬가지로 AI 작성 지표에는 '옳은' 점수나 '목표' 점수가 없다는 점을 기억하십시오.)

위의 어느 것도 여러분이 곤란한 상황인지 알려 주지 않습니다. 공개된 숫자로는 그럴 수 없기 때문입니다. 다만 이것이 주는 것은, 대화를 백분율이 아니라 보고서 자체에 머물게 하는 방법입니다.

• 어느 부분인지 물어보고, 스크린샷이 아니라 보고서를 받으십시오. 표시된 문장 두 개와 문서 단위 숫자는 서로 다른 대상입니다. 위치를 가리킬 수 있는 것은 표시된 부분뿐입니다.
• 어느 숫자를 근거로 제시받고 있는지 물어보고, 그 조건을 소리 내어 읽으십시오. 1% 미만의 수치에는 그 문장 안에 "for documents with 20% or more AI writing" (AI 작성 비율이 20% 이상인 문서)이라는 조건이 붙어 있습니다. 그 조건이 여러분의 논문에 해당하지 않는다면 그렇게 말하십시오.
• Turnitin의 자체 지침을 갖고 가십시오. 그 글은 교수자에게 표시를 결론이 아니라 대화를 시작하는 데 사용하라고 말합니다. 그 문장은 여러분의 보고서를 쥐고 있는 사람에게 보내는 것이며, 위에 한 글자도 빼지 않고 인용해 두었습니다.
• 논문이 어떻게 쓰였는지 보여 주는 자료를 보관하십시오. 초고, 버전 기록, 메모, 읽은 자료 등입니다. 그것이 저작에 대한 증거입니다. 백분율은 증거가 아닙니다.