Turnitin AI 비율, 얼마까지 제출해도 안전한가 — 실제로 사람들이 쓰는 숫자들

모두에게 적용되는 "안전한" 숫자는 없습니다. 그런 숫자를 제시하는 페이지는 이야기를 단순화하고 있는 것입니다. 다만 실제로 사람들이 쓰는 숫자에 근거가 없는 것은 아닙니다. 여기에는 세 겹의 층위가 작용합니다. Turnitin의 표시 규칙 (별표), 반복해서 인용되는 기준점 (20% / 10% / 0~5%), 그리고 내가 다니는 학교의 정책입니다. 제출물에 관해 무언가를 결정하는 것은 마지막 하나뿐입니다.

이 글에서 다루는 것은 앞의 두 층위와, 세 번째를 찾는 방법입니다.

*%로 표시되는 점수는 Turnitin이 공식적으로 내놓은 "낮음" 구간에 가장 가까운 것입니다. 1%에서 19% 구간에서는 점수나 하이라이트가 아예 부여되지 않습니다. 보고서에는 숫자 대신 별표가 표시됩니다. Turnitin이 밝힌 이유는 그 구간에서 위양성을 피하기 위해서입니다.

여기에서 실질적인 결과 두 가지가 따라옵니다.

이 구간의 보고서에는 하이라이트가 없습니다. 즉, 가리켜 보일 것이 아무것도 없다는 뜻입니다. 낮은 숫자는 표시상의 선택이지, 확인이 아닙니다.

게다가 구간이 넓습니다. 1%에서 19%까지 모두 똑같이 별표로 보입니다. *% 보고서가 알려주는 것은 점수가 20 미만이라는 사실뿐이며, 실제 값이 얼마인지는 알려주지 않습니다.

포럼에서 떠도는 비율, 즉 20%, 10%, 0~5%는 서로 다른 두 곳에서 나왔습니다. 어느 것이 어느 쪽인지 알아두면 혼란의 대부분은 피할 수 있습니다.

첫 번째는 Turnitin 자체입니다. 20%에서 별표로 바뀌는 지점은 회사가 공개한 표시 규칙입니다. 사람들이 "20% 미만이면 안전하다"고 말할 때, 실제로 가리키는 것은 업체 스스로 숫자로 보고하기를 거부하는 점수 구간인 경우가 많습니다.

두 번째는 학교와 프로그램의 정책입니다. 대학은 AI를 활용한 글쓰기에 관한 기대치를 각자 정합니다. 정책 문서에 숫자로 적어 둔 경우도 있고, 담당자가 비공식적으로 적용하는 실무 기준인 경우도 있습니다. 이런 숫자들을 모아 둔 세계적인 목록은 없고, 내용도 바뀝니다.

그래서 보편적으로 들리는 조언, 이를테면 "영국은 15% 미만", "미국은 20% 미만"도 실제로는 사람들이 흔히 보고하는 내용을 요약한 것일 뿐, 공개된 기준이 아닙니다.

혼란의 대부분은 성격이 다른 네 가지 숫자를 같은 종류인 것처럼 섞어 다루는 데서 옵니다. 이들은 같은 종류가 아니며, 같은 무게를 받을 자격도 없습니다.

제출물에 관해 무언가를 결정하는 것은 둘째 줄뿐입니다. 첫째 줄은 실제로 존재하지만 안전선이 아니라 표시 규칙입니다. 셋째 줄은 한 번 물어볼 만합니다. 넷째 줄은 아무리 자신 있게 말해도 가치가 없습니다.

의견이 이처럼 크게 갈리는 것은 점수 자체가 규정이 아니기 때문입니다. 그것은 통계 모델이 만들어 낸 숫자이고, 그것을 어떻게 다룰지는 각 기관이 따로 정합니다.

Turnitin의 자체 문서는 이 지표를 교수자가 조치의 유일한 근거나 확정적인 채점 기준으로 사용해서는 안 된다고 밝힙니다. 이 회사는 위양성 검사에도 구체적인 목표치를 두고 있습니다. AI 작성 비중이 20%를 넘는 문서에 대해서는 1% 미만입니다. 다시 말해, 사람이 직접 쓴 문서 백 건 가운데 한 건은 여전히 표시될 수 있습니다.

같은 25% 점수라도, 이 지표를 대화의 출발점으로 보는 대학과, 걸러내는 장치로 보는 대학에서는 다르게 읽힙니다. 모델은 같지만, 그 주변의 정책은 같지 않습니다.

학교가 실제로 적용하는 기준을 넘는 점수가 나오면 무언가가 시작됩니다. 대개는 대화이고, 때로는 자동 검토입니다. 그것만으로 불리한 판정이 내려지는 것은 아닙니다. Turnitin의 지침은 분명합니다. 비율을 조치의 유일한 근거로 삼아서는 안 되며, 부정행위가 있었는지를 판단하려면 추가적인 검토, 사람의 판단, 그리고 기관 자체의 정책이 필요하다고 밝히고 있습니다.

이 구분은 자기 보고서를 읽을 때 중요합니다. 높은 숫자는 절차를 시작시키지만, 절차를 끝내지는 않습니다.

이 밖에도 알아 둘 만한 단서가 두 가지 더 있습니다. 수백 단어 정도의 짧은 문서에서는 예측이 대체로 "all or nothing" (전부 아니면 전무)로 나옵니다. 모델이 겹침 없이 단일 구간만을 대상으로 예측하기 때문이며, AI 문장과 자기 문장이 섞인 글이 전체가 AI로 표시될 수도 있습니다. 그리고 300단어 미만의 제출물에 대해서는 Turnitin 자체 릴리스 노트에서 점수의 정확도가 떨어질 가능성이 있다고 밝힙니다. 짧은 문서가 표시된 경우야말로 그 숫자에 가장 적은 무게를 두어야 하는 경우입니다.

몇 퍼센트가 안전한지 묻는 대신, 내가 걱정하는 그 숫자를 누가 정했는지 물어보세요.

가능한 답은 세 가지이고, 각각 다른 행동으로 이어집니다.

1. 온라인에서 읽은 별표 표시 규칙이다 — 이 경우 학교 정책은 관련이 없고, 보고 있는 *%는 Turnitin 자체의 주의 표시일 뿐, 내 학교에 관해서는 아무것도 말해 주지 않습니다.
2. 동급생이나 포럼이 언급한 숫자다 — 이 경우 그 숫자에 근거해 행동하기 전에, 내 프로그램의 실제 지침과 대조해 확인하세요.
3. 학교 정책이다 — 이 경우 그것이 중요한 숫자이며, 지도교수나 Turnitin을 담당하는 부서에 물어보는 것이 진짜 숫자를 얻는 방법입니다.

하나 더 정리해 둘 사실이 있습니다. 학생용 계정에는 AI 지표가 아예 표시되지 않습니다. 교수자와 관리자만 볼 수 있습니다. 교수자가 PDF 보고서를 공유해 주었다면, 학교가 보는 것을 보고 있는 것입니다. 제3자 서비스의 숫자만 가지고 있다면, 그것은 Turnitin의 값이 아니라 다른 도구의 추정치입니다.

어디에서나 "제출해도 안전한" 단일 비율은 없습니다. 무언가를 결정하는 숫자는 내 학교의 정책 하나뿐이기 때문입니다. 별표는 1~19%를 뜻하며 Turnitin의 표시 규칙입니다. 사람들이 주고받는 둥근 숫자, 즉 15%, 20%, 10% 뒤에는 아무리 자신 있게 인용되더라도 공개된 출처가 없습니다. 그리고 어떤 기준을 넘더라도, 점수는 결론을 내리는 것이 아니라 대화를 시작합니다. 누군가 안전한 숫자를 알려주면, 그것이 어느 층위에서 나온 것인지 물어보세요. 그 질문이 숫자 자체보다 값어치가 있습니다.