Turnitin에서 주석 달린 서지목록의 AI 점수가 신뢰하기 어려운 이유

Turnitin 도움말 문서 하나는 특정 형식에서 모델에 알려진 한계가 있다고 밝힙니다.

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (이 모델은 시, 대본, 코드처럼 산문이 아닌 형태의 AI 생성 텍스트를 안정적으로 감지하지 못하며, 불릿 포인트나 표, 주석 달린 서지목록처럼 짧거나 비정형적인 글도 감지하지 못합니다.)

다음 문장입니다. "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (즉, 서로 다른 여러 유형의 글이 담긴 문서에서는 백분율과 강조 표시 사이에 차이가 생길 수 있다는 뜻입니다.)

주석 달린 서지목록은 이 목록에 분명히 이름이 올라 있습니다. 모델은 이 형식의 AI 생성 텍스트를 안정적으로 감지하지 못합니다. 이는 도움말 문서에서 인정한 적용 범위의 한계이며, 여러분 쪽의 설정 문제가 아닙니다. 주석 달린 서지목록에서 AI 점수가 높게 나왔다면, 그 점수는 안정적인 적용 범위를 벗어나 작동한 모델에서 나온 것입니다.

서지목록은 신뢰할 수 없을 뿐만이 아닙니다. 처리에서 아예 제외됩니다. 2023년 릴리스 노트에는 다음과 같이 적혀 있습니다.

"We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (서지목록에 실린 참고문헌 안에서 간혹 AI 작성 부분이 강조 표시되던 버그를 수정했습니다. 이제 AI 작성 리포트를 처리할 때 서지목록은 제외됩니다.)

다음 문장입니다. "Resubmit to reprocess existing submissions that contain highlighted reference sections." (강조 표시된 참고문헌 부분이 있는 기존 제출물은 다시 제출하면 재처리됩니다.)

즉, 서지목록의 항목, 다시 말해 인용 자체는 분석되지 않는다는 뜻입니다. 이 수정 이전에 문서를 제출해 참고문헌 목록에 강조 표시가 붙은 것을 보셨다면, 다시 제출하면 서지목록을 뺀 상태로 문서가 재처리됩니다. Turnitin이 내 참고문헌과 인용을 표시하는 이유에서는 이 제외가 실제로 어디까지 미치는지 짚어 봅니다. 같은 릴리스 노트는 표 내용도 다루었습니다.

"We are now able to process long-form prose text in tables." (이제 표 안에 있는 장문의 산문 텍스트를 처리할 수 있습니다.)

다음 문장입니다. "Resubmit to reprocess existing submissions that contain tables." (표가 있는 기존 제출물은 다시 제출하면 재처리됩니다.)

주석 달린 서지목록에서는 인용 항목이 제외됩니다. 주석 문단, 즉 각 자료에 대해 여러분이 직접 쓴 산문이 바로 처리되는 대상 텍스트입니다. 표시되는 점수는 주석 산문만 반영하며, 인용은 반영하지 않습니다.

판별기는 대상 텍스트만 처리합니다. Turnitin의 "AI writing detection capabilities" (AI 작성 감지 기능) FAQ 페이지에서는 다음과 같이 설명합니다.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 대상 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법 문장으로 쓰인 텍스트 덩어리만 분석하며, 목록이나 불릿 포인트처럼 문장이 되지 않는 짧은 구조, 그 밖에 문장이 아닌 구조 같은 다른 유형의 글은 포함하지 않습니다.)

다음 문장입니다. "This percentage is not necessarily the percentage of the entire submission." (이 백분율이 반드시 제출물 전체의 백분율인 것은 아닙니다.)

주석 달린 서지목록에서는 여기서 뚜렷한 구도가 생깁니다. 서식이 적용된 인용, 내어쓰기, DOI 링크 같은 서지 항목은 제외됩니다. 주석 문단은 산문 문장이므로 대상 텍스트가 됩니다. 리포트의 백분율은 주석 산문만 반영합니다. 1000단어 문서에서 주석이 300단어라면, 백분율은 문서 전체가 아니라 그 300단어를 대상으로 합니다. 백분율과 분량 사이의 이 차이는 Turnitin AI 작성 리포트를 읽을 때 가장 먼저 확인해야 할 부분입니다.

Turnitin의 "AI writing detection capabilities" (AI 작성 감지 기능) FAQ 페이지에서는 이 한계를 더 짧은 형태로 밝힙니다.

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (이 모델은 산문이 아닌 형태나 코드 형태의 AI 생성 텍스트를 안정적으로 감지하지 못하며, 불릿 포인트처럼 문장이 되지 않는 짧은 구조를 포함해 짧거나 비정형적인 글도 감지하지 못합니다.)

다음 문장입니다. "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (즉, 서로 다른 여러 유형의 글이 담긴 문서에서는 백분율과 강조 표시 사이에 차이가 생길 수 있다는 뜻입니다.)

주석 달린 서지목록은 바로 이런 혼합 문서입니다. 백분율과 강조 표시 사이의 차이는 알려진 동작입니다.

판별 파이프라인은 대상 텍스트를 서로 겹치는 구간으로 나눕니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 판별 모델이 분류하고, 그 텍스트가 사람이 썼을지 AI가 생성했을지의 확률을 나타내는 0에서 1 사이의 값을 받습니다. 이 구간 안의 대상 문장은 구간 점수를 그대로 물려받습니다. 구간이 겹치기 때문에 여러 점수를 갖는 문장도 있고, 그 점수들은 하나의 점수로 합쳐집니다. 이 문장 점수들은 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.)

주석 달린 서지목록에서는 주석 산문 문장만 이 파이프라인을 통과합니다. 인용 항목은 결코 들어가지 않습니다. 구간 점수는 주석 텍스트만의 확률 평가를 반영합니다. 전체 백분율은 주석에서만 나온 그 문장 점수들을 집계한 값입니다.

주석 산문은 대체로 정해진 틀을 따릅니다. 자료를 요약하고, 신뢰도를 평가하고, 관련성을 서술합니다. 이 반복은 문서가 오탐과 연결하는 패턴과 맞아떨어집니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (사람이 쓴 텍스트를 AI 생성으로 잘못 표시하는 오탐에는 간혹 구조적 변화가 거의 없는 내용, 말 그대로 되풀이되는 텍스트, 새로운 생각을 전개하지 않은 채 바꿔 쓴 텍스트가 포함될 수 있습니다.)

다음 문장입니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그런 텍스트에서 저희 지표가 AI 작성 비중을 높게 보여 준다면, 표시된 백분율을 볼 때 그 점을 함께 고려하시기를 권합니다.)

주석은 구조적 변화가 적은 편입니다. 요약 – 평가 – 관련성이라는 틀이 모든 항목에서 반복되기 때문입니다. 표현이 반복되는 것은 학생들이 주석마다 비슷한 동사("argues", "claims", "demonstrates")를 쓰기 때문입니다. 생각은 자료에서 바꿔 쓴 것뿐이고 새로운 논거가 전개되지 않으며, 바꿔 쓰기 자체가 수치를 잘못된 방향으로 밀어 올리는 경향이 있다는 점은 바꿔 쓰기가 Turnitin AI 점수를 올리는 이유에서 다룹니다. 텍스트가 이런 패턴에 해당할 때는 백분율을 그대로 받아들이지 말고 함께 고려하라고 Turnitin 자체 안내가 말합니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다.

• Turnitin 도움말 문서 하나는 모델이 주석 달린 서지목록의 AI 생성 텍스트를 안정적으로 감지하지 못한다고 밝힙니다.
• 서지목록은 처리에서 제외됩니다. 주석 산문만 분석됩니다.
• 백분율은 제출물 전체가 아니라 주석 산문만 반영합니다.
• 주석 산문은 오탐 패턴에 들어맞는 경향이 있습니다. 구조적 변화가 적고, 표현이 반복되며, 생각이 바꿔 쓴 형태입니다.
• Turnitin은 이렇게 권합니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그런 텍스트에서 저희 지표가 AI 작성 비중을 높게 보여 준다면, 표시된 백분율을 볼 때 그 점을 함께 고려하시기를 권합니다.)
• 참고문헌에 강조 표시가 있던 이전 제출물이 있다면, 다시 제출하면 서지목록을 뺀 상태로 문서가 재처리됩니다.

주석 달린 서지목록에 대한 Turnitin AI 리포트를 받았고 표시된 부분을 손보고 싶다면, 리포트를 가져오기를 거쳐 그 부분을 다뤄 보세요. 조건에 맞는 부분은 추가 비용 없이 다시 실행할 수 있습니다.