왜 Turnitin은 참고문헌을 지적했을까요

Turnitin은 AI Writing Report를 처리할 때 참고문헌 목록을 제외하며, AI 작성 강조 표시는 Similarity Report에는 아예 나타나지 않습니다. 따라서 강조 표시된 참고문헌 목록은 AI 판정이 아니라 유사도 일치이며, AI 비율을 올린 것은 참고문헌이 아닙니다.

이 한 가지 구분만으로도 이런 질문의 대부분은 다른 것을 생각하기 전에 정리됩니다. Turnitin은 한 번의 제출에서 서로 다른 두 가지를 만들어 내며, 둘은 서로 다른 속성을 측정합니다. Similarity Report는 제출물에서 다른 곳의 텍스트와 일치하는 부분을 찾습니다. AI Writing Report는 본문 중 얼마나 AI가 썼다고 보이는지를 추정합니다. Turnitin 문서는 둘을 서로 독립적인 것으로 설명하며, AI 작성 강조 표시는 Similarity Report에 나타나지 않는다고 밝힙니다. 어느 쪽 수치도 다른 쪽을 좌우하지 않습니다.

어떤 보고서를 보고 있는지 확신하지 못하게 되는 데에는 현실적인 이유가 있습니다. AI 작성 표시는 교수자와 관리자만 볼 수 있고 학생은 볼 수 없습니다. 교수자가 AI 보고서를 PDF로 내려받아 공유할 수는 있으므로, 학생에게 전해지는 것은 대개 그 PDF이거나, 어느 보고서에서 나온 것인지 아무것도 적혀 있지 않은 전달받은 스크린샷입니다.

무엇보다 먼저 어떤 보고서였는지 물어보십시오. 아래의 모든 갈래는 그 답에 달려 있습니다.

둘의 차이를 더 자세히 살펴보시려면 AI Writing Report와 Similarity Report 비교를 참고하실 수 있습니다.

참고문헌 항목은 학술 글쓰기에서 가장 똑같이 반복되는 문자열입니다. 저자, 제목, 학술지, 권, 연도, 그리고 그 사이의 문장 부호까지 모두 스타일 가이드로 정해져 있으므로, 같은 자료를 인용하는 논문 두 편은 한 글자까지 똑같은 줄을 만들어 냅니다. 인용 스타일이 존재하는 이유가 바로 이것입니다.

Similarity Report에서 참고문헌 목록이 밝게 표시되는 것은 대개 이 메커니즘이 작동하고 있는 것일 뿐입니다. 참고문헌이 스타일 가이드대로 형식이 맞춰져 있고, 다른 사람들도 같은 자료를 인용하고 있다는 뜻입니다. 살펴보실 만한 것은 그 밖에 색이 어디에 있는지입니다. 본문 단락 안의 일치는 전혀 다른 이야기이며, 답이 필요한 쪽도 바로 그것입니다. 보여드린 수치에 어떤 일치가 반영되는지는 그 보고서에서 활성화된 필터에 따라 달라지며, 이 부분은 보고서 비교 글에서 다룹니다.

2023년 8월 9일 자 Turnitin의 AI 작성 탐지 모델 페이지 릴리스 노트에는, AI 작성 보고서를 처리할 때 참고문헌 목록이 이제 제외된다고 나와 있습니다. 누군가 켜는 것을 잊은 필터가 아닙니다. 보고서가 만들어지는 방식 자체에 포함된 부분입니다.

또한 모델은 Turnitin이 자격 있는 텍스트라고 부르는 것, 즉 표준적인 문법을 갖춘 문장으로 이루어진 긴 호흡의 산문만 살펴봅니다. 목록이나 불릿처럼 문장이 아닌 짧은 구조는 분석 대상에서 벗어나며, 참고문헌 항목은 어느 쪽으로 보아도 문장이 아닙니다. 여기에서 자주 놀라게 되는 점이 둘 생깁니다. 백분율은 문서 전체가 아니라 자격 있는 본문에 대한 비율이며, 눈에 보이는 강조 표시의 양은 안내받은 수치와 맞아떨어지지 않습니다. 두 가지 모두 Turnitin AI 작성 보고서 읽는 법에서 풀어 설명합니다.

AI 백분율이 예상보다 높게 나왔다면, 그것은 본문에서 나온 것입니다. 참고문헌 목록에서 나온 것이 아닙니다.

평가 대상이 인용 자체가 아니기 때문입니다.

Turnitin은 이 메커니즘을 다음과 같이 설명합니다. 제출물을 겹치는 세그먼트로 나누고, 각 세그먼트에 0에서 1 사이의 점수를 부여하며, 각 문장은 풀링을 통해 자신이 속한 세그먼트의 점수를 물려받고, 이것들이 문서 수준의 수치로 집계됩니다(AI 작성 탐지에 관한 자주 묻는 질문). 이 설명 어디에도 인용, 인용문, 출처를 알아보는 단계는 없습니다.

우연히 (Smith, 2019)가 들어 있는 문장도 그 앞 문장과 같은 방식으로 산문으로 평가됩니다. 표시된 것은 문장입니다. 그 안의 인용은 부수적인 것일 뿐입니다.

이로써 흔히 시도되는 해결책 한 무리가 모두 사라집니다. 인용 스타일을 바꾸거나, 괄호 속 인용을 각주로 옮기거나, 출처 표시 방식을 다시 쓰는 것은 모델이 반응한 부분에 아무런 영향을 주지 않습니다.

이 주제의 게시물마다 거의 빠지지 않고, AI 탐지기는 burstiness와 perplexity를 측정하며, 학술 산문은 밀도가 높고 박자가 고르기 때문에 둘 모두에서 나쁜 점수를 받는다는 설명이 나옵니다. 그럴듯한 설명입니다. 그러나 그것은 Turnitin이 만들었다고 밝힌 것이 아닙니다.

같은 자주 묻는 질문 페이지가 이 점을 직접 다룹니다. 모델은 트랜스포머 기반이며 burstiness나 perplexity 같은 특정 신호를 명시적으로 평가하도록 프로그래밍되어 있지 않고, Turnitin은 개별 예측이 항상 특징 단위로 설명될 수 있는 것은 아니라고 덧붙입니다.

다른 모델을 전제로 한 조언을 따르기 전에 알아두실 만한 내용입니다. 글을 덜 고르게 보이게 하려고 문장 길이를 의도적으로 흔드는 것은, 제공업체가 그렇게 만들어지지 않았다고 말하는 시스템에 대한 가설입니다. burstiness 이야기가 어디에서 왔고 무엇이 그 자리를 대신했는지는 AI 탐지기가 perplexity와 burstiness 외에 무엇을 측정하는지에서 살펴봅니다.

하나가 더 있는데, 유난히 구체적입니다. 같은 모델 페이지의 2023년 5월 24일 자 릴리스 노트는 Turnitin이 문서의 처음 몇 문장과 마지막 몇 문장에서 오탐 발생률이 더 높은 것을 관찰했다고 밝히며, 그것들이 흔히 일반적인 방식으로 쓰인 서론이나 결론 문장이라고 적고 있습니다.

이제 결론이 어디에 놓여 있는지 떠올려 보십시오. 참고문헌 목록 바로 앞입니다.

보고서 아래쪽에서 색을 보고 그것을 참고문헌이 지적된 것으로 읽으셨다면, 강조 표시가 실제로 어디에서 멈추는지 확인해 보십시오. 참고문헌 목록 바로 위 단락이야말로 Turnitin이 스스로 약점으로 지목한 지점입니다.

문서가 짧을 때의 관련 참고 사항입니다. Turnitin은 몇백 단어뿐인 문서에 대한 예측은 전부 아니면 전무 쪽으로 기운다고 말합니다. 세그먼트가 하나뿐이고 평균을 낼 겹침이 없기 때문이며, 따라서 짧은 문서에서는 내용이 섞여 있어도 전부 AI로 채점되어 돌아올 수 있습니다.

1. 어떤 보고서인지 확인하십시오. AI 표시 옆에 숫자가 없고 별표만 있다면 그것이 AI 보고서입니다. Turnitin은 AI 점수가 1에서 19 사이일 때 백분율을 표시하지 않으며, 그 구간의 오탐률이 더 높다고 밝힙니다.
2. Similarity Report라면, 참고문헌 목록 밖의 일치 항목을 보십시오. 의미가 있는 것은 그쪽입니다.
3. AI Writing Report라면, 강조 표시된 본문을 읽고 백분율을 문서에 대한 비율로 다루는 것을 그만두십시오.
4. 강조 표시가 처음 몇 문장이나 마지막 몇 문장에 있는지 확인하십시오. Turnitin이 스스로 오탐이 잦은 구간으로 지목한 곳입니다.
5. 제공업체가 그 수치를 무엇을 위한 것으로 말하는지 기억하십시오. Turnitin은 자사의 여러 페이지에서 그 표시가 틀릴 수 있으며 학생에 대한 조치의 유일한 근거가 되어서는 안 된다고 밝힙니다. 지도교수와의 대화에 가져갈 만한 합리적인 문장입니다.

이미 대화가 시작되었고 논문을 직접 쓰셨다면, 직접 썼는데도 표시된 경우에서 어떤 증거를 모을 만한지 다룹니다.

다시 쓰기 도구에 무엇이든 붙여넣기 전의 경고입니다. 도구가 파일 전체를 다시 쓰면 참고문헌 목록은 기본적으로 그 범위 안에 들어가며, 그런 종류의 손상은 이미 기록된 바 있습니다.

노섬브리아 대학교(Northumbria University)의 강사로서 교수자 측 Turnitin 접근 권한으로 이런 도구를 검토하고 후원을 받지 않으며 제휴 링크도 쓰지 않는다고 밝히는 Tadhg Blommerde는, 본문 인용과 APA 참고문헌 목록이 있는 시험용 에세이를 만들어 Walter Writes에 돌렸습니다. 2025년 2월 그 리뷰에서 그는 그 도구가 "even humanized the reference list" (참고문헌 목록까지 사람이 쓴 것처럼 바꾸었다)라고 보고하며, 별도로 입력에는 없던 인용이 출력에 나타난 점도 지적합니다(리뷰 영상). 만들어진 인용은 고치려던 점수보다 더 나쁜 문제입니다.

HumanPen 도구는 이 제약을 중심에 두고 만들어졌습니다. 참고문헌 항목, 본문 인용 표시, 각주, 캡션, 그림 번호, 표 셀, 상호 참조 필드는 보호되며 다시 작성되지 않습니다. 범위는 도구가 짐작하는 것이 아니라 사용자가 정하는 것입니다. 직접 해당 부분을 선택하시거나, AI Writing Report를 가져와 그 강조 표시가 범위를 정하게 하시면, 실행 전에 대상 단락이 표시됩니다. DOCX나 PPTX는 편집 가능한 같은 파일로 돌아옵니다. 문법이나 철자 오류를 넣어 점수를 낮추는 일도 없습니다. 조건에 맞는 결과는 무료로 AI 수치를 계속 낮추실 수 있습니다.

이 가운데 어느 것도 다음 보고서가 무엇이라고 할지에 대한 주장이 아닙니다. 무엇이 손대어지고 무엇이 손대어지지 않는지를 설명한 것일 뿐입니다.

참고문헌 목록이 제 Turnitin AI 점수를 올리나요? 아닙니다. Turnitin의 릴리스 노트는 AI 작성 보고서를 처리할 때 참고문헌 목록이 제외된다고 밝히고 있으며, 분석 대상은 표준적인 문법을 갖춘 문장으로 이루어진 본문이고 참고문헌 항목은 여기에 해당하지 않습니다. 높은 AI 백분율은 본문에서 나온 것입니다.

표시되지 않도록 제출 전에 참고문헌을 삭제해야 할까요? 아닙니다. 참고문헌 목록은 어차피 그 처리에서 제외되므로 AI 보고서가 분석하는 내용은 달라지지 않고, 없는 문제를 해결하려고 미완성 논문을 내는 셈이 됩니다. 보고서가 무엇에 반응했는지 알고 싶으시다면 어떤 본문 단락이 강조 표시되었는지 보십시오.

유사도 점수는 높은데 AI 점수는 별표뿐인 이유는 무엇인가요? 서로 다른 것을 측정하는 독립적인 지표이기 때문입니다. Turnitin은 AI 점수가 1에서 19 사이일 때 숫자 대신 별표를 표시하며, 그 범위의 오탐률이 더 높기 때문이라고 설명합니다. 유사도가 높고 AI 표시 옆이 별표라면 대개는 일치하는 텍스트가 많고, 참고문헌 목록이 포함되는 경우도 많으며, 모델이 AI로 평가한 본문은 매우 적다는 뜻입니다.

AI Writing Report를 직접 볼 수 있나요? 직접은 볼 수 없습니다. Turnitin은 AI 작성 표시가 교수자와 관리자에게만 보인다고 밝힙니다. 교수자가 보고서를 PDF로 내려받아 공유할 수 있으므로, 다른 사람의 설명을 바탕으로 추론을 시작하기 전에 먼저 요청해 보실 만합니다.