문헌 고찰에서 AI 점수가 높게 나왔다면? 그 이유

문헌 고찰은 본질적으로 AI 점수가 높게 나오는 구조적 약점을 안고 있습니다. 기존 연구를 요약하고 종합하는 게 역할이니 자연스럽게 기존 내용을 바꾸어 쓰는 비중이 커집니다. 각 단락은 선행연구의 결과를 다시 설명하는 데 집중하고, 출처 자료들이 비슷한 패턴을 따르다 보니 문장 구조도 비슷해지기 마련입니다. Turnitin FAQ 는 '구조적 변화가 많지 않은 내용 (content without a lot of structural variation)'과 '새로운 아이디어를 펼치지 않고 바꾸어 쓴 텍스트 (text that has been paraphrased without developing new ideas)'를 오검출 특성이 강한 특징으로 꼽습니다. 문헌 고찰은 AI 를 전혀 쓰지 않았더라도 이 두 설명에 모두 들어맞습니다. 높은 점수는 텍스트의 통계적 특성을 반영한 결과일 뿐, 반드시 AI 사용을 뜻하지는 않습니다. 그렇다고 점수가 사라지는 건 아니지만, 사람이 온전히 쓴 문헌 고찰에서도 AI 비율이 높게 나올 수 있는 이유는 분명해집니다.

Turnitin FAQ 에 따르면:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때때로 오검출 (사람이 쓴 텍스트를 AI 생성으로 잘못 표시) 에는 구조적 변화가 많지 않은 내용, 문자 그대로 반복되는 텍스트, 새로운 아이디어를 펼치지 않고 바꾸어 쓴 텍스트 포함)

바로 이어진 문장: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (만약 해당 텍스트에서 AI 작성량이 더 많다는 지표가 나타나면, 표시된 비율을 해석할 때 이를 고려할 것을 권합니다)

위 설명 가운데 셋은 문헌 고찰의 기본 설계와 일치합니다. '구조적 변화가 많지 않은 내용'은 모든 단락이 같은 패턴을 따르는 구절을 가리킵니다: A 연구자는 Y 를 발견했다, Z 연구자는 W 를 발견했다, A 연구자는 B 를 확인했다. '문자 그대로 반복되는 텍스트'는 요약 사이를 연결하는 상투적 표현을 뜻합니다: '마찬가지로', '반면', '~을 바탕으로', '~와 일치하게'. '새로운 아이디어를 펼치지 않고 바꾸어 쓴 텍스트'는 문헌 고찰이 문장 수준에서 하는 일 그 자체입니다. 텍스트 대부분은 독자적인 주장을 펼치기보다 기존 발견을 다시 쓰는 데 할애됩니다. FAQ 는 바로 이런 유형의 텍스트에서 오검출이 나올 수 있다고 말합니다. 그리고 Turnitin 은 교육자가 점수를 해석할 때 이를 고려하라고 권합니다.

다른 섹션보다 문헌 고찰에서 백분율이 더 높게 나오는 구조적 이유도 있습니다. Turnitin 은 '적격 텍스트 (qualifying text)'만 분석합니다. FAQ 는 이를 '표준 문법 문장으로 쓰인 산문 blocks', 즉 '일반적인 문장 형태로 쓰인 텍스트 덩어리'로 정의합니다. FAQ 는 이렇게 덧붙입니다: '이 백분율이 반드시 제출된 분서 전체의 비율을 뜻하지는 않습니다.'

결과 (results) 섹션에는 분석에서 제외되는 표, 그림, 수식이 들어갈 수 있습니다. 방법론 (methodology) 섹션에는 목록과 불릿 포인트가 포함되기도 합니다. 하지만 문헌 고찰은 거의 온통 산문입니다. 모든 단락이 적격 텍스트입니다. 즉, 문서에서 점수를 매기는 비율이 더 높아지고, 비율이 높아질수록 종합 점수에 반영되는 확률 값을 산출하는 구간도 더 많아집니다. 분량이 같은 문헌 고찰과 결과 섹션이라도 AI 백분율이 달라지는 이유는 부분적으로 검출기가 평가할 수 있는 적격 텍스트가 문헌 고찰에 더 많기 때문입니다. 밀도가 높을수록 점수가 잘 나온다는 바로 이 논리 때문에 방법론 섹션 전체가 Turnitin 에 걸린 사연 이 흔한 불만이기도 합니다.

Turnitin 의 2023 년 5 월 공개 노트는 문헌 고찰과 관련된 패턴을 설명합니다:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (출시 이후, 문서의 처음 몇 문장이나 마지막 몇 문장에서 오검출 발생률이 더 높다는 점을 확인했습니다. 많은 경우 이 문장들은 일반적인 방식으로 쓰인 서론 또는 결론 내용에 해당합니다. 이에 따라 오검출을 줄이기 위해 검출 로직을 변경했습니다)

다음 문장: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (또한 구간 경계 감지를 보다 정밀하게 개선하여 이전 버전과 드물게 경계가 달라질 수 있습니다)

이는 2023 년 개선 사항이지 현재 결함이 아닙니다. 하지만 논문이 지적하는 패턴—일반적인 서론과 결론 콘텐츠—은 문헌 고찰의 시작과 마무리 단락에서 흔히 볼 수 있는 형태입니다. 문헌 고찰이 '최근 몇 년간 X 에 대한 연구가 크게 늘었다'로 시작하고 '~를 종합하면, 기존 문헌은 다음과 같이 시사합니다'로 끝난다면, 바로 이런 진부한 문장 구조가 과거에 오검출과 자주 연관되었습니다. 검출 로직이 이를 줄이도록 업데이트되었지만, 많은 문헌 고찰에선 여전히 비슷한 패턴이 남아 있습니다.

하나 더 알아둘 점이 있습니다. Turnitin FAQ 에 따르면: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사도 점수와 AI 작성 감지 비율은 완전히 독립적이며 서로 영향을 주지 않습니다)

문헌 고찰은 기존 연구를 참조하고 인용하므로 유사도 점수가 중간에서 높게 나오기 마련입니다. 이는 당연한 일이고 문제가 되지 않습니다. 그런데 일부 학생들은 유사도 점수가 높으면 AI 점수도 높을 거라 생각하거나, 유사도를 낮추면 AI 점수도 내려갈 거라 여깁니다. 둘 다 틀린 생각입니다. 두 측정은 독립적입니다. 문헌 고찰에서 적합하게 인용된 출처 때문에 유사도 30% 에 AI 점수는 낮을 수 있고, 유사도 5% 에 AI 점수는 높을 수도 있습니다. 한쪽을 고쳐도 다른 쪽은 변하지 않습니다. 가장 자주 어긋나는 지점은 바로 두 점수를 같은 것으로 읽는 실수 입니다.

지금까지 설명을 정리하면 다음과 같습니다:

• 문헌 고찰은 Turnitin 의 오검출 위험 프로필 (구조적 변화 적음, 반복, 새로운 아이디어 없이 바꾸어 쓰기) 에 부합합니다.
• 문헌 고찰은 거의 전부가 산문이므로 검출기가 채점할 적격 텍스트가 더 많습니다.
• 일반적인 서론과 결론 콘텐츠는 과거에 오검출과 연관되었습니다 (2023 년 업데이트에서 개선).
• AI 점수와 유사도 점수는 독립적입니다. 한쪽을 낮춰도 다른 쪽은 낮아지지 않습니다.
• Turnitin 은 교육자가 이런 유형의 콘텐츠에서 높은 AI 점수를 해석할 때 텍스트 유형을 고려하라고 권장합니다.

문헌 고찰의 어떤 구간이 지적되었는지 Turnitin 리포트에서 확인했다면, 리포트를 가져와서 바로 그 구간만 수정하십시오. 나머지 리뷰는 그대로 둡니다. 이는 중요합니다. 포괄적으로 다시 쓰다가는 인용 사슬을 끊지 않고 문헌 고찰을 수정하는 일 이 무너지기 때문입니다. 적격 구간은 무료로 다시 검출할 수 있습니다.