서론과 결론이 AI 로 감지되는 이유 (그리고 대처법)

서론과 결론은 본문 단락보다 AI 로 감지될 확률이 더 높습니다. Turnitin 의 2023 년 5 월 릴리스 노트에는 이렇게 나와 있습니다. "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (출시 이후로 문서의 첫 몇 문장이나 마지막 몇 문장에서 거짓 양성 감지가 더 빈번하게 나타나는 것을 확인했습니다. 많은 경우 이러한 문장은 일반화된 방식으로 작성된 서론이나 결론 내용입니다.) 감지 로직은 이러한 거짓 양성을 줄이기 위해 업데이트되었지만, 서론과 결론에서 나타나는 일반적이고 틀에 박힌 작성 패턴은 여전히 존재합니다. 서론이 광범위한 진술로 시작하고 결론이 예측 가능한 어휘로 논지를 재진술한다면, 이러한 구절은 2023 년 개선 이후에도 AI 생성 텍스트와 단어 확률 프로필이 겹쳐서 AI 로 감지될 수 있습니다.

2023 년 5 월 릴리스 노트에는 해당 패턴과 이에 대한 대응이 설명되어 있습니다.

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (출시 이후로 문서의 첫 몇 문장이나 마지막 몇 문장에서 거짓 양성 감지가 더 빈번하게 나타나는 것을 확인했습니다. 많은 경우 이러한 문장은 일반화된 방식으로 작성된 서론이나 결론 내용입니다. 그 결과 이러한 거짓 양성을 줄이기 위해 감지 로직을 변경했습니다.)

다음 문장입니다. "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (또한 세그먼트 경계 감지를 더 정밀하게 만드는 작업도 진행했으며, 이로 인해 이전 버전과 비교해 일부 드문 사례에서 경계가 변경될 수 있습니다.)

이는 현재 결함에 대한 설명이 아니라 2023 년에 이루어진 개선 사항입니다. 감지 로직이 변경되어 해당 위치에서의 거짓 양성이 줄어들었습니다. 하지만 이 노트는 중요한 사실을 알려줍니다. 문서의 첫 문장과 마지막 문장은 본질적으로 거짓 양성에 더 취약했다는 점입니다. 이번 개선으로 문제는 줄었지만 완전히 사라진 것은 아닙니다.

릴리스 노트는 "generalized way 로 작성된 서론 또는 결론 내용"을 지적합니다. 여기서 핵심은 '일반화된 내용'입니다. 서론은 흔히 넓은 배경으로 시작합니다. "최근 몇 년간 X 는 중요한 주제가 되었습니다." 결론은 종종 논지를 재진술합니다. "이 논문은 X 가 Y 로 이어진다는 것을 보여주었습니다." 이러한 구성은 예측 가능하고 틀에 박혀 있으며 구조적으로 균일합니다. Turnitin 의 FAQ 는 "구조적 변이가 거의 없는 내용"을 거짓 양성에 취약한 특징으로 꼽습니다. 일반화된 서론과 결론은 바로 그런 유형의 내용입니다. 이러한 부분의 단어 확률 패턴은 주장이 더 구체적이고 어휘가 더 다양한 본문 단락보다 예측하기 쉽습니다. 이와 관련된 더 자세한 내용은 왜 세련된 글을 쓴 논문이 AI 로 감지되는가 에서 확인할 수 있습니다.

감지 파이프라인은 텍스트를 세그먼트로 나누어 작동합니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (논문이 Turnitin 에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 중복되는 섹션으로 세분화됩니다. 각 세그먼트는 AI 감지 모델에 의해 분류되며 0 에서 1 사이의 값을 받아 텍스트가 인간이 작성했을 가능성과 AI 생성일 확률을 나타냅니다. 이러한 세그먼트 내의 각 적격 문장은 세그먼트의 점수를 상속받습니다. 세그먼트가 중복되므로 일부 문장은 여러 점수를 가질 수 있으며 이는 단일 점수로 통합됩니다.)

릴리스 노트에는 "segment boundaries detection(세그먼트 경계 감지)"도 언급되어 있습니다. 문서의 첫 문장과 마지막 문장은 세그먼트 구조의 가장자리에 위치합니다. 2023 년 개선 전에는 이러한 위치에서 거짓 양성 비율이 더 높았습니다. 개선으로 세그먼트 경계 감지가 더 정밀해져 도움이 되었습니다. 하지만 내용 자체가 일반화된 방식으로 작성되었다면 여전히 AI 유사 분류를触发하는 단어 확률 패턴을 생성할 수 있습니다. 이러한 패턴이 무엇인지는 Turnitin 이 perplexity 와 burstiness 를 사용하는가 에서 다룹니다.

Turnitin 의 FAQ 에도 다음과 같이 나와 있습니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (수백 단어로만 구성된 더 짧은 문서에서는 중복될 기회가 없는 단일 세그먼트에 대해 예측하므로 예측이 대부분 '전부 아니면 전무' 방식이 됩니다.)

다음 문장입니다. "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (이는 AI 생성 내용과原创 콘텐츠가 섞인 일부 텍스트가 완전히 AI 생성으로 flags 될 수 있음을 의미합니다.)

짧은 에세이에서는 서론과 결론이 전체 텍스트의 큰 비중을 차지할 수 있습니다. 둘 다 감지되면 짧은 문서의 '전부 아니면 전무' 방식 때문에 문서 전체가 AI 생성으로 분류될 수 있습니다. 극단적인 결과이지만 일반화된 서론과 결론을 가진 짧은 에세이가 놀랍도록 높은 점수를 받을 수 있는 이유를 설명해 줍니다. Turnitin 이 내 작업을 100% AI 라고 말하는 이유 는 이러한 극단적인 사례를 처음부터 끝까지 다룹니다.

지금까지 다룬 내용을 요약하면 다음과 같습니다.

• Turnitin 의 2023 년 5 월 릴리스 노트는 문서의 첫 번째와 마지막 문장에서 거짓 양성이 더 빈번하게 나타나는 패턴을 설명합니다.
• 감지 로직은 2023 년에 업데이트되어 이를 줄였지만 일반화된 서론 및 결론 작성의 기본 패턴은 여전히 존재합니다.
• 일반화된 서론과 결론은 FAQ 가 거짓 양성 취약 특징으로 꼽는 "낮은 구조적 변이" 특성을 공유합니다.
• 서론과 결론이 전체 텍스트에서 차지하는 비중이 더 크기 때문에 짧은 문서일수록 문제가 증폭됩니다.
• 서론과 결론을 더 구체적으로 작성하고 덜 틀에 박히게 하며 구조적으로 더 다양하게 만드는 것이 패턴 개선에 도움이 될 수 있습니다.

어떤 구절이 감지되었는지 보여주는 Turnitin 리포트가 있다면 리포트를 가져와서 해당 구절만 집중적으로 수정하세요. 대상 구절은 추가 비용 없이 다시 실행할 수 있습니다.