체계적 문헌고찰과 AI 탐지: 왜 방법론 섹션이 적발되는가

체계적 문헌고찰은 표준화된 방법론 섹션을 요구합니다. 검색한 데이터베이스, 검색어, 포함 및 제외 기준, 스크리닝 과정을 기술해야 합니다. PRISMA 체크리스트가 구체적인 보고 요소를 요구하기 때문에 표현이 반복될 수밖에 없습니다. Turnitin 문서는 위양성을 일으키는 텍스트 유형을 이렇게 설명합니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때때로 위양성 (인간이 쓴 텍스트를 AI 생성으로 잘못 표시하는 경우) 은 구조적 다양성이 부족하거나 문자 그대로 반복되거나, 새로운 아이디어를 발전시키지 않고 단순 번안된 텍스트를 포함할 수 있습니다.)

다음 문장은 이렇습니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (이러한 텍스트에서 AI 작문이 더 많이 표시된다면, 표시된 백분율을 해석할 때 이를 고려하시기를 권합니다.)

방법론 섹션은 이 세 가지 기준을 모두 충족하기 때문에 Turnitin 이 내 방법론 섹션 전체를 감지했다 이 흔한 불만입니다. 모든 체계적 문헌고찰이 동일한 단계를 보고하므로 구조적 다양성이 낮습니다. 표현도 반복됩니다 ("we searched," "we identified," "we screened"). 프로토콜 설명을 번안했을 뿐 새로운 아이디어를 발전시키지 않은 텍스트입니다. 문서는 이런 패턴과 일치할 때 백분율을 확정으로 받아들이지 말고 고려 사항으로 삼으라고 말합니다.

탐지 파이프라인은 대상 텍스트를 세그먼트로 나누어 각각 점수를 매깁니다.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin 에 제출되면 제출문의 문장이 추출되어 예측 분석을 위해 중첩되는 세그먼트로 나뉩니다. 각 세그먼트는 AI 탐지 모델에 의해 분류되며 텍스트가 인간 작성 또는 AI 생성일 확률을 나타내는 0 에서 1 사이의 값을 부여받습니다. 이 세그먼트 내의 각 적격 문장은 세그먼트의 점수를 상속합니다. 세그먼트가 중첩되므로 일부 문장은 복수의 점수를 가질 수 있으며, 이는 단일 점수로 통합됩니다. 이 문장 점수들은 추가로 집계되어 전체 문서의 AI 작문 점수를 산출하는 데 사용됩니다.)

체계적 문헌고찰에서 방법론 섹션의 반복적 패턴은 여러 중첩 세그먼트에 걸쳐 높은 점수를 만들어낼 수 있습니다. 이 점수들이 집계되어 문서 수준의 높은 백분율이 됩니다. 800 단어가량 되는 방법론 섹션이 5000 단어 분량인 전체 문헌고찰의 점수를 끌어올릴 수 있습니다. 수정이 필요하시다면 의역해도 되는 부분과 정확히 유지해야 하는 부분 에서 바꿀 수 없는 부분을 확인하세요.

탐지기는 burstiness 나 perplexity 같은 지표를 평가하지 않습니다. 이 주장은 Turnitin 이 AI 감지에 perplexity 와 burstiness 를 사용하는지 에서 다뤄지고 있습니다.

"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (본사 모델은 때로 공개 논의에서 언급되는 'burstiness', 'perplexity' 또는 기타 개별 지표를 명시적으로 평가하도록 프로그래밍되지 않았습니다.)

다음 문장은 이렇습니다. "Instead, it learns statistical patterns from our training data." (대신, 본사 모델은 학습 데이터에서 통계적 패턴을 학습합니다.)

동일한 출처는 모델이 실제로 무엇을 하는지 이렇게 설명합니다.

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (본사 분류기는 이러한 단어 확률 차이를 탐지하도록 학습되었으며, 인간 작문의 특수한 단어 확률 시퀀스를 식별하는 데 능숙합니다.)

탐지기는 단어 확률 시퀀스를 평가합니다. 세그먼트 내의 단어들이 인간 작문에서 학습된 패턴과 일치하는지, 아니면 AI 생성 텍스트에서 학습된 패턴과 일치하는지 확인합니다. 방법론 섹션에서는 단어 시퀀스가 보고 템플릿에 의해 결정됩니다. "we searched the following databases"나 "studies were included if"와 같은 구절이 수천 편의 논문에서 나타납니다. 이러한 시퀀스는 개별 필자의 단어 선택보다 학습 데이터의 통계적 패턴과 더 밀접하게 일치할 수 있습니다. 이런 일치는 AI 관여 없이도 높은 확률 점수를 만들어낼 수 있습니다.

탐지기는 적용 대상 텍스트 만 처리합니다.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 적격 텍스트는 산문 문장만 포함합니다. 즉, 본사는 표준 문법적 문장으로 작성된 텍스트 블록만 분석하며, 리스트, 불릿 포인트 (짧은 비문장 구조) 또는 기타 비문장 구조와 같은 다른 유형의 작문은 포함하지 않습니다.)

다음 문장은 이렇습니다. "This percentage is not necessarily the percentage of the entire submission." (이 백분율은 반드시 전체 제출문의 백분율을 의미하는 것은 아닙니다.)

체계적 문헌고찰에는 표 (PRISMA 플로우 다이어그램, 추출 표) 와 구조화된 리스트 (포함 및 제외 기준) 가 담깁니다. 이들은 적격 산문이 아닙니다. 백분율은 산문 문장만 대상으로 합니다. 결과 섹션이 대부분 표로 구성되었다면 백분율은 방법론처럼 산문이 많은 섹션에 편중됩니다. 문서에서는 이렇게 덧붙입니다.

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (본사 모델은 비산문 또는 코드 형태의 AI 생성 텍스트를 안정적으로 탐지하지 않으며, 불릿 포인트 (짧은 비문장 구조) 와 같은 단문형/비전통적 작문도 탐지하지 않습니다.)

다음 문장은 이렇습니다. "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (즉, 여러 다양한 작문 유형을 포함한 문서는 백분율과 하이라이트 간에 차이가 발생할 수 있음을 의미합니다.)

체계적 문헌고찰은 다중 형식 문서입니다. 백분율과 하이라이트 간의 차이는 예상된 동작입니다.

방법론 섹션은 짧은 하위 섹션으로 나뉘는 경우가 있습니다. 검색 전략 하위 섹션은 200 단어가량일 수도 있습니다. 문서에서는 이렇게 경고합니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (수백 단어만 있는 짧은 문서에서는 예측이 대부분 '전부 아니면 전무'가 됩니다. 중첩될 기회 없이 단일 세그먼트로만 예측하기 때문입니다.)

다음 문장은 이렇습니다. "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (즉, AI 생성 콘텐츠와 원래 콘텐츠가 혼재된 일부 텍스트가 전적으로 AI 생성으로 표시될 수 있다는 뜻입니다.)

짧은 하위 섹션의 경우 탐지기는 점수를 조정할 중첩 없이 단일 세그먼트로만 예측할 수 있습니다. 인간이 썼지만 템플릿을 따른 하위 섹션도 전무 또는 전부의 높은 점수를 받을 수 있습니다.

2023 년에 Turnitin 은 문서 경계에서의 위양성도 해결했습니다.

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (출시 이후 본사는 문서의 처음이나 마지막 몇 문장에서 위양성 탐지가 더 빈번하게 발생하는 것을 관찰했습니다. 이러한 문장은 대개 일반화된 방식으로 작성된 서론 또는 결론 콘텐츠로 구성됩니다. 이로 인해 본사는 이러한 위양성을 줄이기 위해 탐지 로직을 변경했습니다.)

다음 문장은 이렇습니다. "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (또한 본사는 세그먼트 경계 탐지를 더 정밀하게 만들기 위해 노력했으며, 이는 드문 경우 이전 버전과 비교하여 경계가 변경되는 결과를 초래할 수 있습니다.)

이는 2023 년 개선 사항입니다. 체계적 문헌고찰의 서론과 결론은 템플릿을 따릅니다 (배경, 공백, 목표, 발견 요약). 로직 변경은 이 패턴을 해결했습니다.

Turnitin 문서는 한계를 명확히 밝히고 있습니다.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (본사의 AI 작문 탐지 모델은 항상 정확하지 않을 수 있으며 (인간이 쓴 텍스트, AI 생성 텍스트, AI 번안 텍스트를 잘못 식별할 수 있음), 따라서 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다.)

다음 문장은 이렇습니다. "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학술 부정행위가 발생했는지 여부를 판단하려면 추가적인 검토와 인간의 판단이 필요하며, 조직의 특정 학술 정책 적용과 함께 이루어져야 합니다.)

방법론 섹션에서 AI 점수가 높은 체계적 문헌고찰이 부정행위의 증명은 아닙니다. 방법론 섹션은 위양성 패턴과 일치합니다. 탐지기는 단어 확률 분류기일 뿐입니다. 점수는 인간의 판단과 기관의 정책이 필요합니다. AI 비율이 높을 때 지도교수가 취하도록 안내받는 조치 는 마커가 참조하는 가이드라인입니다.

요약하면 다음과 같습니다.

• 방법론 섹션은 위양성 패턴과 일치합니다. 구조적 다양성 부족, 반복적 표현, 새로운 아이디어 없이 번안된 텍스트.
• 탐지기는 burstiness 나 perplexity 평가자가 아닌 단어 확률 분류기입니다.
• 적격 산문만 분석됩니다. 표, 리스트, 불릿 포인트는 제외됩니다.
• 짧은 방법론 하위 섹션은 전부 아니면 전무의 점수 문제를 겪습니다.
• 2023 년에 Turnitin 은 문서 경계에서의 위양성을 줄이기 위해 탐지 로직을 개선했습니다.
• 점수는 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다. 인간의 판단이 필요합니다.

체계적 문헌고찰에 대한 Turnitin AI 리포트를 받고 적발된 구절을 처리하고 싶으시면 리포트를 불러오세요. 적격 구절은 무료 재실행이 가능합니다.