CNKI vs VIP vs Turnitin AI 감지 결과 차이점 분석

동일한 논문이라도 AI 감지 시스템마다 완전히 다른 수치가 산출되는 이유는 학습 데이터, 지원 언어 범위, 전처리 방식 및 분류 임계값이 서로 다르기 때문입니다. 특정 도구에서 나온 퍼센티지는 결코 보편적인 측정 척도가 될 수 없습니다.

HumanPen 팀

· 10분

요약: 보편적인 표준이 되는 감지기는 없습니다

학위 수여 기관이나 학술지에서 공식적으로 지정한 단 하나의 시스템만 신뢰하셔야 합니다. 다른 도구에서 나온 수치는 어떠한 행정적 효력도 지니지 않으며, 특정 감지기의 퍼센티지가 AI 작성 여부에 대한 객관적이고 보편적인 척도를 대변하지도 않습니다. 이러한 플랫폼 간에는 보편적인 벤치마크나 보정된 기준 척도가 존재하지 않습니다. 본 분석의 바탕이 된 연구는 CNKI, VIP, Turnitin 간에 동일 파일을 대상으로 한 통제된 비교를 수행하지 않았으므로, 어느 시스템이 "옳다", "더 엄격하다", 또는 "더 정확하다"고 단정할 수 없습니다.

더 넓은 차원의 분석에서는 AI 감지기 간 결과가 불일치하는 이유(CNKI와 Wanfang 간의 비교 등 시스템 간 분석 포함)를 다루고 있지만, CNKI, VIP, Turnitin 간의 삼자 불일치는 서로 다른 엔지니어링 선택이 얼마나 상충하는 결과를 낳는지 명확히 보여줍니다. 세 시스템이 동일한 논문에 대해 CNKI 3%, VIP 67%, 그리고 Turnitin에서 또 다른 수치처럼 현저히 다른 결과를 내놓을 때, 이는 동일한 기본 측정량을 재면서 서로 다른 오차를 내고 있는 것이 아닙니다. 서로 다른 학습 말뭉치, 각기 다른 언어 모델, 그리고 무엇이 적격 문장을 구성하는지에 대한 개별적인 엔지니어링 정의를 바탕으로 서로 다른 통계적 분류를 수행하고 있는 것입니다.

학술 심사나 졸업 논문 제출 과정에서 여러 독립된 상용 감지 엔진으로 사전 검사를 진행하고 그 수치들을 조율하려는 시도는 혼란만 가중시킬 뿐, 반드시 충족해야 하는 기관의 요구사항을 바꾸지 못합니다. 제도적인 효력을 갖는 유일한 점수는 소속 대학이나 학부에서 공식적으로 지정한 플랫폼이 명시적인 자체 지침에 따라 평가하여 산출한 점수뿐입니다.

첫 번째 구분: 유사도 매칭 vs AI 작성 분류

많은 이용자들이 겪는 불안의 주된 원인은 전통적인 유사도 검사 보고서와 AI 작성 분류 보고서를 혼동하는 데 있습니다. 두 보고서 모두 퍼센티지 수치로 결과를 보여주지만, 기술적인 작동 방식은 공통점이 거의 없습니다.

흔히 중복 검사나 표절 검사로 불리는 전통적인 유사도 검사는 색인 매칭 과정입니다. 소프트웨어가 텍스트를 문자열이나 n-gram 단위로 쪼갠 후, 색인화된 학술지 논문, 학위 논문, 웹 페이지 데이터베이스에서 일치하는 문자 시퀀스를 검색합니다. 유사도 점수는 작성한 텍스트 중 외부에 이미 출판된 출처와 완전히 일치하거나 거의 일치하는 표현이 얼마나 포함되어 있는지를 반영합니다.

반면 AI 작성 분류는 참조 데이터베이스를 검색하지 않습니다. 이용자가 입력한 프롬프트를 추적하거나 모델이 문단을 생성한 서버를 찾아내려고 하지도 않습니다. 대신 AI 감지기는 머신러닝 분류기를 사용하여 토큰 확률이나 문장 구조 변동성과 같은 텍스트의 문체적·통계적 속성을 분석합니다.

이 두 메커니즘은 독립적으로 작동하기 때문에, 동일한 제출물에서도 두 수치가 크게 엇갈리는 경우가 빈번하게 발생합니다:

  • 기존 문헌에서 직접 텍스트를 인용하지 않아 유사도 점수는 2%에 불과한 논문이라도, 모델이 해당 문장의 리듬과 전환 어휘를 대규모 언어 모델의 전형적인 패턴으로 판단한다면 AI 분류 점수는 60%에 달할 수 있습니다.
  • 반대로 적절하게 인용된 법령, 생물의학 표준 프로토콜, 또는 긴 직접 인용문으로 인해 유사도 점수가 35%에 달하는 논문이라도, 문장 전체를 사람이 직접 작성했기 때문에 AI 분류 점수는 0%가 나올 수도 있습니다.

전통적인 중복 검사 보고서의 관점으로 AI 감지 퍼센티지를 바라보면 잘못된 수정 방향으로 이어지게 됩니다. 출처 인용을 추가한다고 해서 AI 분류 표시를 벗어날 수는 없으며, 중복 점수가 낮다고 해서 AI 확률 점수가 낮게 나오는 것도 아닙니다.

도구마다 결과가 일치하지 않는 이유: 네 가지 기술적 차이점

동일한 원고에 대해 상용 감지기들이 서로 다른 점수를 내놓는 원인은 네 가지 구조적 차이점에서 비롯됩니다.

1. 학습 말뭉치와 주된 지원 언어 범위

감지기는 특정 말뭉치로 학습된 통계적 패턴 인식기입니다. 감지기의 신뢰도는 검사 대상 텍스트가 학습 데이터의 장르 및 언어와 얼마나 밀접하게 일치하는지에 크게 좌우됩니다.

CNKI (中国知网)와 VIP (维普)는 중국어 학술 텍스트를 대상으로 구축되었으며, 중국어 학술 논문에서 전형적으로 나타나는 구문, 관례, 전환 어구를 평가하도록 설계되었습니다.

Turnitin의 AI 작성 감지 시스템은 주로 영어를 중심으로 개발되었으며 특정 지원 언어 범위 내에서만 작동합니다. Turnitin의 Using the AI Writing Report 가이드에 따르면, "generate an AI Writing Report and percentage," (AI Writing Report 및 퍼센티지를 생성하려면) 파일이 "must be written in a supported language: English, Spanish, Japanese, Arabic, German, Dutch, Turkish." (지원되는 언어인 영어, 스페인어, 일본어, 아랍어, 독일어, 네덜란드어, 터키어로 작성되어야 합니다.)라고 명시되어 있습니다. 중국어는 Turnitin의 AI 감지 지원 언어가 아닙니다. 정식 Turnitin 보고서는 중국어 텍스트에 대해 AI 퍼센티지를 산출하지 않습니다. 독자께서 중국어 원고에 대해 가지고 계신 "Turnitin 수치"가 있다면, 그 수치는 결코 공인된 Turnitin AI 감지 퍼센티지일 수 없습니다. 이는 색인화된 출처와 텍스트를 대조한 전통적인 유사도 점수이거나, 영문 초록 또는 번역본에서 생성된 점수이거나, 완전히 다른 서비스를 사용하는 미승인 제3자 리셀러가 제공한 결과물입니다.

2. 텍스트 전처리, 세그멘테이션 및 토큰화

알고리즘이 확률을 계산하기 전에는 반드시 원시 텍스트를 개별 단위로 파싱해야 합니다. 이러한 파싱을 제어하는 규칙은 벤더마다 상당한 차이가 있습니다.

  • 토큰화 방식의 차이: 영어 텍스트는 자연스러운 단어 경계(공백)를 사용하는 반면, 중국어 텍스트는 알고리즘을 통한 단어 분리(分词) 또는 문자 단위 평가가 필요합니다. 도구가 전문 용어, 고대 중국어 인용문 또는 영숫자 표기를 어떻게 처리하는지에 따라 기본 특성 표현에서 즉각적인 차이가 발생합니다.
  • 세그멘테이션 규칙: Turnitin은 교육 기관 리더가 AI 작성 감지에 대해 알아야 할 사항을 설명하는 공식 블로그에서 "sentences from the submission are extracted and segmented into overlapping sections for prediction analysis." (제출물의 문장을 추출하여 예측 분석을 위해 중복되는 섹션으로 분할합니다.)라고 설명합니다. 중국 플랫폼들은 세그먼트의 시작과 끝을 결정하기 위해 자체적인 파싱 로직을 적용합니다.
  • 비산문 요소의 처리 방식: 감지기가 표, 수학 수식, 코드 조각, 감사의 글, 참고문헌 목록을 분석에 포함하는지 아니면 제외하는지에 따라 계산의 분모가 달라집니다. 어떤 벤더는 정형화된 표준 방법론 텍스트를 포함하고 다른 벤더는 이를 제거한다면, 최종 산출되는 문서 수준의 퍼센티지는 크게 달라질 수밖에 없습니다.

3. 판정 임계값 및 종합 집계 모델

감지 점수는 절대적인 개수가 아니며, 확률 임계값에 의해 도출된 결과물입니다.

분류기 내부에서 분석된 각 텍스트 세그먼트는 확률 점수를 부여받습니다. 보고서를 표시하려면 벤더는 판정 경계, 즉 어느 정도의 신뢰도 수준에서 세그먼트를 AI 생성으로 표시할 것인지 설정해야 합니다. 보수적인 판정 경계로 보정된 시스템은 모델의 신뢰도가 매우 높을 때만 텍스트를 표시하여 오탐을 억제하고 전체 문서 점수를 낮게(예: 3%) 산출합니다. 반면 더 민감한 경계로 보정된 시스템은 더 낮은 신뢰도 기준에서도 세그먼트를 표시하므로, 완전히 동일한 원고에 대해서도 훨씬 높은 점수(예: 67%)를 내놓게 됩니다.

뿐만 아니라, 문서 수준의 지표는 부분적으로만 공개된 서로 다른 수학적 정의를 반영합니다. 예를 들어 Turnitin은 그 방식을 개략적으로 공개하고 있습니다. 세그먼트 점수가 생성되면 개별 문장이 해당 점수를 상속받고, 문서 전체 퍼센티지는 플래그가 지정된 적격 텍스트의 비율을 반영합니다. 반면 CNKI는 자체 지표를 문서 내용에 AI 생성이 존재할 추정 확률인 "文章内容存在AI生成的概率大小" (문서 내용에 AI 생성물이 존재할 확률 크기)로 정의합니다.

각 플랫폼이 일부만 공개된 공식에 따라 점수를 서로 다르게 정의하고 집계하기 때문에, 한 도구의 "퍼센티지"를 다른 도구의 "퍼센티지"로 수학적으로 환산할 수는 없습니다.

4. 실제 업로드된 문서의 차이

실제 현장에서 관찰되는 점수 차이 중 상당수는 실제로 업로드된 내용의 차이에서 기인합니다. 이용자들은 종종 한 플랫폼에는 본문만 깔끔하게 제출하는 반면, 다른 플랫폼에는 표지, 초록, 목차, 참고문헌이 모두 포함된 전체 파일을 업로드하곤 합니다. 문서 구조가 바뀌면 파싱 경계와 전체 글자 수가 달라져 동일한 벤더의 도구 내에서도 일치하지 않는 결과가 나올 수 있습니다.

업체 홍보 블로그와 '가장 엄격한' 감지기라는 통념의 허구

Baidu, Bing 및 상업용 포럼의 검색 결과에는 감지 시스템의 순위를 매긴다고 주장하는 홍보성 블로그 게시물이 넘쳐납니다. 이러한 글 중 상당수는 특정 플랫폼이 다른 플랫폼보다 일관되게 삼십 퍼센트 더 높게 나온다거나, 특정 도구가 모든 번역 흔적을 감지한다거나, 특정 서비스만이 유일하게 권위 있는 시스템이라는 식의 고정된 수치를 내세우곤 합니다.

이러한 주장들은 1차 엔지니어링 문서, 동료 평가(Peer-reviewed)를 거친 방법론, 또는 통제된 표본 세트를 인용하는 경우가 거의 없습니다. 대부분의 경우, 불안해하는 학생들을 유료 사전 검사나 상용 재작성 소프트웨어로 유도하려는 제3자 리셀러, 대필 브로커, 또는 자동 재작성 서비스에서 비롯된 것입니다.

탐사 보도와 교육 저널리즘에서는 상용 AI 감지 도구가 테스트 실행 및 플랫폼에 따라 불안정한 결과를 자주 내놓으며, 보정된 과학적 벤치마크를 제공하기보다는 상업적 불안감만 조성하고 있다고 거듭 지적해 왔습니다. 승인되지 않은 여러 제3자 서비스에서 초안을 테스트하는 학생들은 플랫폼 간 "순위"라는 명목으로 검증되지 않은 서비스나 대체 검사 크레딧을 판매하려는 상업적 마케팅의 굴레에 갇히는 경우가 많습니다.

이러한 독점 플랫폼 전반에서 모든 변수를 일정하게 통제한 포괄적이고 통제된 실증 벤치마크가 존재하지 않기 때문에, 특정 도구가 "진정한" 표준을 대변한다는 주장은 확립된 사실이라기보다는 상업적인 포지셔닝에 불과합니다.

침착한 대처를 위한 체크리스트: 수치가 일치하지 않을 때 해야 할 일

서로 다른 감지 플랫폼에서 상충되는 점수가 나오더라도 당황하거나 무작위로 글을 다시 쓰지 마십시오. 다음의 실질적인 대응 체크리스트를 따라 진행하시기 바랍니다.

  1. 소속 단과대학이나 교육 기관이 공식적으로 사용하는 감지 플랫폼이 무엇인지 확인하십시오. 대학이나 학과에서는 상용 도구들의 평균 점수로 제출물을 평가하지 않습니다. 기관 정책에 따라 개별 단과대학이 자체적으로 AIGC 감지 도구를 선택할 수 있으므로, 소속 학과나 대학의 공식 공지사항을 확인하여 소속 단과대학에서 어떤 도구를 사용하는지, 제출물이 어떻게 처리되는지, 그리고 사전 검사가 인정되는지 여부를 파악해야 합니다.
  2. 기관의 실제 정책과 심사 절차를 자세히 읽으십시오. 소속 기관이 AI 점수를 초기 스크리닝 지표로 사용하는지, 아니면 증거 기준으로 사용하는지 확인하시기 바랍니다. 많은 학술 기관의 규정에서는 자동화된 퍼센티지가 학술적 부정행위 판정의 유일한 근거가 될 수 없음을 명시하고 있으며, 어떠한 조치가 내려지기 전에 교수진의 평가, 지도교수의 확인, 또는 학술 소명 청문회를 거치도록 요구하고 있습니다.
  3. 작성 과정 전체의 이력과 증거 자료를 온전히 보관하십시오. 부당한 표시로부터 자신을 방어하는 가장 신뢰할 수 있는 방법은 작성 과정에 대한 실제 문서 증거를 갖추는 것입니다. 다음 항목들을 잘 보관하시기 바랍니다: 타임스탬프가 찍힌 파일 버전 및 수정 이력(예: Word, WPS 또는 버전 관리 시스템 기록), 초기 개요, 연구실 실험 노트, 미가공 실험 데이터 및 인터뷰 녹취록, 문헌 수집 과정을 보여주는 참고문헌 관리 프로그램 라이브러리, 제출 타임스탬프와 하이라이트된 구절 맵이 포함된 공식 검사의 원본 무삭제 PDF 보고서.
  4. 특정 점수를 쫓기보다는 도구 사용에 관한 소속 기관의 지침을 확인하십시오. 재작성, 패러프레이징, 휴머나이저 도구의 허용 여부는 일률적인 규칙이 아니며, 허용 범위는 전적으로 소속 기관, 학위 과정 및 과제 규정에 달려 있습니다. 작성자는 편집 보조 도구의 허용 수준을 확인하기 위해 항상 소속 대학의 학술 진실성 정책을 참고해야 합니다. 나아가 그 어떤 도구나 재작성 방식도 특정 감지기 결과나 점수 감소를 약속하거나 보장할 수 없습니다. 자동화된 문구 치환에 맹목적으로 의존하면 사실적 오류가 발생하거나 학술 전문 용어가 왜곡되고 인용이 손상되어, 전문가 심사 과정에서 원고의 근본적인 학술적 품질을 해칠 수 있습니다.

자주 묻는 질문

VIP에서 높은 점수가 나왔을 때 CNKI나 Turnitin의 낮은 점수를 이용해 이의를 제기할 수 있습니까(또는 그 반대의 경우)? 일반적으로 불가능합니다. 기관의 심사 위원회는 자체적으로 지정된 소프트웨어 환경에서 제출물을 평가합니다. 각 기관은 서로 다른 감지기가 비교 불가능한 지표와 임계값을 사용한다는 점을 인지하고 있으므로, 다른 상용 도구에서 나온 비공식 점수를 제시하는 것은 증거로서의 효력이 거의 없습니다. 이의 제기는 경쟁 벤더의 보고서가 아니라 버전 이력, 초안, 출처 메모와 같은 작성 과정 증거를 통해 정당하게 뒷받침되어야 합니다.

중국어 논문을 영어로 번역하면 AI 감지 점수가 동일하게 유지됩니까? 그렇지 않습니다. 기계 번역은 토큰 시퀀스, 구문 및 문장 길이를 근본적으로 변화시킵니다. 텍스트를 번역하면 언어 영역이 완전히 바뀌어 분석 기준이 중국어에 보정된 모델에서 영어에 보정된 모델로 전환됩니다. 중국어에서 나온 5%라는 점수가 영어에서도 5%가 나올 것임을 예측해 주지 않습니다.

제출 전에 여러 제3자 상용 도구로 비용을 지불하고 사전 검사를 받아야 합니까? 여러 제3자 상용 플랫폼에서 유료로 사전 검사를 받는 것은 권장하지 않습니다. 누적되는 비용 부담 외에도, 미출판된 연구 문서를 공인되지 않은 온라인 플랫폼에 제출할 경우 문서 유출, 메타데이터 오염, 또는 의도치 않게 저장소에 아카이빙될 위험이 따릅니다.

AI 점수가 0%이면 논문이 아무런 문제 없이 무조건 통과된다는 의미입니까? 아닙니다. 0%라는 점수는 해당 분류기가 분석된 파일의 특정 구간에서 설정된 임계값을 초과하는 통계적 신호를 발견하지 못했음을 나타낼 뿐입니다. 이것이 실제 저작권을 인증하거나 사실적 정확성을 검증하거나 연구의 질을 평가하는 것은 아닙니다. 학술적 진실성은 자동화된 퍼센티지가 아니라 학문적 가치와 진정한 저자성에 의해 판단됩니다.

출처 및 참고문헌

  • Turnitin의 AI Writing Report 사용 지침: https://guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report
  • AI 작성 감지에 관한 Turnitin 공식 블로그: https://www.turnitin.com/blog/ai-writing-detection-what-academic-leaders-need-to-know
  • 중국지망(CNKI) AIGC 감지 서비스 포털: https://aigc.cnki.net/
  • VIP Information(CQVIP) 논문 검사 포털: http://vpcs.cqvip.com/

계속 읽기