과거 과제물을 문체 기준선으로 활용하기: 무엇을 고르고, 무엇은 증명하지 못하는가

아니요, 바로 이 비교를 하도록 만든 도구가 그렇게 문서로 적어 두고 있습니다. 문체 기준선이란 이전에 직접 제출해 이미 채점까지 받은 과제물 한 묶음을 가져다, 지적된 문장이 평소 제출하던 문장과 닮았다는 것을 보여 주려는 시도입니다. 이것은 분명히 실재하는 증거 유형입니다. University of York의 학술 부정행위 정책은 심사위원회가 "the previous assignments submitted by the student for a comparison" (비교를 위해 학생이 이전에 제출한 과제물)을 살피도록 정하고 있습니다. 그러나 Turnitin은 이 일을 전문적으로 수행하는 제품을 팔고 있고, Turnitin 자체 FAQ는 그 제품이 "will not be able to indicate if it was AI written" (AI가 쓴 것인지 여부는 알려 주지 못합니다)라고 밝힙니다. 닮았다는 주장이 답하는 질문은 "이 글이 당신의 글처럼 보이는가"입니다. 반면 혐의가 묻는 것은 이 문서 하나가 어떻게 만들어졌는가이며, 이는 별개의 질문입니다.

그래서 솔직하게 말하면, 문체 기준선은 답이 아니라 보강 증거입니다. 과정 증거보다 앞에 세울 것이 아니라 그 아래에 깔아 두어야 합니다.

이 글의 나머지 부분에서는 누가 이미 이 비교를 어떤 자료를 두고 수행하고 있는지, 당신의 예전 작업물 가운데 내놓을 만한 것이 무엇인지, 그리고 이것이 도리어 불리하게 작용하는 세 가지 경우를 다룹니다. 비교가 당신이 보지 못한 사이에 이미 이루어져 있을 수 있다는 점, 내놓는 자료는 무엇이든 다시 검출기에 들어갈 수 있다는 점, 그리고 글이 늘었다면 기준선이 오히려 당신에게 불리하게 말한다는 점입니다. 이 페이지에서 딱 하나만 가져가신다면, "What this evidence can and cannot carry" (이 증거가 감당할 수 있는 것과 없는 것) 아래의 표를 가져가십시오.

공개된 문서 세 건을 2026년 8월 28일에 확인했습니다. 그중 두 건은 담당자가 새 과제물과 예전 과제물을 나란히 놓고 보도록 지시합니다. 세 번째 문서는 좀 다른 일을 하는데, 그 차이도 알아 둘 만합니다. (밑에 인용한 Western Washington과 South Carolina 페이지의 문장은 접힌 패널 안에 들어 있으니, 직접 확인하러 가실 때는 펼쳐 보십시오.)

이 비교가 실제로 실행되었고 그 결과가 잘못된 사례가 기록으로 남아 있습니다. Office of the Independent Adjudicator는 잉글랜드와 웨일스의 고등교육기관을 상대로 해결되지 않은 학생 민원을 심사하고, 판단 내용을 익명 요약본으로 공개합니다. 2025년 7월에는 "AI와 학술 부정행위"라는 제목으로 여섯 건이 한꺼번에 나왔습니다. 첫 번째 사례에서 자폐가 있는 한 학생은 AI를 쓰지 않았다고 부인하며 계획안과 노트를 제출했습니다. 요약본에는 "a disciplinary panel considered the student's written evidence and also compared the essay to some other examples of the student's work" (징계위원회는 학생이 제출한 서면 증거를 검토하고, 그 에세이를 학생의 다른 과제물 일부와도 비교했습니다)고 적혀 있고, 위원회는 부정행위를 인정했습니다.

옴부즈맨은 그 학생의 민원을 받아들였습니다. 그 이유 가운데 하나는 다음과 같습니다.

"The student had not been given a fair opportunity to comment on how this essay compared to their other essays because some of the evidence the panel relied on had not been shared with them." (학생은 이 에세이가 다른 에세이들과 비교해 어떤지에 관해 의견을 밝힐 공정한 기회를 받지 못했습니다. 위원회가 근거로 삼은 증거 가운데 일부가 학생에게 공유되지 않았기 때문입니다.)

학생은 나중에 옴부즈맨에게, 학교가 사건을 다시 심의한 끝에 부정행위는 전혀 없었던 것으로 결론 내렸다고 전했습니다.

이 때문에 자료를 먼저 내놓기 전에 던져 볼 질문이 하나 생깁니다. 내 다른 과제물과의 비교가 이미 이루어졌는지, 그리고 그것을 볼 수 있는지 물어보십시오. York의 정책은 같은 원칙을 반대편에서 적어 두고 있습니다. 위원회는 "will not use any material to make its judgement unless the student has had sight of it in advance and the opportunity to respond" (학생이 사전에 그 자료를 보고 답변할 기회를 얻지 못했다면, 판단에 그 자료를 쓰지 않습니다)고 명시하고 있습니다.

이 페이지 앞부분에서 언급한 제품은 Authorship이라는 이름입니다. 이것이 AI 검출과 어떻게 다른지는 Turnitin의 Authorship과 AI 검출은 어떻게 다른가: 두 시스템 해설에서 다룹니다. 여기서 중요한 것은 무엇과 비교하느냐이며, 조사 담당자용 안내서에는 바로 당신의 과거 제출물이라고 적혀 있습니다.

"Authorship for Investigators also provides new evidence about a student's writing over time that can be used to confirm suspicions of a possible misconduct violation. This evidence is provided in an Authorship Report that is generated by either manually uploading files to compare against each other, or by entering a Turnitin paper ID and selecting from a list of the students' past work which files you would like to compare against." (Authorship for Investigators는 시간에 따른 학생의 글쓰기 변화에 관한 새로운 증거도 제공하며, 그것은 부정행위 위반이 있다는 의심을 확인하는 데 쓸 수 있습니다. 이 증거는 Authorship Report라는 보고서로 제공됩니다. 보고서는 두 가지 방법으로 만들어집니다. 파일을 직접 업로드해 서로 비교하는 방법과, Turnitin paper ID를 입력한 뒤 학생의 과거 과제물 목록에서 비교할 파일을 고르는 방법입니다.)

같은 페이지에는 자체적으로 한계도 적어 두었습니다. "It is important to note that Authorship for Investigators does not identify contract cheating. It takes human judgment to determine whether contract cheating has occurred based on the balance of probabilities." (Authorship for Investigators가 과제 대필을 가려내는 것은 아니라는 점에 유의하실 필요가 있습니다. 대필이 있었는지는 개연성의 형량에 따라 사람이 판단해야 합니다.)

Turnitin이 그 보고서에 대해 공개한 안내 페이지에는 독자를 위한 설명이 딱 한 줄 있습니다. 관련 지침이 "is only visible when accessed from within the report itself" (보고서 자체 안에서 열었을 때만 볼 수 있습니다)라는 것입니다. 즉 누군가 당신의 과거 제출물을 두고 비교를 실행했다면, 그 결과가 무엇을 뜻하는지 가장 잘 설명할 수 있는 사람은 보고서를 열어 본 사람입니다. 열람을 요청해야 하는 이유가 하나 더 생기는 셈입니다.

2026년 8월 28일 시점의 AI 검출 FAQ에는 baseline, style, portfolio, voice라는 단어가 한 번도 나오지 않습니다. 따라서 검출기 문서는 당신의 문체에 관해 어느 쪽으로도 주장하지 않습니다. 누구도 그것을 근거로 당신의 문체를 의심할 수 없고, 당신도 그것을 들어 자신의 문체를 옹호할 수 없습니다.

York의 정책에도 Western Washington 페이지에도 구체적인 수치는 없습니다. York는 개수를 밝히지 않고 복수형인 '이전에 제출한 과제물'이라고 쓰며, Western Washington은 단수형인 '기준이 되는 작문 표본'이라고 씁니다. 따라서 개수를 맞추려 하지 말고 질로 고르십시오.

• 채점을 받아 되돌려받은 것, 그리고 채점자의 주석이 파일에 그대로 남아 있는 것. 반환된 과제물에는 날짜와 채점자, 그리고 남이 매긴 성적이 함께 붙어 있습니다. 새로 타이핑한 깨끗한 복사본에는 그것이 하나도 없습니다.
• 과목보다 먼저 글의 종류를 맞추십시오. 실험 보고서와 성찰적 에세이는 도구가 다르고, 글을 쓰는 방식도 달라집니다. 둘 중 하나만 가질 수 있다면 종류가 맞는 쪽을 고르십시오.
• 감독 아래에서 쓴 것이라면 무엇이든. 시간제 시험의 답안지(학과가 원본을 내어 주는 경우), 수업 시간에 쓴 글, 감독이 있는 시험 따위입니다. 이런 글은 저작자 자체가 다툼의 대상이 되지 않는데, 그것이 평소 과제물을 아무리 많이 모아도 얻을 수 없는 유일한 성질입니다.
• 당신의 습관이 겉으로 드러나 있는 것. 가장 잘한 글이 아니라 가장 평소다운 글입니다. 요점은 일관성이고, 학위 과정 둘째 해에 상을 받은 에세이는 평범한 화요일에 당신이 어떻게 쓰는지를 아무것도 증명해 주지 않습니다.
• 이미 공식 절차 안에서 한 번 검토된 것. 예전에 지적을 받았던 글이 조사 끝에 혐의가 취하된 적이 있다면, 그 결과 자체가 기록으로 남는 사실이며 닮았다는 주장보다 힘이 셉니다. 이유는 아래 '글이 늘어 버렸을 때의 문제' 절에서 설명합니다.

손대면 안 되는 것도 있습니다. 채점된 원본을 찾을 수 없는 글, 팀으로 작업한 과목의 글, 그리고 남이 자세히 다시 읽어 주었으면 하지 않는 글입니다. 한편 별다른 노력 없이 날짜가 붙은 자기 글이 저절로 쌓이는 곳이 하나 있는데, 바로 매주 올리는 온라인 토론 게시판입니다. 그 형식이 왜 그런 기록을 저절로 만들어 주는지는 토론 게시판 글이 AI로 지목된 경우에 적어 두었습니다.

Western Washington 페이지는 네 가지를 듭니다. 문체, 완성도, 분량, 그리고 문장 기술이며, 문장 기술은 다시 철자, 문장 부호, 구조로 나뉩니다. 남이 만든 목록이기 때문에 그대로 쓰시면 됩니다. 이 항목에 맞춰 비교를 구성하면, 심사 쪽이 이미 쓰고 있는 말로 이야기하게 됩니다.

넷 중 세 가지는 사람의 판단이 개입합니다. 문장 기술이 가장 세어 보기 쉬운 항목이고 Word도 숫자 두 개를 내어 줍니다. 다만 아래 공식이 보여 주듯, 그 두 값은 철자나 문장 부호를 전혀 보지 않습니다.

Word for Microsoft 365에서는 Home > Editor > Document stats에서 Flesch Reading Ease 점수와 Flesch-Kincaid Grade Level을 보여 줍니다. Microsoft 지원 페이지에는 두 공식이 모두 실려 있습니다. Reading Ease 공식은 다음과 같습니다.

"206.835 – (1.015 x ASL) – (84.6 x ASW)" (Flesch Reading Ease 점수를 구하는 공식입니다)

여기서 ASL은 단어 수로 잰 평균 문장 길이이고, ASW는 단어당 평균 음절 수입니다. Flesch-Kincaid 공식도 같은 두 값을 입력으로 씁니다.

그러니 이 숫자를 이메일에 적어 넣기 전에 생각하실 것이 있습니다. 두 점수는 모두 문장이 얼마나 긴지, 단어의 음절이 몇 개인지, 딱 두 변수만으로 정해집니다. 당신의 어휘 선택, 논증 구조, 인용 습관, 문단의 형태에 대해서는 아무것도 알지 못합니다. 문서 네 건에서 Flesch-Kincaid 학년 수준이 서로 맞아떨어지는 것은 매우 약한 보강 증거입니다. 맞아떨어지지 않는다고 해서 증거가 되는 것도 아닙니다. 연구가 촘촘한 장은 성찰적인 글보다 문장이 길고 단어도 커지는 법인데, 그 차이는 글의 종류에서 오는 것이지 저작자가 누구인지에서 오는 것이 아닙니다.

문서가 한 가지 언어로만 되어 있지 않다면 알아 두실 Word의 동작이 두 가지 있습니다. 둘 다 Microsoft의 같은 페이지에서 가져온 것입니다. 파일 안에 여러 언어의 텍스트가 섞여 있으면 Word는 "displays readability statistics for text in the last language that was checked" (마지막으로 검사한 언어의 텍스트에 대해서만 가독성 통계를 보여 줍니다)고 설명합니다. 또 영어 문서 안에 일부 유럽 언어가 들어 있으면 Word는 "displays only information about counts and averages, not readability" (가독성이 아니라 개수와 평균 정보만 보여 줍니다)고 설명합니다.

문체 기준선이 주장하는 것은 지적된 글이 예전 글과 닮았다는 것입니다. 이제 거기에 날짜를 붙여 큰 소리로 한번 말해 보십시오. 학위 과정을 두 해째 밟고 있는 당신은 학기마다 피드백을 받아 왔고, 전공 논문을 수백 편 읽었습니다. 그런데 글쓰기가 조금도 달라지지 않았다고 주장하는 셈입니다.

사람 상당수에게 이 주장은 그저 사실이 아닙니다. 그것도 글을 읽는 사람은 성적 추이를 볼 수 있는 사람입니다. 더 나쁜 것은, 이 주장이 당신이 이기고 싶지 않을 싸움이기도 하다는 점입니다. 몇 년의 교육이 당신의 문장에 아무 흔적도 남기지 않았다고 학과에 문서로 주장하는 일은 묘한 일입니다. (앞으로 문체를 일부러 고정해 둘지 여부는 별개의 질문으로, AI로 지목되지 않으려고 글쓰기 방식을 바꿔야 할까에서 다룹니다.)

예전 글에는 이 모든 것을 피해 가는 두 번째 용도가 있고, 옴부즈맨 기록에는 실제로 그렇게 쓴 학생이 나옵니다. 첫 번째 사례 요약에서 학생의 주장은 "this looks like my other essays" (이 글은 내 다른 에세이들과 비슷합니다)가 아니었습니다. 주장의 요지는 검출 소프트웨어가 "had previously flagged another essay they had written for suspected use of AI but in that case it had been agreed that the student had not used AI" (그 학생이 쓴 또 다른 에세이를 AI 사용 혐의로 이전에 지목한 적이 있으나, 그때는 그 학생이 AI를 쓰지 않았다고 합의된 바 있습니다)는 것이었고, 학생은 이것이 "suggested that the detection software was biased against their writing style" (그 검출 소프트웨어가 자신의 문체에 편향을 보인다는 뜻이라고 시사합니다)고 말했습니다.

같은 재료로 만든 다른 주장입니다. 하나는 내 글은 내 글과 닮았다는 말이고, 다른 하나는 이 도구가 예전에 내 글에 대해 한 번 결과를 냈고 그 결과가 뒤집혔다는 말입니다. 후자라면 성장이 멈췄다고 주장할 필요가 없습니다. 게다가 화살은 당신이 아니라 도구를 향합니다. 대신 폭은 좁습니다. 도구 하나, 문서 하나, 한 번의 사례에 관한 이야기이며, 정확도에 관한 일반적인 주장으로까지 넓힐 수는 없습니다. 작동 방식은 같은 글이 검출기마다 다른 점수를 받는 이유에서 다루고, 왜 어떤 수치도 기준선이 되지 못하는지는 AI 비율 20%는 높은 것일까에서 다룹니다.

둘 중 하나를 골라야 한다면 보통 후자가 더 강한 주장입니다. 다만 그것이 실제로 당신에게 일어난 일일 때만 쓸 수 있습니다.

당신이 자청해서 내놓는 기준선은 남에게 자세히 읽어 달라고 건네는 문서 묶음입니다. 그리고 그것을 다시 검사에 돌릴 수 있다는 점은 추측이 아니라 Turnitin이 문서로 적어 둔 사실입니다. 그렇다고 그것을 묶어 둘 이유는 되지 않습니다. 다만 보낸 뒤가 아니라 보내기 전에 결정해야 할 이유입니다.

York 정책에는 방향이 반대인 함정이 하나 더 있는데, 아무 자료도 남겨 두지 않은 사람에게 더 거칠게 작용합니다. 비교를 허용하는 바로 그 조항이 "Lack of preparatory work may be considered evidence of false authorship." (준비 자료가 없다는 점은 허위 저작의 증거로 고려될 수 있습니다)라고도 말합니다. 준비 자료란 노트와 초안을 뜻합니다. 완성된 예전 에세이를 아무리 쌓아도 그 빈자리는 메워지지 않습니다. 메울 수 있는 자료는 Word, Google Docs, Overleaf에서 버전 이력을 남기는 방법에서 다룹니다.

1. 먼저 비교가 이미 이루어졌는지 물으십시오, 그리고 그 결과라면 무엇이든 보여 달라고 하십시오. 대결을 걸자는 요구가 아닙니다. 앞서 인용한 York의 정책은 위원회가 당신이 보지 못한 자료에 근거하지 않는다고 밝히고 있고, 그것은 옴부즈맨이 위 사례의 민원을 받아들인 이유 가운데 하나이기도 했습니다.
2. 다시 타이핑한 사본이 아니라 반환받은 파일을 보내십시오. 채점자의 주석, 제출 날짜, 성적이 바로 당신 밖에서 온 부분입니다. 같은 문장이 담긴 깨끗한 Word 문서는 증거를 잃고 문장만 남긴 셈입니다.
3. 비교 항목은 당신이 직접 짚어 내십시오. 「이것들을 비교해 주십시오」만으로는 부족합니다. 이런 식으로 쓰십시오. 문장 길이, 내가 소제목을 쓰는 방식, 인용문을 끌어들이는 방식, 그리고 인용 표시를 문장 끝에 두는 습관. 남이 이삼 분 안에 확인할 수 있는 항목을 서너 개 짚어 주십시오.
4. 달라진 점은 먼저 말하십시오. 글에 변화가 있다면 남이 알아채기 전에 당신이 먼저 밝히십시오. "The structure is tighter now than in first year, and here is the feedback that changed it" (구조는 학부 첫해보다 지금이 더 촘촘합니다. 그렇게 달라지게 한 피드백이 이것입니다)라고 쓰면 정확한 사람으로 읽힙니다. 이 점을 말하지 않고 있다가 뒤늦게 발견되면 딴 뜻으로 읽힙니다.
5. 첫 자리가 아니라 두 번째 자리에 두십시오. 현장의 질문은 이 문서가 어떻게 만들어졌느냐입니다. 그 질문에 답하는 것은 과정 증거이고, 기준선은 그것을 보강합니다. 과정 증거의 층위는 내 작업이 창작물임을 증명하는 방법에 정리했고, 대학이 실제로 받아들여 온 자료는 잘못된 AI 지목에 이의를 제기하는 방법에서 다룹니다.
6. 무엇을 언제 보냈는지 사본을 남겨 두십시오. 사건이 다음 단계로 넘어가면, 첫 검토자 앞에 무엇이 있었는지에 관한 기록이 중요해집니다.

위에서 말한 것 가운데 다시 쓰기 도구가 대신해 줄 수 있는 것은 하나도 없습니다. 기준선을 꾸리는 것은 당신의 일입니다. 다만 리라이팅 도구가 이 글의 주장에 거슬리는 방향으로 작용하는 지점이 하나 있습니다. 표적이 된 논문에서 바뀐 부분이 많을수록, 곧 건넬 표본들과 나란히 놓고 보기가 어려워집니다. 그러니 수정하신다면 문제가 된 문단으로 한정하십시오.

HumanPen 도구는 영어 문서의 수정을 그 문단 안으로 한정할 수 있습니다. 직접 문단을 표시하거나, 검출 보고서를 불러와 그 강조 표시가 범위를 정하게 하시면 됩니다(보고서를 쓰는 경로는 Turnitin 보고서가 지적한 문단만 다시 쓰기에 나와 있습니다). 실행 전에 문단을 직접 확인하며, 용어, 인용, 표, 레이아웃을 보존하도록 설계되어 있고, 돌려받는 결과물도 여전히 편집 가능한 파일입니다.

조건을 충족하는 부분은 무료로 다시 실행할 수 있습니다. 그 뒤의 점수가 어떻게 될지에 관해서는 우리는 아무런 주장도 하지 않습니다.

예전 과제물을 몇 개나 가져가야 하나요? 위에서 인용한 정책 문서 두 건에는 수치가 나오지 않습니다. York는 개수를 밝히지 않고 복수형인 '이전에 제출한 과제물'이라고 쓰며, Western Washington은 단수형인 '기준이 되는 작문 표본'이라고 씁니다. 질로 고르십시오. 채점되어 반환된 것, 글의 종류가 같은 것, 그리고 가장 잘한 글이 아니라 평소의 당신다운 것입니다.

학교가 내 예전 에세이를 AI 검출기에 돌릴 수도 있나요? Turnitin의 FAQ에는, 이전에 제출한 과제물도 다시 제출되고 계정에 AI Writing이 켜져 있으면 AI 작성 검사 대상이 될 수 있다고 나와 있습니다. 즉 예전 글이 저절로 대상에서 벗어나는 것은 아니며, 폴더째 건네기 전에 알아 둘 만한 사실입니다.

내 글끼리 비교해 주는 도구가 있나요? Turnitin에 Authorship이라는 제품이 있고, AI 작성 검출과는 별도로 판매됩니다. 이 도구는 여러 파일을 서로 비교하거나 학생의 과거 제출물과 비교하며, Turnitin의 FAQ는 이 제품이 "will not be able to indicate if it was AI written" (AI가 쓴 것인지 여부는 알려 주지 못합니다)라고 밝힙니다. Turnitin은 또한 그 보고서를 읽는 법에 관한 지침이 보고서 자체 안에서만 보인다고 설명합니다.

예전 과제물에도 높은 AI 점수가 나옵니다. 어떻게 해야 하나요? 그렇다면 닮았다는 주장을 앞세우실 일이 아닙니다. 옛 글에 붙은 표식은 문서마다의 사실이라기보다, 당신의 문장에 대한 이 도구의 작동 방식에 관한 사실일 수 있습니다. 이 경우에는 '글이 늘어 버렸을 때의 문제' 절의 두 번째 주장에 더 가까워지고, 그건 도구에 관한 대화입니다. 오탐이 인정되는 집단에 대해 문서가 밝힌 내용은 비원어민의 글이 AI로 지목되는 경우에 모아 두었습니다.

문체 기준선을 만들 값어치가 있기는 한가요? 보강하는 한 층으로라면 있습니다. 품도 크게 들지 않습니다. 다만 답변의 중심에 놓을 일은 아닙니다. 그것이 답하는 질문은 이 글이 당신의 글처럼 보이느냐이고, 지금 받고 있는 질문은 이 특정 문서가 어떻게 만들어졌느냐이기 때문입니다.