학위논문에 AI를 사용했다는 의심을 받았을 때: 면담에 가져가야 할 것

Turnitin AI 점수 때문에 학위논문에 관해 호출을 받았다면, 그 면담에 가져가야 할 것이 네 가지 있습니다. 그리고 그중 어느 것도 도구가 작동하지 않는다고 주장할 것을 요구하지 않습니다. 첫째는 AI 점수를 불리한 조치의 유일한 근거로 사용해서는 안 된다는 Turnitin 자체 문서의 문장입니다. 둘째는 보고서 그 자체이며, 여러분에게는 그것을 볼 권리가 있습니다. 셋째는 버전 기록입니다. 넷째는 Turnitin의 또 다른 문장으로, 학위논문에서 흔히 나타나는 특징이 텍스트에 있으면 높은 점수는 감안해서 봐야 한다는 내용입니다.

이것이 전체 윤곽입니다. 이 글의 나머지 부분에서는 각 카드가 어디에서 나오고, 무엇을 하며, 무엇을 하지 못하는지를 설명합니다. AI 사용을 부인하는 방법을 알려주는 글이 아닙니다. 면담을 숫자 하나에 관한 자리가 아니라 증거와 절차에 관한 자리로 만드는 방법을 알려주는 글입니다.

이 구분이 중요한 이유는, 숫자는 그 자체의 조건 위에서는 논쟁할 수 없는 대상이기 때문입니다. 그것을 계산한 쪽은 여러분이 아닙니다. 모델을 들여다볼 수도 없습니다. 여러분이 할 수 있는 것은 계산한 쪽에 자기들이 정한 지침을 지켜 달라고 요청하는 것, 그리고 오직 여러분만 가진 자료를 가져오는 것입니다.

Turnitin의 AI 작성 보고서 가이드에는 이렇게 나와 있습니다.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (당사의 AI 작성 탐지 모델이 항상 정확한 것은 아닐 수 있습니다. 사람이 쓴 텍스트, AI가 생성한 텍스트, AI가 다시 표현한 텍스트를 잘못 판별할 수 있으므로, 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다.)

그 바로 다음 문장은 이 인용이 쓰일 때마다 빠지는 문장입니다.

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학술적 부정행위가 발생했는지를 판단하려면 추가적인 정밀 검토와 사람의 판단, 그리고 기관이 자체 학술 정책을 적용하는 과정이 함께 있어야 합니다.)

두 문장을 함께 읽어 보십시오. 첫 문장은 이 숫자를 단독으로 사용하지 말라고 합니다. 두 번째 문장은 대신 무엇을 해야 하는지를 말합니다. 추가적인 정밀 검토, 사람의 판단, 그리고 기관 자체의 정책입니다. 학생이 하는 말이 아닙니다. 도구를 만든 회사가 그 숫자를 쥔 사람에게 결론을 내리기 전에 더 해야 할 일을 말하고 있는 것입니다.

FAQ 페이지도 같은 내용을 자기 말로 이렇게 적고 있습니다. "the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (AI 작성 지표의 백분율은 교수자가 조치의 유일한 근거나 확정적인 채점 기준으로 사용해서는 안 됩니다.) 그리고 2023년 십이월 릴리스 노트도 같은 말을 반복합니다. "an AI Writing score should not be used as the sole basis for adverse actions against a student." (AI 작성 점수는 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다.) 세 페이지가 같은 지침을 말합니다.

AI 작성 보고서는 어떻게 검토해야 합니까?라는 별도 페이지도 있고, 거기서는 이렇게 다르게 표현합니다.

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이것은 단독으로 확정적인 답을 제공하기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 보고 학생과 그들의 작업, 그리고 기관 정책에 대한 개인적 이해와 이 정보를 균형 있게 저울질하여 결정을 내리는 교육자입니다.)

그다음 문장이 이를 완성합니다.

"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교육자가 AI 작성 점수를 확정적인 답이 아닌 하나의 데이터 포인트로 활용할 때, 그것은 의도된 방식으로 사용되고 있는 것입니다.)

회사가 자사 점수를 하나의 데이터 포인트라고 부르고 있습니다. 판결이 아닙니다. 확정적인 답도 아닙니다. 하나의 데이터 포인트입니다. 면담이 숫자 하나로 시작되고 그다음 논의가 없다면, 진행자는 제조사가 사용해서는 안 된다고 말하는 방식으로 도구를 사용하고 있는 것입니다.

이 카드가 하지 않는 것: 숫자가 틀렸다고 말하지 않습니다. 숫자만으로는 충분하지 않다고 말합니다. 더 약한 주장이지만 더 단단한 주장입니다. 점수가 말해 주는 것과 말해 주지 않는 것에 대해서는 Turnitin AI 작성 보고서 읽는 법에서 더 자세히 다뤘습니다.

Turnitin FAQ에는 지금 여러분에게 중요한 두 가지가 적혀 있습니다.

"Please note, only instructors and administrators are able to see the indicator." (교수자와 관리자만 이 지표를 볼 수 있다는 점에 유의해 주십시오.)

같은 페이지에는 이런 내용도 있습니다.

"The AI writing detection indicator and report are not visible to students." (AI 작성 탐지 지표와 보고서는 학생에게 표시되지 않습니다.)

두 번째 문장 바로 뒤에는 그것을 뒤집는 문장이 이어집니다.

"However, with the PDF download feature, instructors can download and share the AI report with students." (다만 PDF 다운로드 기능을 사용하면 교수자는 AI 보고서를 다운로드하여 학생과 공유할 수 있습니다.)

이를 종합하면 다음과 같습니다. 직접 로그인해 AI 점수를 볼 수는 없습니다. 지도교수는 볼 수 있습니다. 그리고 지도교수는 보고서를 PDF로 다운로드해 여러분에게 건넬 수 있습니다. 아무도 그렇게 하지 않았다면, 여러분은 한 번도 열어 본 적 없는 문서에 적힌, 한 번도 본 적 없는 숫자에 관한 면담 자리에 앉아 있는 셈입니다.

그러므로 첫 요청은 간단합니다. AI 작성 보고서 PDF를 요청하십시오. 백분율만 찍은 스크린샷이 아니라 전체 보고서입니다. 전체 보고서를 보면 강조 표시가 어디에 있는지, 몇 단어가 분석되었는지, 점수가 실제 숫자인지 별표인지 알 수 있습니다. 이것들이 무엇을 뜻하는지는 직접 썼는데 표시되었다면에서 살펴봤습니다.

수치가 1%에서 19% 사이라면, Turnitin은 백분율을 아예 표시하지 않습니다. 별표를 표시합니다. 그 범위의 숫자가 전달되었다고 해도, 보고서 자체가 그 수치를 보증하는 것은 아닙니다. 20%라는 기준선에 의미가 있는지 자체가 별개 문제이며, AI 20%는 너무 높은가에서 다룹니다.

이 카드가 하는 일: 숫자에 대한 주장에서 두 사람이 함께 볼 수 있는 문서에 대한 논의로 대화를 옮깁니다. 하지 않는 일: 숫자가 얼마가 될지 알려 주지 않습니다. 높은 점수를 보게 될 수도 있습니다. 하지만 적어도 그것이 무엇에 붙은 점수인지는 알게 됩니다.

Word, Google Docs, Overleaf 중 어디에서 학위논문을 썼든, 그 플랫폼은 버전 기록을 보관했습니다. 그 기록은 며칠, 몇 주, 몇 달에 걸쳐 문서에 변경이 일어난 시점을 기록한 타임스탬프입니다. 한 번에 붙여넣은 AI 초안과 수십 차례의 작업에 걸쳐 수정이 쌓인 문서는 다르게 보입니다.

이것은 오직 여러분만 가진 유일한 증거입니다. 기관은 여러분의 버전 기록을 갖고 있지 않습니다. Turnitin도 갖고 있지 않습니다. 지도교수가 중간중간 초안을 봤을 수는 있지만 전체 수정 기록을 갖고 있을 가능성은 낮습니다. 여러분이 갖고 있습니다.

가져갈 것:

• 버전 기록 자체. 내보낸 파일이든 노트북으로 보여 줄 수 있는 형태든 좋습니다.
• 아직 남아 있는 가장 오래된 초안. 거칠더라도 괜찮습니다.
• 이메일이나 공유 문서로 지도교수와 주고받은 초안과 그 공유 날짜.
• 학위논문 작업 중에 만든 메모, 개요, 주석 단 PDF. 이것들은 집필 과정의 흔적이며, 그 날짜는 한 번의 생성 사건과는 닮지 않은 경로를 그립니다.

목적은 부정을 입증하는 것이 아닙니다. 어떤 단계에서도 AI가 관여하지 않았음을 증명할 수는 없습니다. 목적은 문서에 사람이 시간을 들여 썼을 때 나타나는 이력이 있다는 것을 보여 주는 것입니다. 그것은 점수로는 다룰 수 없는 증거입니다. 점수는 최종 텍스트만 보기 때문입니다.

이 카드가 하지 않는 것: 무엇을 반증하지도 않습니다. 버전 기록은 편집이 일어났다는 것을 보여 줄 수 있고, 편집은 사람이 초안을 쓰고 피드백을 받아 수정하고 제출 전에 다듬은 문서와도 부합합니다. AI 초안을 붙여넣고 편집한 경우와도 부합합니다. 그럼에도 쓸모가 있는 이유는 질문을 "이 숫자가 맞는가"에서 "전체 그림은 어떤가"로 옮겨 주기 때문이며, 전체 그림은 오직 여러분만 제시할 수 있습니다.

이 카드는 자신이 갖고 있는지 모르는 사람이 많습니다. Turnitin FAQ 페이지에는 오탐지를 잘 만들어내는 텍스트의 특징이 나열되어 있습니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (오탐지, 즉 사람이 쓴 텍스트를 AI가 생성한 것으로 잘못 표시하는 경우에는 구조적 변화가 거의 없는 내용, 말 그대로 자기를 반복하는 텍스트, 또는 새로운 생각을 전개하지 않고 다시 표현한 텍스트가 포함될 수 있습니다.)

면담에서 힘을 발휘하는 문장은 그다음 문장입니다.

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 당사 지표가 더 많은 양의 AI 작성을 보여 준다면, 표시된 백분율을 볼 때 그 점을 고려하시기를 권합니다.)

이것이 무엇을 포괄하는지 읽어 보십시오. 구조적 변화가 거의 없는 내용. 말 그대로 자기를 반복하는 텍스트. 새로운 생각을 전개하지 않고 다시 표현한 텍스트. 이 세 가지는 학위논문 글쓰기의 상당 부분, 특히 문헌 검토와 연구 방법 부분을 설명합니다. 문헌 검토는 기존 연구를 요약하는 일이며, 이는 본질적으로 다시 표현하는 작업입니다. 연구 방법 부분은 정형화된 구조를 따라 같은 표현을 반복합니다. 둘 다 새로운 생각을 도입할 필요가 없습니다. 새로운 생각은 분석과 논의 장에 속하기 때문입니다.

그러므로 표시된 부분이 문헌 검토나 연구 방법이라면, 도구를 만든 회사가 점수를 읽는 사람에게 바로 그 이유로 점수를 낮춰 보라고 말하고 있는 것입니다. 여러분이 아니라, 회사가 말하고 있습니다.

여기에는 주의도 필요합니다. Turnitin은 2023년 오월 릴리스 노트에서 오탐지가 문서의 처음 몇 문장과 마지막 몇 문장에 집중되어 있었다는 점을 인정했습니다.

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (출시 이후 우리는 문서의 처음 몇 문장 또는 마지막 몇 문장에서 오탐지 발생률이 더 높다는 것을 관찰했습니다. 이런 문장은 흔히 일반적인 방식으로 쓰인 서론이나 결론 내용으로 이루어져 있습니다. 그 결과, 우리는 이러한 오탐지를 줄이기 위해 탐지 로직을 변경했습니다.)

핵심 문구는 마지막입니다. "we have changed our detection logic to help reduce these false positives." (우리는 이러한 오탐지를 줄이기 위해 탐지 로직을 변경했습니다.) 이것은 2023년에 발표된 수정 사항입니다. 지금 지적할 수 있는 현재의 약점이 아닙니다. 도구가 시간이 지나며 변한다는 증거이며, 이는 면담에서 두 가지를 뜻합니다. 첫째, 반년 전에 생성된 보고서는 오늘 생성된 보고서와 다른 로직으로 만들어졌을 수 있습니다. 둘째, 도구가 고장났다고 주장하는 것은 이미 움직여 버린 표적을 향해 논쟁하는 일입니다. 도구가 개선되고 있으며 내 사안은 그 자체로 검토받을 만하다고 말할 때 여러분의 입지는 더 강해집니다. 도구가 쓸모없다고 말할 때가 아닙니다.

이 면담에서 여러분에게 불리하게 작용할 것이 세 가지 있고, 모두 하고 싶어지는 것들입니다.

Turnitin이 정확하지 않다고 말하지 마십시오. 회사 자체가 자사 모델이 항상 정확하지는 않을 수 있다고 말하고, 점수가 조치의 유일한 근거가 되어서는 안 된다고 말합니다. 그것이 여러분의 지렛대입니다. 여기서 더 나아가 도구가 작동하지 않는다고 주장하면, 뒷받침할 수 없는 주장을 하게 되고 기관이 선택한 시스템과 싸움을 시작하게 됩니다. 맞은편 사람은 입장을 굳힐 것입니다. 올바른 태도는, 도구에 문서화된 한계적 오류율과 그 처리에 관한 문서화된 지침이 있으며 여러분은 그 지침을 지켜 달라고 요청하고 있다는 것입니다.

대화를 거부하지 마십시오. 침묵은 유죄로 읽힙니다. 여러분에게는 제시할 증거가 있습니다. 회의실을 나가면, 면담은 여러분의 버전 기록 없이, 초안 없이, 텍스트 유형에 관한 그 문장을 아무도 듣지 못한 채 진행됩니다. 이 목록의 카드가 작동하는 유일한 방법은 여러분이 참석해 그것을 테이블에 올려놓는 것입니다.

오래된 '첫 문장과 마지막 문장' 논리를 가져오지 마십시오. 앞서 말했듯 그것은 2023년의 수정 사항이지 현재의 결함이 아닙니다. 도구가 현재 고장났다는 증거로 내놓으면, 맞은편 사람이 직접 찾아 수정 사실을 확인할 수 있고, 그러면 여러분이 가져온 나머지 모든 것의 신뢰도까지 잃게 됩니다.

면담 전에 다음을 모아 두십시오.

1. AI 작성 보고서 PDF. 없다면 요청하십시오. 숫자가 얼마인지, 강조 표시가 어디에 있는지, 그것이 백분율인지 별표인지를 알아야 합니다.
2. 버전 기록. 내보내거나 노트북에서 바로 보여 줄 수 있게 준비하십시오. Overleaf를 썼다면 페이지 기록이 있습니다. Google Docs를 썼다면 파일 > 버전 기록에 있습니다. Word라면 OneDrive 자동 저장이 켜져 있었는지에 따라 다르지만, 그것이 없더라도 초안 파일과 수정 날짜가 이야기를 들려줍니다.
3. 집필 과정 자료. 메모, 주석 단 PDF, 개요 초안, 지도교수와 주고받은 이메일, 이전 초안에 대한 피드백. 학위논문이 한 번에 만들어지지 않았음을 보여 주는 것이라면 무엇이든 좋습니다.
4. 답을 듣고 싶은 구체적인 질문 목록. 대본도 연설도 아닌 질문입니다. "어느 부분이 표시되었습니까?" "이 보고서는 2023년 오월 로직 변경 이전에 생성되었습니까, 이후에 생성되었습니까?" "표시된 텍스트가 Turnitin이 오탐지를 유발할 수 있다고 밝힌 범주에 해당합니까?" 이런 질문은 면담을 고발에 맞서 방어하는 자리가 아니라 조사에 참여하는 자리로 유지해 줍니다.

면담은 재판이 아닙니다. 검토여야 하며, Turnitin 자체 문서도 그 검토에 추가적인 정밀 검토와 사람의 판단이 포함되어야 한다고 말합니다. 여러분이 할 일은 그 검토가 가능해지도록 자료를 가져오는 것입니다.

HumanPen 도구는 문서 재작성 도구입니다. 학위논문을 재작성 도구에 통과시키면 AI 점수가 사라질 것이라고는 말하지 않겠습니다. 우리는 미래 점수에 대해 어떤 주장도 하지 않기 때문입니다. 말할 수 있는 것은 이 도구가 무엇을 하는가입니다. AI 작성 보고서와 함께 문서를 업로드하면, 보고서가 표시한 부분만 다시 작성됩니다. 나머지 문서는 그대로 유지됩니다. 결과물이 최종본이 되기 전에 여러분이 검토합니다.

보고서가 이미 높은 점수로 돌아왔고 면담 전에 표시된 부분을 수정하고 싶다면, 그것도 하나의 길입니다. 원본 문서와 버전 기록을 가지고 면담에 나가 증거가 말하게 하고 싶다면, 그것도 하나의 길입니다. 둘 다 정당합니다. 면담이 먼저입니다.

면담 참석을 거부할 수 있습니까? 할 수는 있지만, 할 수 있는 최악의 선택입니다. 면담은 증거를 제시하는 자리입니다. 여러분이 없으면 기관은 점수만으로 결정하며, 그것은 바로 Turnitin이 일어나서는 안 된다고 말하는 결과입니다.

점수가 100%라면 어떻습니까? 100% 점수는 모든 문장이 AI로 생성되었다는 증거가 아닙니다. 100% 점수가 의미하는 것과 의미하지 않는 것은 별도 글에서 살펴봤습니다. 면담에서 중요한 것은 같습니다. 전체 보고서를 요청하고, 버전 기록을 가져오고, 구체적인 질문을 하십시오.

버전 기록이 AI를 쓰지 않았음을 증명합니까? 아닙니다. 문서가 사람의 글쓰기와 부합하는 패턴으로 시간에 걸쳐 편집되었다는 것을 보여 줄 뿐입니다. 부정을 증명할 수는 없습니다. 그것이 하는 일은 검토자에게 점수 외에 볼거리를 주는 것이며, 거기에 가치가 있습니다.

학위논문 일부에 AI를 사용했다면 어떻습니까? 이 글은 AI 사용을 부인하는 방법을 알려주지 않습니다. 일부에 AI를 사용했다면, 그것은 면담에서 다른 모든 것과 함께 논의되어야 합니다. 여기서 인용한 문서, 버전 기록, 텍스트 유형 지침은 그 경우에도 적용됩니다. 그것들은 AI를 사용했는지가 아니라 점수를 어떻게 해석해야 하는지에 관한 것이기 때문입니다.

재작성 도구에 돌리면 점수가 해결됩니까? 우리는 미래 점수에 대해 주장하지 않습니다. HumanPen이 하는 일은 여러분이 선택한 표시 부분을 다시 작성하는 것입니다. 다음 보고서가 더 낮게 나올지는 약속하지 않습니다. 모델은 변하고 보고서는 우리가 아니라 Turnitin이 만들기 때문입니다.