자신의 논문을 설명해 보라는 요청을 받았을 때: 구두 시험 점검 목록과 그것이 입증할 수 있는 것
AI 플래그가 붙은 뒤 자신의 논문을 직접 설명해 달라는 요청을 받는 것은 구두 평가이며, 서면 기록으로 남을 수 있습니다. 공개된 옴부즈만 사건 기록에서, 한 교육기관은 구두 시험에만 의존했고 필요한 모든 정보를 검토하지 않았다고 판단되었으며, 다른 기관은 녹취록에 없는 자백을 주장했습니다.
HumanPen 팀
· 14분
교수가 논문을 직접 설명해 달라고 요청하면 어떻게 됩니까?
귀하는 자신의 문서에 대해 예정에 없던 구두 평가를 받도록 요청받고 있으며, 귀하가 말하는 내용은 기록으로 남을 수 있습니다. 잉글랜드와 웨일스의 학생 불만 처리 기구인 Office of the Independent Adjudicator는 2025년 7월에 AI와 학업 부정행위에 관한 사건 요약 여섯 건을 공개했고, 그중 세 건에 구두 시험이 포함되어 있었습니다. 한 건에서 옴부즈만은 학생의 이의를 받아들였고, 그 이유 중 하나는 그 구두 시험이 "explored the student's knowledge of the subject but did not give the student an opportunity to also explain how they had worked on the assignment" (과목에 대한 학생의 지식은 살폈지만, 과제를 어떻게 수행했는지 설명할 기회는 주지 않았다)는 것이었습니다. 구두 시험은 서로 다른 두 가지, 즉 과목 지식과 과정을 시험할 수 있습니다. 어느 쪽을 질문받을지는 귀하가 선택할 수 없으므로 둘 다 준비하십시오.
회의 기록은 이후에도 중요합니다. 아래에서 다루는 세 건 중 또 다른 한 건은, 구두 시험에 대한 기관 측 설명이 녹취록과 일치하지 않았던 사건입니다.
제2언어로 공부하고 있다면, '제대로 설명하지 못하는 경우' 절에 말하기와 쓰기에 관한 공개된 IELTS 수치가 있으니 들어가기 전에 알아 두실 만합니다.
구두 시험이 이루어진 공개 사건 세 건
여섯 건의 요약은 OIA 사이트의 "AI and academic misconduct" (AI와 학업 부정행위) 아래에 있으며, 2025년 7월 날짜입니다. 세 건이 구두 시험을 다룹니다: CS072502, CS072503, CS072504. 나머지 세 건 중 하나는 서면 증거로 판단되었고, 하나는 합의로 종결되었으며, 하나는 자신의 피드백이 AI로 생성된 것처럼 보인다고 학생이 불만을 제기한 건이었습니다.
간단히 말해, 첫 번째는 구두 시험에만 근거해 결정되었고, 두 번째에서 구두 시험은 여러 증거 중 하나였으며, 세 번째가 앞서 언급한 녹취록 사건입니다. 구두 시험에 관한 것이 아니었던 건을 포함해 같은 사건들을 불복 절차 쪽에서 AI로 잘못 플래그되었을 때: 어떻게 불복하며, 대학이 받아들이는 증거는 무엇인가에서 훑어봅니다. 이 글은 회의 자체에 머무릅니다.
구두 시험은 서로 다른 두 시험이 될 수 있습니다
CS072502의 판단은 이 문제를 둘로 나누어 주므로 유용합니다.
내용 질문은 내용에 관한 것입니다. 논지가 무엇인지. 왜 이 자료인지. 그 수치가 어디에서 나왔는지. 그 문장이 무슨 뜻인지. 논문을 이해하고 있는지를 시험합니다.
과정 질문은 제작에 관한 것입니다. 언제 시작했는지, 무엇을 먼저 했는지, 초고 사이에 무엇이 바뀌었는지, 무엇을 사용했는지. 그 문서에 귀하가 서술할 수 있는 내력이 있는지를 시험합니다.
옴부즈만은 첫 번째 종류의 질문만 한 구두 시험을 불완전하다고 보았습니다. 잘못이 아니라 불완전입니다. 따라서 과정 부분은 억지로 끼워 넣어야 할 부차적 주제가 아닙니다. 그것은 공정한 구두 시험이 다루는 범위의 일부이며, 아무도 묻지 않는다면 귀하가 먼저 제시할 수 있습니다.
적어도 한 대학은 자신이 사용하는 과정 질문을 공개하고 있으며, 이는 우리가 작성할 수 있는 어떤 목록보다 유용합니다. University of South Carolina의 학업 진실성 담당 부서는 이를 있는 그대로 공개합니다:
"Did you use any online assistance to complete your assignment?" (과제를 완성하는 데 온라인 도움을 사용했습니까) · "How long did you work on this assignment? Was it in one sitting or over the course of several days?" (이 과제에 얼마나 오래 작업했습니까? 한 번에 했습니까, 며칠에 걸쳐 했습니까) · "Did you use any software to edit your paper?" (논문을 편집하는 데 어떤 소프트웨어를 사용했습니까) · "Could you walk me through your process so we can determine if a tool you used may have been powered by artificial intelligence?" (귀하가 사용한 도구가 인공지능으로 구동되었는지 판단할 수 있도록 작업 과정을 설명해 주시겠습니까)
Turnitin도 교수자용으로 비슷한 묶음을 공개하고 있으며, 네 개의 도입 문장 중 두 개는 AI가 아니라 과정에 관한 것입니다. 그 페이지는 AI 비율이 높을 때 교수자가 하도록 안내받는 일에서 한 줄씩 다룹니다.
우리가 찾은 공개된 묶음에는 내용 질문이 포함되어 있지 않습니다. 그것은 귀하의 논문을 읽은 사람에게서 나오며 그 논문에 특유할 것입니다. 따라서 그 절반은 대본처럼 준비할 수 없습니다. 준비란 논문 자체입니다.
준비 점검 목록
- 전날 자신의 논문을 소리 내어 다시 읽으십시오. 몇 주 동안 열어 보지 않았을 수 있습니다. CS072502에서 학생의 불복 신청은 "a significant period of time had elapsed between the original submission and the viva which had affected their recall" (최초 제출과 구두 시험 사이에 상당한 기간이 지나 회상에 영향을 주었다)고 밝혔습니다. 이는 모든 단어를 직접 쓴 사람에게도 일어날 수 있습니다.
- 각 자료가 어디에서 나왔는지 말할 수 있어야 합니다. 그것의 요약이 아니라, 어디에서 찾았는지입니다. 읽기 목록, 다른 논문의 참고문헌, 데이터베이스 검색, 지도교수의 제안. 이 답은 실제로 수행한 검색에 근거하므로, 수행한 사람에게는 쉽게 나옵니다.
- 플래그가 붙은 문단과 가장 약한 세 문단이 왜 거기에 있는지 알고 계십시오. 가장 질문받기 쉬운 부분이며, "I struggled with that section and here is what I was trying to do" (그 절에서 애를 먹었고, 제가 하려고 했던 것은 이것입니다)는 저자만이 줄 수 있는 답입니다.
- 과정을 뒷받침할 것과 함께 연표로 준비해 두십시오. 시작일, 집필 순서, 무엇이 왜 바뀌었는지, 무엇을 잘라냈는지. 그런 다음 이를 뒷받침하는 자료입니다: 초고, 버전 기록, 메모, 이메일. Word·Google Docs·Overleaf에서 버전 기록을 남기는 방법은 그 기록이 각 도구의 어디에 있는지를 다루며, 파일이 OneDrive에 있지 않은 한 기록이 아예 존재하지 않는 Word의 경우도 포함합니다.
- 회의가 무엇이고 어떤 증거를 사용할지 서면으로 문의하십시오. 비공식 대화인지 공식 절차의 한 단계인지, 녹음되는지, 누군가를 데려갈 수 있는지, 사전에 증거를 볼 수 있는지. CS072502에서 옴부즈만의 첫 번째 비판은 "none of the evidence relied upon by the provider was shared with the student ahead of the viva" (기관이 의존한 증거 가운데 어느 것도 구두 시험 전에 학생과 공유되지 않았다)는 것이었으므로, 이를 요청하는 것은 기관에 기대되었던 바와 일치합니다.
- 직후에 무엇을 질문받고 무엇을 답했는지 적어 두십시오. 정확한 동안에, 같은 날 하십시오. 다음 절이 그 이유입니다.
남는 것은 기록입니다
회의가 끝나면, 그것에서 남는 것은 누군가의 서면 설명입니다.
CS072504에서 심사위원회는 "a full transcript of the student's viva" (학생 구두 시험의 전체 녹취록)을 근거로 작업했습니다. 기관 측은 학생이 구두 시험 중 특정한 AI 사용을 인정했다고 말했습니다. 옴부즈만은 위원회가 "misrepresented what the student had said during the viva" (구두 시험 중 학생이 한 말을 왜곡했다)고 판단했고, 녹취록은 그 사용에 대해 "recorded no admission" (어떤 인정도 기록하지 않았다)이라고 했습니다. 전체 녹취록이 있었기 때문에 그 차이를 볼 수 있었습니다.
녹취록이나 녹음이 있는 경우 그것이 귀하를 보호할 수 있으므로, 하나가 만들어지고 있는지 물어볼 만합니다. 없는 경우 기록은 누군가의 메모이며, 나중 위원회가 읽는 것은 그 사람의 요약입니다.
그래서 귀하 자신의 메모가 중요합니다. 그것은 무슨 말이 오갔는지를 증명하지는 못합니다. 다만 같은 날 작성되어 자신이나 학생 상담 서비스로 보내진 상세한 기록은, 3주 뒤의 기억보다 훨씬 쓸모가 있습니다.
University of York의 2025/26 학업 부정행위 정책은 한 기관에서 공식 면담이 어떤 모습인지를 보여 주며, 다른 곳에 있더라도 그 절차적 세부는 읽을 만합니다. 학생은 "sufficient time before the interview to seek advice or to arrange to be accompanied (at least 5 working days)" (면담 전에 조언을 구하거나 동행을 정할 충분한 시간, 최소 5영업일)을 보장받아야 하고, 모든 면담은 "must include at least two members of the StAMP Investigatory Panel, including the Chair" (의장을 포함해 StAMP 조사위원회 위원 최소 두 명을 포함해야 합니다)고 되어 있으며, "The Panel will only base its decision on evidence the student has had sight of in advance and had the opportunity to respond to." (위원회는 학생이 사전에 확인하고 의견을 제시할 기회를 가진 증거에만 근거해 결정합니다.)고 합니다. 귀하를 규율하는 것은 귀하 소속 기관의 절차이며, 이를 찾는 것도 준비의 일부입니다.
제대로 설명하지 못한다고 해서 누가 썼는지 드러나지는 않습니다
말하기와 쓰기는 이를 평가하는 일을 하는 기관들에 의해 별개의 능력으로 평가되며, 둘 사이의 격차는 측정되어 공개됩니다.
IELTS는 듣기·읽기·쓰기·말하기에 각각 하나씩 네 개의 밴드 점수를 보고하고, 모집단 평균을 공개합니다. 2024–2025년 응시자 성적 파일(ielts.org에서 내려받을 수 있음)에는 "AC mean by first languages"라는 시트가 있습니다. 40행, 39개 제1언어에 "Other"로 표시된 하나를 더한 것으로, 각각 평균 밴드 점수를 담고 있습니다. 반올림하지 않은 값으로 "Writing Band Score" 열과 "Speaking Band Score" 열을 비교하면, 40행 중 35행에서 말하기 평균이 쓰기 평균보다 높고 "Other"도 여기에 포함됩니다.
반대인 다섯 개가 눈여겨볼 대상입니다.
| 제1언어 | 쓰기 밴드 평균 | 말하기 밴드 평균 | 차이 |
|---|---|---|---|
| 베트남어 | 6.07 | 5.61 | 말하기가 0.46 더 낮습니다 |
| 중국어 | 5.78 | 5.54 | 말하기가 0.23 더 낮습니다 |
| 일본어 | 5.65 | 5.45 | 말하기가 0.19 더 낮습니다 |
| 한국어 | 5.95 | 5.87 | 말하기가 0.07 더 낮습니다 |
| 펀자브어 | 6.01 | 5.98 | 말하기가 0.03 더 낮습니다 |
| 대조용: 아랍어 | 5.54 | 6.22 | 말하기가 0.68 더 높습니다 |
| 대조용: 독일어 | 6.64 | 7.52 | 말하기가 0.88 더 높습니다 |
차이는 파일의 반올림하지 않은 값에서 계산되었으므로, 반올림된 열을 뺀 결과와 0.01 다를 수 있습니다. 같은 파일의 General Training 시트에서 같은 비교를 해도 40행 중 35행에서 말하기가 더 높으며, 다섯 개 예외 중 네 개가 같은 언어이므로 이 양상은 한 시트의 산물이 아닙니다.
이 표가 의미할 수 있는 것에는 두 가지 한계가 있습니다. 이는 언어 시험을 치르는 사람들의 모집단 평균이며 특정 개인에 대한 예측이 아니고, IELTS 말하기 밴드와 구두 시험에서의 성적을 연결하는 근거는 찾지 못했습니다. 또한 IELTS 통계 페이지는 언어 표가 "the top nationalities and languages listed alphabetically" (알파벳순으로 나열한 상위 국적과 언어)를 보여 준다고 하므로 모든 언어가 있는 것은 아닙니다.
이 표가 실제로 보여 주는 것은 더 좁지만 여전히 유용합니다. 그 다섯 개 제1언어 응시자의 경우 2024–2025년에 쓰기 평균 밴드가 말하기 평균 밴드보다 높았습니다. 이는 귀하에 대해서는 아무것도 말해 주지 않지만, 쓰기보다 말하기가 약한 것이 일부 집단에서는 기록된 양상이며 회의실에서 만들어 낸 변명이 아니라는 뜻입니다. 구두 시험이 잘못되었다면, 잘못된 것은 구두 수행입니다.
그 위에 다른 압박이 겹칩니다. 연습할 수 없고, 제출 후 몇 주가 지나 찾아올 수 있으며, 무엇인가가 제기되었기 때문에 귀하가 그 자리에 있는 것입니다. Western Washington University의 자체 교수자용 지침은 교수자에게 오탐 가능성을 인식하라고 하는 상황으로 영어 원어민이 아닌 화자와 편의 제공을 받는 학생을 꼽습니다. 그 지침은 탐지기에 관한 것입니다. 같은 신중함을 한 걸음 더, 회의실까지 옮기는 것이 합리적으로 보입니다.
제2언어나 등록된 편의 제공이 귀하에게 해당한다면 이를 제기하십시오. 다만 일찍, 서면으로, 논문에 대한 질문에 대한 답이 아니라 요청으로서입니다. 절차가 어떤 조정을 허용하는지 묻고, 서면 자료가 구두로 이루어지는 것과 함께 고려되도록 요청하십시오. CS072504에서 옴부즈만은 AI 탐지가 "might be less reliable for non-native English speakers" (영어 원어민이 아닌 화자에게 신뢰도가 낮을 수 있다)인지를 검토하지 않은 점을 기관의 잘못으로 보았고, CS072502에서는 학생이 어떻게 작업했는지 설명하게 하지 않은 점을 잘못으로 보았습니다.
구두 시험이 입증할 수 있는 것과 없는 것
| 질문 | 구두 시험이 뒷받침할 수 있는 것 | 할 수 없는 것 |
|---|---|---|
| 자신의 논문을 이해하고 있습니까 | 직접적으로. 바로 그것을 측정합니다 | 문서를 작성한 사람을 확정하는 일. 쓰지 않은 논문을 이해하는 사람이 있을 수 있고, 논문을 쓰고도 질문을 받으면 막히는 사람이 있을 수 있습니다 |
| 이것을 귀하가 썼습니까 | 다른 자료들 가운데 하나로만. CS072503에서 기관의 증거 묶음에는 구두 시험, 초고 메모, 서면 및 대면 답변이 포함되어 있었고 옴부즈만은 이를 적절하다고 보았습니다 | 결정을 단독으로 떠받치는 일. CS072502에서 옴부즈만은 구두 시험에만 의존한 것은 결정권자들이 "had not considered all the information necessary to decide whether misconduct had occurred" (부정행위가 있었는지 판단하는 데 필요한 모든 정보를 검토하지 않았다)는 뜻이라고 판단했습니다 |
| AI 점수가 옳습니까 | 아무것도. 구두 시험은 탐지기를 평가하지 않습니다 | 여기도 마찬가지로 아무것도 없습니다. 점수와 구두 수행은 같은 문서에 일어나는 별개의 두 일입니다 |
| 말을 잘하면 끝납니까 | 절차가 시작되기 전 비공식 대화를 풀 수는 있습니다 | 결과를 보장하는 일. CS072503에서 학생은 필수 양식에 인용이나 신고가 되지 않은 AI를 사용했다고 시험관에게 말했고, 신고를 요구하는 정책 아래 판단은 그것에 근거했습니다. 구두 시험은 일어난 일을 바꾸지 않습니다. 그것에 대한 귀하의 설명을 기록할 뿐입니다 |
이 마지막 행은 구두 시험이 결백을 입증하는 수단이라는 생각에 대한 균형추입니다. 구두 시험은 작업이 어떻게 이루어졌는지에 대해 귀하가 말하는 것을 기록합니다. 그것은 설명이 정확하고 자료로 뒷받침될 때 도움이 되며, 설명을 사실로 만들 수는 없습니다.
구두 시험을 요청해야 합니까
구두 시험을 요청하는 것은 자신이 무언가를 썼음을 증명하는 분명한 방법처럼 보일 수 있습니다. 적어도 한 대학의 자체 절차는 학생들에게 그 단계가 도움이 되리라고 단정하지 말라고 합니다.
University of York의 2025/26 정책은 학생이 서면 진술로, 면담을 요청함으로써, 또는 둘 다로 위원회에 답할 수 있다고 하면서 괄호를 덧붙입니다. 학생은 "should be made aware that there is no inherent benefit to an interview" (면담에 본질적인 이득이 없다는 점을 알려 받아야 한다)고. 이는 York가 자체 절차에 대해 자체 학생에게 주는 지침이며 일반 규칙은 아닙니다. 다만 실재하는 기관이 학생에게 그 회의가 자동으로 유리하지는 않다고 말하고 있는 것입니다.
답은 사람마다 다릅니다. 구두 시험은 특정한 의심에 실시간으로 답할 수 있게 하고, 오해는 이메일 세 통 대신 한 문장으로 풀릴 수 있습니다. 반대편에서, 준비되지 않은 답은 기록된 답이 되고, 압박 속에서 말하는 것이 바로 표집되는 기술입니다. 그리고 서면 경로가 있다면, 서면 진술은 초안을 쓰고 확인하고 사본을 보관할 수 있는 것입니다.
회의가 의무라면 이 질문은 생기지 않고 위의 점검 목록이 일의 전부입니다. 선택 사항이라면, 결정하기 전에 서면 대안이 무엇인지 묻고, 학생회나 소속 기관의 학생 상담 서비스에 문의하십시오. 귀하가 공부하는 곳에서 이것이 어떻게 운영되는지는 우리보다 그들이 알 가능성이 큽니다.
우리의 입장
HumanPen 도구는 우리가 만드는, 문서를 다시 쓰는 도구입니다. 구두 시험이나 그 주변 회의에서 어떤 역할도 하지 않습니다.
인접한 이야기로 말할 가치가 있는 것은 한 가지, 시점에 관한 것입니다. 그리고 그것은 지금은 아무것도 사지 않는 쪽을 가리킵니다. 그 논문에 관한 회의 전에 논문을 다시 쓰면, 질문받는 내용이 바뀝니다. 이미 귀하의 학과에 어떤 판이 있다면 논의해야 할 것은 그 판입니다. 이후에 개정이 결과로 합의된다면 그것은 작게 유지하십시오. 우리 도구가 건드리는 것은 귀하가 먼저 울타리를 친 부분뿐이며, 그 울타리를 만드는 방법은 둘입니다. 직접 해당 부분을 고르거나, 탐지 보고서를 가져와 강조된 부분이 그대로 선정 대상이 되게 하는 것입니다. 제공되는 가장 정밀한 단위는 문단 하나이므로, 문단의 절반은 전체가 되고, 그 확장은 실행이 시작되기 전에 귀하가 승인해야 합니다. 조건을 충족하는 부분은 무료로 다시 실행할 수 있습니다. 결과물은 인용·표·레이아웃을 보존하도록 설계된 편집 가능한 문서로 남습니다. 보고서에서 시작하는 방법은 Turnitin 보고서가 플래그한 문단만 다시 쓰기에 설명되어 있습니다.
자주 묻는 질문
무엇을 질문받습니까? University of South Carolina는 과정 질문을 공개하고 있고, Turnitin은 교수자용 대화 도입부를 공개합니다. 대부분은 작업이 어떻게 이루어졌는지에 관한 것입니다. 얼마나 걸렸는지, 한 번에 했는지 여러 번인지, 어떤 소프트웨어를 썼는지, 작업 과정을 설명해 달라는 것 등입니다. Turnitin의 묶음은 강조된 부분을 함께 훑어보는 것도 제안합니다. 내용 질문은 귀하의 논문에서 나오며, 우리가 찾은 공개된 묶음 가운데 그것을 포함한 것은 없습니다.
참석을 강제당할 수 있습니까? 소속 기관의 절차에 달려 있으며, 그런 권한을 가진 곳도 있습니다. University of York의 2025/26 정책은 이렇게 말합니다: "Even if the student does not request an interview, the panel may require the student to attend one." (학생이 면담을 요청하지 않더라도 위원회는 학생의 참석을 요구할 수 있습니다.) 단정하지 말고 소속 기관의 문서를 찾으십시오. 그것이 귀하의 사안을 규율합니다.
누군가를 데려갈 수 있습니까? 일부 기관에서는 가능하며, 때로 사전 통지 요건이 붙습니다. York의 2025/26 정책은 면담 전에 학생에게 "at least 5 working days" (최소 5영업일)을 주어 조언을 구하거나 동행을 정할 수 있게 하고, York SU 상담·지원에 연락할 것을 권합니다. 회의가 제안될 때 물으십시오. 당일이 아니라.
얼어붙어 제 주장을 설명하지 못했습니다. 끝난 것입니까? 반드시 그런 것은 아닙니다. 구두 시험은 하나의 자료이며, 위의 표는 그것이 단독으로 떠받칠 수 있는 것과 없는 것을 정리하고 있습니다. 같은 날 무슨 일이 있었는지 적어 두고, 과정 자료를 서면으로 정리하십시오. 초고, 메모, 연표, 자료입니다.
영어가 제1언어가 아니어서 회의가 걱정됩니다. 일부 집단에서는 그 격차가 측정되어 있습니다. 2024–2025년 IELTS Academic 모집단 평균에서, 40행 중 35행(이름이 제시된 제1언어 39개에 "Other"를 더한 것)에서 말하기 평균이 쓰기 평균보다 높습니다. 다만 중국어·일본어·한국어·베트남어·펀자브어를 제1언어로 하는 응시자는 평균 밴드가 더 높은 쪽이 쓰기입니다. 실질적인 조치는 '제대로 설명하지 못하는 경우' 절에 있는 것입니다. 일찍 서면으로 제기하고, 회의 전에 과정 설명을 문서로 만들어 두십시오. 구두 수행이 유일한 기록이 되지 않도록 하기 위해서입니다.
옴부즈만 사건을 제 대학에서 인용해야 합니까? 그것은 다른 기관에 관해 공개된 사건 요약이며 귀하의 기관을 구속하지 않습니다. 무엇을 준비하고 무엇을 요구할지 정하는 데는 유용합니다. 회의실에 가져가야 할 것은 귀하의 논문과 귀하의 과정입니다.
계속 읽기