높은 AI 점수가 성적을 떨어뜨릴 수 있을까요? 교사 214명이 참여한 실험

한 실험에서 실제로 그런 결과가 나타났으며, 점수 차이도 컸습니다. 대학교수 및 강사 214명이 탐지 보고서를 먼저 확인한 뒤 동일한 과제물을 채점했습니다. 보고서에 AI 7%, 저위험군으로 표시되고 아무런 강조 표시도 없었을 때 과제물의 평균 점수는 100점 만점에 73.30점이었습니다. 반면 보고서에 AI 87%, 고위험군으로 표시되고 과제물 내 네 문장이 빨간색으로 표시되었을 때 평균 점수는 51.61점에 그쳤습니다. 과제물 내용은 단 한 글자도 바뀌지 않았는데 말입니다.

그렇다고 해서 여러분의 성적이 반드시 22점 떨어지거나 실제로 떨어진다는 뜻은 아닙니다. 보고서는 연구진이 가상으로 제작한 것이었고, 과제물은 중국어로 작성되었으며, 교사들은 실제 강의가 아닌 온라인 설문조사를 통해 채점했고, 214명 중 AI 탐지 도구를 사용해 본 사람은 16명(7.5%)에 불과했습니다. 이 연구가 명확히 보여주는 것은 수치와 그 옆에 인쇄된 판정 문구가 독자의 AI 의심 여부뿐만 아니라 글 자체에 대한 질적 평가까지 바꾸어 놓을 수 있다는 사실입니다.

해당 연구는 카자흐스탄 알파라비 국립대학교(Al-Farabi Kazakh National University)의 Peitao Du와 Tingting Liu, 그리고 한국 가톨릭대학교(The Catholic University of Korea)의 Xujin Xian이 발표한 "Automation bias in teachers' evaluation of student writing: effects of algorithmic warnings and visual risk cues in AI detection reports" (학생 글쓰기 평가에서 나타나는 교사의 자동화 편향: AI 탐지 보고서의 알고리즘 경고와 시각적 위험 신호가 미치는 영향) 논문입니다. 2026년 7월 7일 Frontiers in Psychology에 게재되었으며 누구나 전문을 열람할 수 있는 오픈 액세스 논문입니다. 저자들은 별도의 연구 지원을 받지 않았으며 상업적 또는 재정적 이해 상충도 없다고 밝혔습니다.

연구진은 유창하고 기본적인 구조를 갖추었지만 평이한 생각 위주로 깊이가 그리 깊지 않은, 중간 수준의 학부 과제물에 해당하는 "The Effects and Challenges of Online Education" (온라인 교육의 효과와 과제)이라는 제목의 글 한 편을 작성했습니다. 그리고 그 안에 상투적인 네 문장을 배치했습니다. 이 문장들은 명백한 사실관계 오류나 논리적 비약은 없었으며, 단지 다소 뻔하게 느껴질 수 있는 전형적인 표현들이었습니다.

그런 다음 실제로 존재하지 않는 가상의 탐지 도구인 "AcademicCheck"를 이용해 4가지 버전의 보고서를 제작했습니다.

교사들은 각 그룹당 52명에서 55명씩 무작위로 한 가지 버전을 배정받았습니다. 교사들은 먼저 보고서 요약을 확인한 다음 과제물을 읽었습니다. 모든 보고서에는 수치와 함께 짧은 판정 문구가 포함되어 있었습니다. 7% 버전에는 "Low risk" (저위험)라는 문구와 함께 "predominantly human-authored writing characteristics" (주로 인간이 작성한 글의 특성)라는 설명이 붙었고, 87% 버전에는 "High risk" (고위험)라는 문구와 함께 "a high likelihood of AI-assisted writing." (AI 보조 작성 가능성 높음)이라는 설명이 표시되었습니다. 빨간색으로 표시된 버전의 보고서에는 강조된 부분을 직접 검토해야 한다는 안내 문구도 함께 제공되었으므로, 여기서 '빨간색 표시'는 단순한 색상뿐만 아니라 안내 문구가 결합된 형태였습니다. 실험이 끝난 후 교사들에게는 해당 보고서가 가상으로 시뮬레이션된 것임을 안내했습니다.

점수 하락의 주원인은 87% 보고서였습니다. 문장 강조 표시가 전혀 없는 상태에서도 7% "Low risk" (저위험) 보고서 대신 87% "High risk" (고위험) 보고서를 제시하자 과제물 점수가 평균 약 13점 깎였습니다. 교사들은 단지 AI가 작성했을 가능성만 높게 본 것이 아니었습니다. 눈앞에 있는 텍스트는 토씨 하나 다르지 않은 동일한 글이었음에도 독창성, 언어적 표현, 논리적 구조에 대한 평가 점수까지 모두 낮게 매겼습니다.

빨간색 문장 표시는 보고서가 이미 고위험을 가리키고 있을 때 가장 큰 영향을 미쳤습니다. 7% 조건에서는 네 문장을 강조 표시하더라도 0~100점 점수에 통계적으로 유의미한 변화가 나타나지 않았습니다. 다만 교사들이 매긴 언어 표현 점수는 떨어졌는데, 이는 방금 지목된 바로 그 문장들을 읽었기 때문으로 볼 수 있습니다. 반면 87% 조건에서는 동일한 강조 표시로 인해 점수가 대략 9점 더 감점되었습니다.

교사들은 더 적극적으로 개입하겠다고 답했습니다. 표의 마지막 열은 교사가 학생에게 수정을 요구하거나, 독립적인 글쓰기 및 AI 사용 규정 준수를 상기시키거나, 작성 과정과 출처 설명을 요구할 가능성이 얼마나 되는지 질문한 결과입니다. 7점 척도 기준으로 이 수치는 3.40점에서 5.66점으로 상승했습니다. 다만 이는 교사들이 그렇게 행동하겠다고 응답한 주관적 진술일 뿐, 실제 행동을 직접 관찰한 결과는 아닙니다.

연구 저자들 역시 자신들의 결과를 "preliminary and context-specific" (예비적이며 특정 맥락에 국한된)이라고 규정했습니다. 이러한 평가가 타당한 이유는 다음과 같습니다.

• 보고서가 가상으로 꾸며졌으며 의도적으로 극단적인 수치를 사용했습니다. 실제 탐지 도구에 대한 교사들의 선입견이 개입되지 않도록 "AcademicCheck"라는 가상의 도구를 설정했습니다. 또한 두 수치 사이의 격차도 매우 크게 잡았습니다. 저자들은 교사들이 명확히 낮은 경고와 명확히 높은 경고에 어떻게 반응하는지 확인하기 위해 대조군을 "was intentionally strong" (의도적으로 강하게 설정된) 것이라고 설명하며, 그 중간에 위치하는 현실 세계의 점수에 이 결과를 그대로 적용할 때는 주의가 필요하다고 밝혔습니다.
• 단 한 편의 과제물이었으며, 중국어로 작성되었습니다. 모든 교사는 동일한 중국어 과제물을 읽었습니다. 해당 과제물이 "medium-quality" (중간 수준)라는 설정은 연구진 자체 판단이었으며, 사전 예비 연구나 외부 채점자를 통해 검증된 것은 아니라고 저자들은 설명합니다. 매우 완성도 높은 글이나 현저히 부족한 글이었다면 전혀 다른 결과가 나왔을 수도 있습니다.
• 참여 교사 대부분은 AI 탐지 도구를 사용해 본 적이 없었습니다. 설문 플랫폼인 Wenjuanxing(문권성)과 교사 커뮤니티를 통해 소정의 사례비를 지급하고 온라인으로 모집했으며, 약 3분의 2가 사회과학 분야 교원이었습니다. 전체 214명 중 AI 탐지 또는 AI 표절 검사 도구를 사용해 본 경험이 있는 교사는 16명(7.5%)에 불과했습니다. 논문 본문과 보충 자료 모두 이 16명의 결과만을 따로 떼어내어 분석하지는 않았습니다.
• 실제 성적표가 아닌 단순 설문조사였습니다. 교사들에게 제공된 정보는 보고서와 과제물이 전부였으며, 채점 점수가 실제 학생의 성적에 반영되는 것도 아니었습니다. 연구진 역시 결론에서 이번 연구 결과가 "should not be generalized directly to all real grading contexts." (모든 실제 채점 환경에 직접적으로 일반화되어서는 안 된다)라고 명시했습니다.
• 집단 간 격차가 이례적으로 뚜렷했습니다. 각 그룹 내에서 대부분의 교사 채점 점수는 그룹 평균에서 약 5점 안팎에 머물렀지만, A 그룹과 D 그룹의 평균 점수는 거의 22점이나 차이가 났습니다. 저자들 역시 이렇게 큰 효과는 "should be interpreted cautiously." (신중하게 해석되어야 한다)라고 언급했습니다. 저자들은 그 원인으로 7%와 87%라는 극명한 대비와 교사들에게 주어진 맥락 정보가 거의 없었다는 점을 꼽았습니다: "In real teaching, teachers may see intermediate rates and have richer information about students and writing processes, so actual bias may be smaller." (실제 수업 환경에서는 교사가 중간 수준의 수치를 볼 수 있고 학생 및 글쓰기 과정에 대한 더 풍부한 정보를 가지고 있으므로 실제 편향은 더 작을 수 있습니다.)

실험의 구체적인 제약 조건을 차치하더라도 분명한 사실이 하나 있습니다. 교사들이 과제물을 읽기 전에 보고서를 먼저 보았고, 그 보고서가 글을 읽는 시각을 바꾸어 놓았다는 점입니다. 저자들은 "AI content: 87%" (AI 생성 콘텐츠: 87%)와 같은 수치가 교사의 역할을 과제물 자체를 평가하는 일에서 시스템의 판단이 맞는지 확인하는 일로 바꾸어 버린다고 설명합니다. 저자들이 대학에 제안한 방안 중 하나는 교사가 "complete their quality evaluation before reviewing the detection report" (탐지 보고서를 확인하기 전에 글의 질적 평가를 먼저 완료하도록) 하는 2단계 채점 방식이었습니다.

저희 독자 대부분은 가상의 도구가 아니라 Turnitin을 마주하고 있으므로, Turnitin의 공식 문서에 명시된 다음 세 가지 사항을 이 연구와 함께 살펴볼 필요가 있습니다.

• 학생은 보통 교수자가 보는 화면을 볼 수 없습니다. Turnitin 공식 FAQ에는 "only instructors and administrators are able to see the indicator" (교수자 및 관리자만 해당 지표를 확인할 수 있다)라고 명시되어 있습니다. 다만 교수자가 AI 보고서를 PDF로 다운로드하여 학생에게 공유해 줄 수는 있습니다. 누가 어떤 화면을 볼 수 있는지는 학생도 Turnitin AI 점수를 볼 수 있을까요? 학생 화면과 교수자 화면 비교 글에서 자세히 다루고 있습니다.
• 낮은 점수에는 문장 강조 표시가 붙지 않습니다. Turnitin은 "no score or highlights are attributed for AI detection scores in the 1% to 19% range." (1%에서 19% 범위의 AI 탐지 점수에는 점수나 강조 표시가 부여되지 않는다)라고 안내합니다. 보고서에는 수치 대신 별표가 표시됩니다. 따라서 실험의 B 그룹처럼 낮은 수치에 문장이 강조 표시되는 조합은 현재 Turnitin 보고서에서는 나타나지 않습니다. 20% 미만에서는 평가자의 시선을 유도할 AI 강조 표시 문장 자체가 생성되지 않습니다. 자세한 내용은 Turnitin AI 점수에 표시된 별표(*%)는 무엇을 의미할까요? 글을 참고하십시오.
• Turnitin은 해당 수치가 성적이 아니라고 밝히고 있습니다. 동일한 FAQ에서 Turnitin은 해당 백분율이 "should not be used as the sole basis for action or a definitive grading measure by instructors." (교수자가 조치를 취하는 유일한 근거가 되어서는 안 되며 최종적인 채점 기준으로 사용되어서도 안 된다)라고 명시합니다. 하지만 이번 실험에서는 누구도 교사들에게 그 점수를 채점 기준으로 삼으라고 지시하지 않았습니다. 교사들은 단지 과제물을 채점해 달라는 요청을 받았고 보고서가 그 곁에 함께 놓였을 뿐입니다. 학점과 점수가 본래 어디에서 나와야 하는지는 Turnitin 점수는 과제 성적일까요? 유사도 점수의 실체와 한계 글에서 다루고 있습니다.

따라서 이 연구만으로 여러분의 담당 교수가 영향을 받았는지, 받았다면 얼마나 받았는지까지 알 수는 없습니다. 하지만 이 연구는 "the report might color how my paper gets read" (보고서가 내 과제물이 읽히는 방식에 선입견을 줄 수도 있다는 생각)를 단순한 과민 반응에서 충분히 물어볼 수 있는 합리적인 질문으로 바꾸어 놓았습니다.

다음 조치들은 누군가 부정행위 의혹을 제기하기 전이라도 언제든 취할 수 있습니다.

1. 성적이 예상보다 낮다면 AI 점수가 아니라 채점 기준을 물어보십시오. "Which rubric criteria lost marks, and which passages show it?" (채점 기준표의 어떤 항목에서 감점되었으며, 본문의 어느 부분에 해당합니까?)라는 질문은 어떤 과제 채점 이후에도 할 수 있는 지극히 정상적인 질문입니다. 또한 빨간색 강조 표시는 교사가 남긴 피드백 내용까지 바꾸어 놓았습니다. 학생에게 어떤 수정을 제안할지 묻는 질문에, 빨간색 문장이 표시된 7% 보고서를 본 교사의 65.4%가 언어 표현 수정을 제안한 반면 빨간색 표시가 없던 7% 보고서를 본 교사는 7.5%에 불과했습니다. 또한 내용 보강에 대한 제안은 절반 수준에서 거의 전무한 수준으로 떨어졌습니다. (저자들은 이러한 주관식 응답 코딩을 탐색적 분석으로 분류했습니다.) 여러분이 받은 피드백이 온통 문장 표현에만 치중되어 있고 핵심 논지에 대한 언급이 전혀 없다면, 논증 자체에 대해서도 피드백을 요청하십시오.
2. 채점 과정에서 AI 보고서가 활용되었는지 확인하고, 사용되었다면 PDF 보고서를 요청하십시오. 단순한 백분율 수치만으로는 알 수 있는 정보가 거의 없습니다. 보고서 전문을 확인해야 어떤 부분이 구체적으로 표시되었는지 확인할 수 있습니다.
3. 작성 과정을 언제든 제시할 수 있도록 준비해 두십시오. 이 연구에서 다룬 후속 조치는 징계가 아니라 요청에 가까웠습니다. 특정 부분의 수정 요구, 작성 방식에 대한 소명 요청, 참고 문헌 출처 제시 등이었습니다. 빨간색 문장이 강조된 87% 보고서를 본 교사들은 이러한 요구를 제기하는 쪽으로 뚜렷하게 기울었습니다. 초안, 메모, 편집 버전 기록을 보관해 두면 이러한 요청에 신속하고 명확하게 대응할 수 있습니다.
4. 아직 수정 중이고 탐지 보고서가 있다면, 표시된 부분부터 먼저 읽어보십시오. 실험에서 빨간색으로 표시된 네 문장은 저자들의 영문 번역 기준으로 다음과 같았습니다: "With the rapid development of information technology, online education has gradually become an important component of higher education." (정보기술의 급속한 발전과 함께 온라인 교육은 점차 고등교육의 중요한 구성 요소가 되었습니다.) "This paper analyzes this issue from three aspects: learning effects, interaction modes, and technical conditions." (본 논문은 학습 효과, 상호작용 방식, 기술적 조건의 세 가지 측면에서 이 문제를 분석합니다.) "In conclusion, online education brings convenience but also faces many practical challenges." (결론적으로 온라인 교육은 편리함을 가져다주지만 동시에 여러 현실적인 과제에도 직면해 있습니다.) "Therefore, this issue deserves continued attention and further research from the education community." (따라서 이 문제는 교육계의 지속적인 관심과 추가적인 연구를 받을 가치가 있습니다.) 이러한 문장들은 일단 강조 표시가 붙자 언어 표현 점수를 크게 깎아내렸습니다. 누구의 과제물에 넣어도 들어맞을 법한 서론 도입부, 전개 방향 제시, 결론 요약 문장은 어차피 본인만의 언어로 다시 다듬을 가치가 충분합니다.

Turnitin 또는 iThenticate 보고서를 보유하고 있고 아직 수정 단계이며 수강 중인 강의에서 이러한 방식의 도움을 허용한다면, HumanPen 도구의 humanize(AI 다듬기) 기능은 표시된 문장만을 대상으로 작동합니다. Turnitin 또는 iThenticate 보고서를 가져와 표시된 부분만 다시 쓰고, 같은 형식의 편집 가능한 파일로 받으세요. 결과물을 제출하기 전에 편집된 파일을 직접 처음부터 끝까지 꼼꼼히 검토하십시오.

교사들은 보고서가 가짜라는 사실을 알고 있었습니까? 채점 당시 연구진은 교사들에게 이 사실을 알리지 않았습니다. 채점이 완료된 후에야 해당 보고서가 시뮬레이션된 것이며 실제 학업 청렴성 판정이 아니라는 사실을 안내했습니다.

이 연구는 Turnitin을 대상으로 한 연구였습니까? 아닙니다. 실제 탐지 도구에 대한 인식이 연구 결과에 영향을 주지 않도록 "AcademicCheck"라는 가상의 도구 보고서를 사용했습니다.

AI 수치가 7%일 때도 빨간색 강조 표시가 영향을 미쳤습니까? 0~100점 점수에는 통계적으로 유의미한 영향을 미치지 않았습니다. 다만 교사들이 매긴 과제물의 언어 표현 평가는 낮아졌습니다.

Turnitin은 20% 미만에서 별표만 표시하는데, 별표도 동일한 효과를 낼 수 있을까요? 본 연구에서는 이를 직접 검증하지 않았습니다. 연구의 저수치 조건은 별표가 아니라 7%라는 숫자와 "Low risk" (저위험) 판정 문구였습니다. 별표 역시 무언가 감지되었다는 사실을 교수자에게 알리는 역할을 하지만, 교수자가 이를 어떻게 받아들일지는 이번 연구로는 알 수 없습니다.

• Peitao Du, Tingting Liu, Xujin Xian, Automation bias in teachers' evaluation of student writing: effects of algorithmic warnings and visual risk cues in AI detection reports, Frontiers in Psychology 17:1889402, 2026년 7월 7일 게재, 2026년 10월 2일 확인 (섹션 3~6, 표 1 및 3, 보충 자료 부록 A, 표 B1 및 F4).
• Turnitin, Turnitin의 AI 글쓰기 탐지 기능 FAQ.