창의적 글쓰기가 터니틴에서 AI 로 걸리는 이유

창의적 글쓰기가 터니틴 AI 감지기에서 거짓 양성을 일으키는 데에는 터니틴 스스로 문서화한 몇 가지 이유가 있습니다. 모델은 이른바 '적격 텍스트 (qualifying text)' 만 분석하는데, 여기에는 표준 문법적 문장으로 쓴 산문 문장만 포함됩니다. 한 터니틴 도움말 문서에 따르면 이 모델은 '운문, 각본, 코드 등 비산문 형태의 AI 생성 텍스트는 신뢰할 수 있게 감지하지 않는다'고 합니다. 짧은 창의적 작품은 또 다른 문제가 있는데, FAQ 에 따르면 '수백 단어의 문서에서는 단일 세그먼트만 분석하므로 겹치는 부분이 없어 대체로 전무 (全無) 판정이 내려진다'고 합니다. FAQ 는 또한 거짓 양성을 일으키는 특징으로 '구조적 변이가 거의 없는 내용'과 '문자 그대로 반복되는 텍스트'를 꼽습니다. 반복되는 모티프나 균일한 문장 구조를 사용하는 창의적 글쓰기는 완전히 인간이 썼더라도 이 프로필에 부합할 수 있습니다.

FAQ 는 모델이 무엇을 검사하는지 이렇게 정의합니다:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(이 적격 텍스트는 산문 문장만을 포함합니다. 즉, 표준 문법적 문장으로 작성된 텍스트 블록만 분석하며, 목록이나 불릿 포인트 (짧은 비문장 구조) 등 다른 유형의 글이나 기타 비문장 구조는 포함하지 않습니다.)

The next sentence: "This percentage is not necessarily the percentage of the entire submission."(바로 다음 문장: "이 비율은 전체 제출물의 비율이 아닐 수 있습니다.")

한 터니틴 도움말 문서에서는 모델이 신뢰할 수 있게 감지하지 못하는 텍스트 유형의 더 넓은 목록을 제공합니다:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies."(이 모델은 시, 각본, 코드 등 비산문 형태의 AI 생성 텍스트를 신뢰할 수 있게 감지하지 않으며, 불릿 포인트, 표, 주석 참고문헌 등 단형식 또는 비전통적 글쓰기도 감지하지 않습니다.)

이는 파일 형식 경계가 아니라 텍스트 콘텐츠 경계입니다. 터니틴의 현재 파일 요건 은 .docx, .pdf, .txt, .rtf 를 허용하지만, 허용된 파일 안에도 적격 장편 산문과 시, 각본 스타일 대화, 비전통적 구조가 혼재될 수 있습니다. 한 도움말 문서 는 이러한 창의적 형태를 신뢰할 수 있게 감지하지 못한다고 말하지만, 모든 해당 섹션이 항상 제외된다고 말하는 건 아닙니다. FAQ 는 장편 산문으로 간주되지 않는 텍스트는 포함되지 않으므로 비율이 전체 제출물을 대표하지 않을 수 있다고 설명합니다.

창의적 글쓰기 과제는 대체로 짧습니다. 500 단어의 플래시픽션은 FAQ 에서 설명하는 '수백 단어' 범위에 속합니다. FAQ 는 이렇게 말합니다:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."(단어가 수백 개밖에 없는 짧은 문서에서는 단일 세그먼트만 분석하므로 겹치는 부분이 없어 대체로 전무 (全無) 판정이 내려집니다.)

The next sentence: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."(바로 다음 문장: "즉, AI 생성 콘텐츠와 원본 콘텐츠가 섞인 텍스트도 전부가 AI 생성인 것으로 지적될 수 있습니다.")

터니틴의 현재 파일 요건 은 별도의 기준을 제시합니다: AI Writing Report 와 비율을 생성하려면 제출물이 장편 글쓰기 형식으로 최소 300 단어의 산문 텍스트를 포함해야 합니다.

이 기준선 미만이면 제출물은 AI 보고서나 비율의 현재 요건을 충족하지 못합니다. 적격 작품이라도 여전히 수백 단어만 있는 경우 현재 FAQ 는 예측이 대부분 전무 (全無) 판정이며 AI 생성과 원본이 혼재된 텍스트도 전부가 AI 생성인 것으로 지적될 수 있다고 명시합니다. 어떤 이유로 터니틴이 내 작품을 100% AI 로 판단하는지 는 해당 세그먼트를 하나하나 추적합니다.

FAQ 는 거짓 양성 (인간이 쓴 텍스트를 AI 생성으로 잘못 지적) 을 일으키는 경향이 있는 텍스트 특징을 나열합니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphased without developing new ideas."(때때로 거짓 양성 (인간이 쓴 텍스트를 AI 생성으로 잘못 지적) 은 구조적 변이가 거의 없는 내용, 문자 그대로 반복되는 텍스트, 또는 새로운 아이디어 발전 없이 각색된 텍스트를 포함할 수 있습니다.)

The next sentence: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(바로 다음 문장: "만약 이러한 텍스트에서 AI 글쓰기가 더 많이 표시된다면, 표시된 비율을 볼 때 이를 고려해 주시기 바랍니다.")

이 특징 중 몇 가지는 일반적인 창의적 글쓰기 기법과 겹칩니다. 의도적 반복을 문체 장치로 사용하는 작품은 '문자 그대로 반복되는 텍스트'에 부합할 수 있습니다. 일관된 내러티브 보이스와 균일한 문장 리듬을 가진 작품은 '구조적 변이가 거의 없는 내용'에 부합할 수 있습니다. 공식 권고는 비율을 확정적인 것으로 treating 하는 대신 '고려할 것'을 요청합니다. 단일 문체 습관이 동일한 방식으로 판독되는 이유는 대시 (—) 가 AI 의 흔적인가 에서 다루는 질문입니다.

감지 모델은 텍스트를 겹치는 세그먼트로 분할하여 각각 확률 점수를 할당합니다:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."(논문이 터니틴에 제출되면 제출물에서 문장을 추출하여 예측 분석을 위해 겹치는 섹션으로 분할합니다. 각 세그먼트는 AI 감지 모델에 의해 분류되며, 텍스트가 인간이 썼거나 AI 생성일 확률을 나타내는 0 에서 1 사이의 값이 부여됩니다.)

긴 문서에서는 세그먼트가 겹치므로 하나의 문장이 여러 번 점수를 받아 풀링됩니다. 이 풀링은 개별 예측 오류를 완화합니다. 짧은 창의적 작품에서는 겹치는 부분이 없는 단일 세그먼트만 있을 수 있으므로 예측이 전무 (全無) 판정이 되는 것입니다. AI 감지기가 실제로 측정하는 것 은 각 세그먼트가 무엇을 바탕으로 점수를 받는지 설명합니다.

지금까지 다룬 내용을 요약하면 다음과 같습니다:

• 비율은 적격 장편 산문을 기준으로 하며, 반드시 전체 제출물의 비율은 아닙니다.
• 한 터니틴 도움말 문서는 시, 각본, 주석 참고문헌을 모델이 신뢰할 수 있게 감지하지 못하는 텍스트 유형으로 나열합니다.
• 수백 단어만 있는 적격 문서의 경우 터니틴은 겹치는 부분이 없어 예측이 대부분 전무 (全無) 판정될 것이라고 말합니다.
• 적격 장편 산문이 300 단어 미만인 제출물은 AI 보고서나 비율의 현재 요건을 충족하지 못합니다.
• FAQ 는 구조적 변이가 적거나 반복되는 텍스트의 경우 비율을 '고려할 것'을 교수진에게 권고합니다.
• 의도적 반복과 일관된 보이스 같은 창의적 글쓰기 기법이 거짓 양성 성향 특징에 부합할 수 있습니다.

창의적 글쓰기 작품에 대한 터니틴 보고서를 받았고 지적된 구절을 교정하고 싶다면 리포트를 가져와서 작업하세요. 적격 구절은 무료로 재검사할 수 있습니다.