경영 사례 연구가 AI로 판정되었나요? SWOT, Five Forces, 그리고 두 가지 종류의 유사성

한 학급 전체가 비슷한 문서를 제출하면, 가장 먼저 떠오르는 걱정은 대개 표절입니다. 하지만 그 반사는 엉뚱한 보고서를 가리킵니다. 여러분이 들고 있는 것은 아마도 두 개의 숫자이고, 둘은 같은 것을 측정하지 않습니다.

프레임워크는 여러분의 글에 두 가지 일을 합니다. 고정된 어휘를 고정된 순서로 건네주는데, 그래서 여러분의 문단이 동료들의 문단처럼 보입니다. 그리고 보고서를 나란한 칸들의 모음으로 바꾸는데, 그래서 여러분의 다섯 문단이 서로 닮습니다.

AI 작성 비율이라는 숫자가 반응하도록 만들어진 것은 오직 후자입니다. Turnitin이 공개한 AI 채점 설명은 제출물 단위의 절차입니다. 파일은 겹치는 세그먼트로 잘리고, 각 세그먼트에 확률이 부여되며, 문장 점수는 모여 집계됩니다. 그 어디에도 여러분의 문서를 다른 사람의 문서와 비교하는 단계는 없습니다. 다른 과제물과의 비교는 또 다른 숫자인 유사도 점수의 영역이고, 이는 "Turnitin's comprehensive collection of content" (Turnitin의 방대한 콘텐츠 수집물)을 기준으로 정의됩니다. 그리고 공급업체는 두 점수가 "completely independent and do not influence each other" (완전히 독립적이며 서로 영향을 주지 않습니다)라고 밝힙니다.

무엇을 만지기 전에 알아두면 좋을 세 번째 사실이 있습니다. 그리고 그것이 사람들을 놀라게 하는 지점입니다. 프레임워크를 많이 쓰는 사례 연구에서는, 여러분이 쓴 것의 대부분이 애초에 평가 대상이 아닙니다. 그 비율은 산문 문장을 기준으로 계산됩니다. 이 정의에 따르면 SWOT 격자도, 불릿으로 나열한 PESTEL도, Five Forces의 머리글 목록도 산문 문장이 아닙니다.

무엇을 결정하기 전에 이 둘을 구분해 두면 좋습니다. 학생들은 늘 첫 번째 걱정을 두 번째 보고서에 들고 오기 때문입니다.

유사성 쪽에는 프레임워크 언어에 특유한 세부 사항이 두 가지 있습니다. 첫째, 프레임워크 라벨은 짧습니다. Turnitin의 제외 필터 안내서에는 짧은 일치에 관한 설정이 나옵니다. "By default, the threshold is 8 words, meaning that only matches 8 words or longer appear in the Similarity Report. You can increase this number, but 8 words is the minimum allowed value." (기본적으로 기준값은 8단어이며, Similarity Report에는 8단어 이상의 일치만 표시됩니다. 이 값을 높일 수는 있지만 8단어가 허용되는 최솟값입니다.) 여러분이 쓴 프레임워크 문자열을 여기에 대고 세어 보세요. "Threat of new entrants"는 네 단어입니다. "Bargaining power of buyers"도 네 단어입니다. "강점, 약점, 기회, 위협"은 다섯 단어입니다. 이 설정은 보고서의 클래식 버전에서는 쓸 수 없고, 어느 쪽으로든 켜고 끌 권한도 여러분에게 없습니다. 8단어는 누군가 필터를 켰을 때의 기본값일 뿐, 아무도 켜지 않았어도 적용되는 하한선은 아닙니다. 하지만 공급업체가 어느 정도 길이의 일치를 노이즈로 취급하는지는 이것으로 알 수 있습니다.

둘째, AI 쪽에서 모델은 공통된 문구를 찾지 않습니다. FAQ는 분류기가 "are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers" (단어 확률의 이러한 차이를 탐지하도록 학습되었고, 사람이 쓴 글에 고유한 단어 확률 배열에 능합니다)라고 말하며, 다른 곳에서는 모델이 "is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions" (공개 논의에서 간혹 언급되는 'burstiness,'나 'perplexity,' 같은 개별 지표를 평가하도록 명시적으로 프로그래밍되지 않았습니다)라고 합니다. 두 숫자를 모두 앞에 두고 있다면 Turnitin AI 작성 보고서와 유사성 보고서 비교에 전체 구분이 나옵니다.

무엇이 분석되는지에 대해서는 FAQ가 분명히 밝힙니다.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 대상 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법 문장으로 쓰인 텍스트 덩어리만 분석하며, 목록이나 불릿 포인트처럼 문장이 아닌 짧은 구조, 또는 그 밖의 문장이 아닌 구조 같은 다른 종류의 글은 포함하지 않습니다.)

그리고 그 비율이 무엇에 대한 비율인지에 대해서는 다음과 같이 씁니다.

"As noted previously, this percentage is not necessarily the percentage of the entire submission. If text within the submission is not considered long-form prose text, it will not be included." (앞서 언급했듯, 이 비율이 반드시 제출물 전체에 대한 비율인 것은 아닙니다. 제출물 안의 텍스트가 장문 산문 텍스트로 간주되지 않으면 포함되지 않습니다.)

이제 평범한 MBA 사례 보고서를 훑어보며, 이 정의를 살아남는 부분에 표시를 해 보겠습니다.

이 표에는 두 가지 결과가 있지만, 화면의 숫자는 둘 중 어느 것도 보여주지 않습니다.

같은 분석을 다르게 배치했다면 여러분의 비율과 동료의 비율은 비교할 수 없습니다. PESTEL 내용이 같아도, 한쪽은 불릿으로 쓰고 다른 쪽은 표 안에 완전한 문장으로 썼다면, 평가 대상이 되는 텍스트의 양이 다릅니다.

그리고 격자가 많은 보고서에서는 대상 산문으로 남는 부분이 아주 작을 수 있습니다. 이것이 중요한 이유는 적은 분량의 텍스트에 대해 FAQ가 이렇게 말하기 때문입니다. "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어가 몇백 개뿐인 짧은 문서에서는 겹칠 기회 없이 단일 세그먼트에 대해 예측하므로, 예측은 대체로 'all or nothing'이 됩니다.) 산문 텍스트가 300단어 미만이면 AI 작성 보고서는 아예 생성되지 않습니다. 3,000단어짜리 사례 연구의 대부분이 전시 자료와 불릿이라면, 여러분이 보고 있는 비율은 연결 설명과 그 외 일부만으로 계산된 것일 수 있습니다. 어떤 내용이 제외되는지는 Turnitin AI는 어떤 콘텐츠를 건너뛰나요?에 전반적으로 정리되어 있습니다. 여기서의 요점은, 프레임워크 배치가 거의 다른 어떤 과제 형식보다 분모를 크게 바꾼다는 것입니다.

Turnitin은 오탐지가 발생하는 텍스트의 특징을 공개하고 있습니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때로 오탐지—사람이 쓴 텍스트를 AI 생성으로 잘못 표시하는 것—에는 구조적 변화가 거의 없는 내용, 말 그대로 자신을 반복하는 텍스트, 또는 새로운 생각을 발전시키지 않고 바꾸어 쓴 텍스트가 포함될 수 있습니다.)

프레임워크 문장이 그 설명에 해당하는 데에는 정당한 이유가 있고, 그 이유는 필자와는 아무런 관련이 없습니다.

어휘는 출처에 의해 고정됩니다. Harvard Business School의 Institute for Strategy and Competitiveness는 다섯 가지 힘을 정확히 다음 이름으로 공개합니다. Threat of New Entrants, Bargaining Power of Suppliers, Bargaining Power of Buyers, Threat of Substitute Products or Services, Rivalry Among Existing Competitors. Michael Porter가 이를 처음 제시한 것은 1979년 Harvard Business Review 논문이었습니다. 이 문자열은 여러분이 바꿀 수 있는 것이 아니며, 채점자도 바꾸기를 원하지 않습니다.

순서는 교리가 아니라 관행입니다. ISC 페이지 자체도 대체재를 먼저, 신규 진입을 네 번째로 두는데, 이는 위 문단의 순서와 다릅니다. 고정된 것은 각 블록을 끝맺는 문장입니다. 특징적인 방식은 고정된 틀 속의 판결입니다. 힘, 등급, 그리고 근거절 하나. 이를 다섯 번 반복하면 구조가 같고 명사만 바뀐 다섯 문장을 쓰게 되는데, 이는 "content without a lot of structural variation" (구조적 변화가 거의 없는 내용)에 대한 적절한 설명입니다.

이 가운데 어느 것이 특별한 사례로 문서화되어 있는지도 저는 확인했습니다.

무엇을 세었는지. 2026년 8월 27일, 저는 AI Writing Report를 정의하는 세 개의 Turnitin 페이지에서 렌더링된 본문을 읽었습니다. Using the AI Writing Report (6,492자), AI 작성 탐지 기능 FAQ (30,987), 그리고 AI writing detection model 릴리스 노트 (9,233)입니다. 세 페이지 전체를 검색한 결과는 다음과 같습니다. `SWOT` 0 · `PESTEL` 0 · `PESTLE` 0 · `Porter` 0 · `case study` 0 · `business` 0 · `marketing` 0 · `discipline` 0 · `genre` 0. `framework`의 유일한 검색 결과는 공급업체가 자사 테스트 프레임워크를 설명하는 부분입니다. 같은 텍스트로 한 민감도 확인 결과는 `prose` 13 · `qualifying` 15 · `bibliograph` 4였습니다. `subject area`는 세 번 나오며, 모두 FAQ 페이지에서이고 모두 학습 표본을 설명합니다. 한 번은 "academic writing across geographies and subject areas" (지역과 주제 영역을 아우르는 학술적 글쓰기)로, 그리고 두 번은 "less common subject areas such as anthropology, geology, sociology, and others" (인류학, 지질학, 사회학 등 덜 흔한 주제 영역)이라는 반복되는 목록 안에서입니다.

즉 비즈니스 스쿨을 위한 예외는 어느 방향으로도 없습니다. 모델은 사례 연구와 실험 보고서를 구분하지 못하며, 문서도 그렇게 한다고 주장하지 않습니다.

사례 연구의 프레임워크 부분은 본래 서로 바꿀 수 있어야 합니다. 그것이 프레임워크의 존재 이유입니다. 반면 분석은 오직 여러분만 쓸 수 있는 부분이어야 합니다. 그런데 대부분의 보고서에서 이 둘은 같은 문단에, 같은 문체로 놓여 있습니다. 문서가 균일해지는 것은 바로 그 때문입니다.

이 둘을 분리하는 구체적인 방법은 다음과 같습니다.

1. 판결과 추론을 서로 다른 문장 형태에 담으세요. 등급 문장이 고정된 틀이라면 그것 하나로 두고, 다음 문장까지 같은 틀로 쓰지 마세요. 짧고 담백한 등급 문장 뒤에 긴 논증 문단이 오는 편이, 똑같은 혼합형 문장 다섯 개보다 다르게 읽힙니다.
2. 숫자와 날짜와 출처를 이름으로 밝히세요. 공급자의 힘을 여러분의 Exhibit 4에 이름이 나온 두 계약 제조업체와, 그중 두 번째 업체가 인수된 연도에 묶어 주는 문장은, "공급자의 힘은 산업 집중도 때문에 높습니다"에는 없는 정보를 담습니다. 두 번째 문장은 아무것도 읽지 않은 사람이 어떤 산업에 대해서든 쓸 수 있습니다.
3. 프레임워크가 이 기업에서 어디서 실패하는지 쓰세요. 법정 독점이 있는 규제 시장에서는 대체재의 힘이 거의 의미가 없다는 것을 설명하는 문단은 분석입니다. 그것을 "낮음"으로 평가하고 넘어가는 것은 서식 채우기입니다.
4. 칸 하나를 빼고, 그 생략을 한 문장으로 정당화하세요. 똑같이 중요하지 않은 힘들을 같은 분량으로 다루는 것은 공급업체가 설명하는 바로 그 평면적 구조이며, 한 문장의 가치가 있는 힘에 한 페이지의 가치가 있는 힘과 같은 분량을 쓰는 셈입니다.
5. 권고를 프레임워크보다 먼저 쓰고, 그것이 이를 뒷받침하는지 확인하세요. 프레임워크를 먼저 조립한 보고서는 칸을 되풀이하는 결론으로 끝나기 쉽습니다. 2023년 Turnitin 릴리스 노트는 오탐지가 문서의 첫 문장과 마지막 문장에 집중되어 있고 그것이 "written in a generic way" (일반적인 방식으로 쓰인) 상태임을 관찰했고, 탐지 로직은 이를 줄이도록 변경되었습니다. 그러나 그 밑의 작성 습관은 사라지지 않았습니다. 서론과 결론이 AI로 표시되는 이유에 릴리스 노트 전문이 있습니다.

그 비율이 이후에 어떻게 되는지는 저도 말씀드리지 않겠습니다. 정직한 사람이라면 누구도 말하지 않습니다. 위 목록이 설명하는 것은 사례 연구에서 어떤 문단이 여러분의 것이고 어떤 문단이 프레임워크의 것인가 하는 선입니다. 그리고 그 선은 탐지기가 관여하든 아니든 그을 만한 가치가 있습니다.

보고서가 돌아왔고 무언가를 바꿔야 하는 상황이라고 가정해 보겠습니다. 순서가 중요합니다. 사례 연구는 다시 쓰다가 망가지기 가장 쉬운 문서 가운데 하나이기 때문입니다.

1. 비율이 아니라 하이라이트를 읽으세요. 하이라이트가 어디에 찍혔는지 보면, 모델이 연결 설명에 반응했는지 권고에 반응했는지 알 수 있습니다. 숫자는 그것을 알려주지 않습니다.
2. 프레임워크 라벨은 그대로 두세요. 그것들은 전문 용어입니다. Porter를 제대로 적용했는지 확인하는 채점자는 다섯 개 이름이 나오기를 기대합니다.
3. 전시 자료와 비율, 수치는 그대로 두세요. 그것들은 대상 산문이 아니며, 문서에서 실수가 치명적인 부분입니다.
4. 분석 문단부터 시작하세요. 그곳은 다시 쓰기가 정당하게 손댈 수 있는 부분입니다. 그리고 보고서가 균일하게 나왔다면, 그곳은 원래부터 빈약했던 부분이기도 합니다.
5. 손댄 부분은 모두 다시 교정하세요. 바뀐 문단은 이제 여러분의 전시 자료 수치와 대조해 확인해야 하는 문단입니다. 문서 전체를 한 번에 처리하는 비용이 큰 이유는 다시 쓰기가 아니라 바로 이 확인 작업 때문입니다.

다섯 번째 항목이야말로 도구에서 범위가 무엇보다 중요한 이유입니다. HumanPen 도구는 붙여넣은 발췌문이 아니라 파일 자체를 다룹니다. DOCX를 올리면 편집 가능한 DOCX가 돌아오고, 구조와 용어, 인용, 레이아웃, 스타일은 그대로 유지됩니다. 표와 전시 자료가 가득한 보고서에서 이것은 작업 하나로 끝날 일과 서식을 다시 잡느라 한나절을 보내는 일의 차이입니다. 직접 구간을 표시해도 되고, Turnitin이나 iThenticate에서 이미 받은 AI 보고서를 가리켜 표시된 부분을 골라내게 해도 됩니다. 어느 쪽이든 그 부분만 다시 쓰고 나머지는 그대로 둡니다. 다루는 최소 단위는 한 문단이며, 확장된 선택 범위는 먼저 승인을 위해 화면에 제시되므로, 다시 읽어야 할 문단이 몇 개인지 정확히 알 수 있습니다. 조건을 충족하는 부분은 무료로 다시 실행할 수 있습니다.

우리 서른 명이 같은 SWOT을 썼습니다. 그게 AI로 나타날까요? 그 경로로는 나타나지 않습니다. AI 작성 비율은 여러분의 텍스트를 겹치는 세그먼트로 나누어 제출물 단위로 분류하는 것으로 설명되며, 다른 제출물과의 비교가 아닙니다. 그리고 FAQ는 "no separate repository for AI writing detection" (AI 작성 탐지를 위한 별도 저장소는 없습니다)라고 밝힙니다. 다른 과제물과 공유하는 텍스트는 유사성 쪽의 이야기이고, 그것은 자체 필터를 가진 별개의 숫자입니다.

SWOT 격자 자체도 채점되나요? 불릿과 그 밖의 문장이 아닌 구조는 분석 대상 밖으로 문서화되어 있습니다. 표 안의 완전한 산문 문장은 다른 경우입니다. 2023년 8월 릴리스 노트는 표 안의 장문 산문이 이제 처리된다고 하며, 기존 제출물은 재처리를 위해 다시 제출해야 한다고 합니다. 따라서 같은 PESTEL이라도 배치 방식에 따라 분모에 들어갈 수도 있고 빠질 수도 있습니다.

제 사례 연구가 100%로 돌아왔습니다. 실제 산문은 900단어뿐입니다. 이 조합은 짧은 텍스트에 대한 FAQ 자체의 단서와 견주어 읽어볼 만합니다. "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어가 몇백 개뿐인 짧은 문서에서는 겹칠 기회 없이 단일 세그먼트에 대해 예측하므로, 예측은 대체로 'all or nothing'이 됩니다.) 격자가 많은 보고서는 전체 단어 수가 암시하는 것보다 대상 산문이 훨씬 적을 수 있습니다. 짧은 문서와 Turnitin의 all-or-nothing 문제에 세그먼트 구조의 설명이 있습니다.

프레임워크 사용을 그만둬야 할까요? 아니요, 채점 기준이 아마 그것을 요구할 것입니다. 바꿀 수 있는 것은 비율입니다. 칸에 이름 붙이는 분량을 줄이고, 칸이 뒷받침해야 했던 판단에 더 많은 분량을 쓰세요. 그것이 더 나은 보고서이면서 동시에 덜 균일한 보고서입니다.

그 비율을 그대로 지도교수에게 가져가서 오탐지라고 주장해도 될까요? 이야기를 꺼낼 수는 있고, 공급업체의 표현이 도움이 됩니다. AI 작성 보고서 사용 안내서는 그 지표가 "may not always be accurate" (항상 정확한 것은 아닐 수 있습니다)라고 하고, "should not be used as the sole basis for adverse actions against a student" (학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다)라고 합니다. 탐지 FAQ는 오탐지에 관한 부분에서 구조적으로 균일한 텍스트를 "into consideration when looking at the percentage indicated" (표시된 비율을 볼 때 고려해야 합니다) 하라고 권합니다. 그러나 그것 중 어느 것도 누가 그 문서를 썼는지의 증거는 아닙니다. 대학이 75,000편의 논문을 제출할 때 오탐지율 1%가 의미하는 것이 그 계산의 정직한 모습입니다.