Warum kreatives Schreiben von Turnitin als KI markiert wird

Kreatives Schreiben kann aus mehreren Gründen, die Turnitin selbst dokumentiert, falsch-positive Treffer beim KI-Detektor auslösen. Das Modell analysiert sogenannte "qualifying text" (qualifizierender Text), was nur Prosasätze in standardmäßigen grammatikalischen Sätzen umfasst. Ein Turnitin-Hilfe-Artikel sagt, das Modell "does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code." (erkennt KI-generierten Text in Nicht-Prosa-Form wie Gedichte, Skripte oder Code nicht zuverlässig). Kurze kreative Texte haben ein zusätzliches Problem: Die FAQ besagt, dass bei Dokumenten von einigen hundert Wörtern "the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (die Vorhersage meist "alles oder nichts" sein wird, weil wir auf einem einzigen Segment ohne Überlappungsmöglichkeit vorhersagen). Die FAQ listet auch Merkmale auf, die falsch-positive Treffer erzeugen, darunter "content without a lot of structural variation" (Inhalte ohne viel strukturelle Variation) und "text that literally repeats itself" (Text, der sich wörtlich wiederholt). Kreatives Schreiben mit repetitiven Motiven oder einheitlichen Satzstrukturen kann dieses Profil erfüllen, auch wenn es vollständig von Menschen geschrieben wurde.

Die FAQ definiert, was das Modell untersucht:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Dieser qualifizierende Text umfasst nur Prosasätze, was bedeutet, dass wir nur Textblöcke analysieren, die in standardmäßigen grammatikalischen Sätzen geschrieben sind und keine anderen Schreibarten wie Listen, Aufzählungspunkte (kurze Nicht-Satz-Strukturen) oder andere Nicht-Satz-Strukturen enthalten.)

Der nächste Satz: "This percentage is not necessarily the percentage of the entire submission." (Dieser Prozentsatz ist nicht unbedingt der Prozentsatz der gesamten Einreichung.)

Ein Turnitin-Hilfe-Artikel liefert eine breitere Liste von Texttypen, die das Modell nicht zuverlässig erkennt:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (Das Modell erkennt KI-generierten Text in Nicht-Prosa-Form wie Gedichte, Skripte oder Code nicht zuverlässig und erkennt auch keine Kurzform-/unkonventionellen Schreibweisen wie Aufzählungspunkte, Tabellen oder annotierte Bibliografien.)

Das ist eine Grenze für Textinhalte, nicht für Dateiformate. Turnitins aktuelle Dateianforderungen akzeptieren .docx, .pdf, .txt und .rtf, aber eine akzeptierte Datei kann trotzdem qualifizierende Langform-Prosa mit Gedichten, skriptartigem Dialog oder unkonventionellen Strukturen mischen. Ein Hilfe-Artikel sagt, diese kreativen Formen würden nicht zuverlässig erkannt; er sagt nicht, dass jeder solche Abschnitt immer ausgeschlossen wird. Die FAQ sagt, Text, der nicht als Langform-Prosa gilt, wird nicht einbezogen, sodass der Prozentsatz möglicherweise nicht die gesamte Einreichung repräsentiert.

Kreative Schreibaufträge sind oft kurz. Ein qualifizierendes 500-Wörter-Flash-Fiction-Stück liegt im Bereich "einige hundert Wörter", den die FAQ beschreibt. Sie sagt:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur einigen hundert Wörtern wird die Vorhersage meist "alles oder nichts" sein, weil wir auf einem einzigen Segment ohne Überlappungsmöglichkeit vorhersagen.)

Der nächste Satz: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass manche Texte, die eine Mischung aus KI-generierten und ursprünglichen Inhalten sind, als vollständig KI-generiert markiert werden können.)

Turnitins aktuelle Dateianforderungen ziehen eine separate Grenze: Um einen KI-Schreibbericht und Prozentsatz zu generieren, muss eine Einreichung mindestens 300 Wörter Prosatext in einem Langform-Schreibformat enthalten.

Unter dieser Schwelle erfüllt die Einreichung nicht die veröffentlichten Anforderungen für einen KI-Bericht oder Prozentsatz. Sobald ein qualifizierendes Stück immer noch nur einige hundert Wörter enthält, sagt die aktuelle FAQ, die Vorhersage sei meist alles-oder-nichts und gemischte KI-generierte und originale Texte könnten als vollständig KI-generiert markiert werden. Warum Turnitin sagt, deine Arbeit sei 100 % KI verfolgt diese Schwankung Segment für Segment.

Die FAQ listet Textmerkmale auf, die tendenziell falsch-positive Treffer erzeugen:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können falsch-positive Treffer (fälschlicherweise als KI-generiert markierter menschlich geschriebener Text) Inhalte ohne viel strukturelle Variation, Text, der sich wörtlich wiederholt, oder Text umfassen, der paraphrasiert wurde, ohne neue Ideen zu entwickeln.)

Der nächste Satz: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Wenn unser Indikator eine höhere Menge KI-Schreiben in solchem Text anzeigt, raten wir Ihnen, dies bei der Betrachtung des angegebenen Prozentsatzes zu berücksichtigen.)

Mehrere dieser Merkmale überschneiden sich mit gängigen Techniken des kreativen Schreibens. Ein Stück, das bewusste Wiederholung als Stilmittel verwendet, kann "text that literally repeats itself" (Text, der sich wörtlich wiederholt) entsprechen. Ein Stück mit konsistenter Erzählstimme und einheitlichem Satyrhythmus kann "content without a lot of structural variation" (Inhalte ohne viel strukturelle Variation) entsprechen. Der offizielle Rat lautet, den Prozentsatz "zu berücksichtigen", anstatt ihn als definitiv zu behandeln. Einzelne stilistische Gewohnheiten werden gleich gelesen, was die Frage hinter ist der Gedankenstrich ein KI-Indikator aufwirft.

Das Erkennungsmodell verarbeitet Ihren Text, indem es ihn in überlappende Segmente aufteilt und jedem einen Wahrscheinlichkeitswert zuweist:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wenn ein Dokument bei Turnitin eingereicht wird, werden Sätze aus der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte segmentiert. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text wahrscheinlich menschlich oder KI-generiert ist.)

In einem längeren Dokument überlappen sich Segmente, was bedeutet, dass ein einzelner Satz mehrere Werte erhalten kann, die zusammengeführt werden. Dieses Pooling gleicht einzelne Vorhersagefehler aus. In einem kurzen kreativen Text gibt es möglicherweise nur ein Segment ohne Überlappung, weshalb die Vorhersage zu alles-oder-nichts wird. Was KI-Detektoren neben Perplexität und Burstiness messen erklärt, worauf jedes Segment bewertet wird.

Zusammenfassend zu dem, was wir behandelt haben:

• Der Prozentsatz basiert auf qualifizierender Langform-Prosa und ist nicht unbedingt ein Prozentsatz der gesamten Einreichung.
• Ein Turnitin-Hilfe-Artikel listet Gedichte, Skripte und annotierte Bibliografien als Texttypen auf, die das Modell nicht zuverlässig erkennt.
• Für qualifizierte Dokumente von nur einigen hundert Wörtern sagt Turnitin, die Vorhersage werde meist alles-oder-nichts sein, weil es keine Überlappung gibt.
• Einreichungen mit weniger als 300 Wörtern qualifizierender Langform-Prosa erfüllen nicht die aktuellen Anforderungen für einen KI-Bericht oder Prozentsatz.
• Die FAQ rät Dozierenden, den Prozentsatz "zu berücksichtigen", wenn Text wenig strukturelle Variation aufweist oder sich wiederholt.
• Techniken des kreativen Schreibens wie bewusste Wiederholung und konsistente Stimme können Merkmalen entsprechen, die zu falsch-positiven Treffern neigen.

Wenn Sie einen Turnitin-Bericht zu einem kreativen Schreibstück erhalten und die markierten Passagen überarbeiten möchten, importieren Sie den Bericht und arbeiten Sie daran. Qualifizierte Passagen können kostenlos erneut durchlaufen werden.