Wegen KI markiert, obwohl Englisch nicht Ihre Muttersprache ist? Was die Dokumentation sagt

Wer Englisch nicht als Muttersprache spricht, kann für einen vollständig selbst geschriebenen Text eine KI-Markierung erhalten. Die FAQ von Turnitin sagt, die Trainingsdaten des Modells hätten „took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries" (statistisch unterrepräsentierte Gruppen wie Zweitsprachlerner sowie Menschen, die Englisch in nicht englischsprachigen Ländern verwenden, berücksichtigt) einbezogen, um Verzerrungen zu verringern. Das ist die Behauptung des Unternehmens selbst, nicht unabhängig geprüft. Der Detektor arbeitet weiterhin so, dass er Wahrscheinlichkeitsmuster von Wörtern in Fließtext klassifiziert. Das formelle akademische Schreiben, das Nicht-Muttersprachlern beigebracht wird, mit seinem Schwerpunkt auf festen Mustern und standardisierten Übergängen, kann Texte mit geringer struktureller Variation hervorbringen. Genau dieses Merkmal steht auf der Liste, die Turnitin selbst für fehlalarmgefährdete Texttypen führt. Eine Markierung bedeutet also nicht, dass Ihr Englisch zu gut oder zu maschinell wirkt. Sie bedeutet, dass das statistische Profil Ihres Textes mit Mustern überlappt, die das Modell mit KI verbindet.

Die FAQ spricht das Thema Verzerrung direkt an:

„While creating our sample dataset, we also took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments, and less common subject areas such as anthropology, geology, sociology, and others to minimize bias when training our model." (Bei der Erstellung unseres Beispieldatensatzes haben wir ebenfalls statistisch unterrepräsentierte Gruppen berücksichtigt – Zweitsprachlerner, Menschen, die Englisch in nicht englischsprachigen Ländern verwenden, Studierende an Hochschulen mit vielfältiger Studierendenschaft sowie seltenere Fachrichtungen wie Anthropologie, Geologie, Soziologie und andere –, um Verzerrungen beim Training unseres Modells möglichst gering zu halten.)

Das ist die Beschreibung, die Turnitin von der eigenen Trainingsmethodik gibt. Behauptet wird, dass fremdsprachiges Schreiben in den Trainingsdaten vertreten war. Was in dieser Behauptung fehlt, sind Zahlen, Testergebnisse oder eine externe Prüfung, wie gut das Modell bei fremdsprachigen Texten tatsächlich funktioniert. Die FAQ veröffentlicht keine Fehlalarmquoten, aufgeteilt nach Muttersprachlern und Nicht-Muttersprachlern. Behauptet wird also, dass vielfältige Daten verwendet wurden – wie wirksam dieses Vorgehen war, lässt sich anhand der öffentlichen Unterlagen nicht unabhängig messen.

Der Prüfablauf ist für alle Texte derselbe:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung herausgelöst und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt. Jeder in Frage kommende Satz innerhalb dieser Abschnitte übernimmt die Wertung des Abschnitts. Da die Abschnitte sich überlappen, können manche Sätze mehrere Wertungen erhalten, die dann zu einer einzigen zusammengefasst werden. Diese Satzwertungen werden weiter aggregiert und daraus der KI-Schreibwert des gesamten Dokuments berechnet.)

Der Detektor kennt Ihren sprachlichen Hintergrund nicht. Er liest Wortfolgen und ordnet sie ein. Wenn Ihre Schreibmuster, geprägt durch formellen Englischunterricht, Wortwahrscheinlichkeiten erzeugen, die mit dem überlappen, was das Modell als KI-Text gelernt hat, kann der Wert höher ausfallen, als Sie erwarten. Was KI-Detektoren jenseits von Perplexity und Burstiness messen erklärt, um welche Muster es dabei geht.

Die FAQ listet fehlalarmgefährdete Texte auf:

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Fehlalarme – also menschlich geschriebener Text, der irrtümlich als KI-generiert markiert wird – können Inhalte ohne große strukturelle Abwechslung betreffen, Texte, die sich wörtlich wiederholen, oder Texte, die umformuliert wurden, ohne neue Gedanken zu entwickeln.)

Der nächste Satz: „If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Zeigt unser Indikator bei einem solchen Text einen höheren Anteil KI-Schreibweise an, empfehlen wir Ihnen, dies bei der Betrachtung des ausgewiesenen Prozentwerts zu berücksichtigen.)

Im Englischunterricht für Nicht-Muttersprachler liegt der Schwerpunkt oft auf festen akademischen Mustern. Lernende üben Standardsatzbau, formelle Übergänge und gleichbleibende Absatzstrukturen. Das führt zu Texten mit genau jener Gleichförmigkeit, die die FAQ als fehlalarmgefährdet beschreibt. Die Überschneidung ist nicht beabsichtigt. Sie ergibt sich daraus, wie akademisches Englisch an Nicht-Muttersprachler vermittelt wird und wie der Detektor Texte charakterisiert. Ob die richtige Reaktion darin besteht, anders zu schreiben, ist eine eigene Frage: Sollten Sie Ihre Schreibweise ändern, um Markierungen zu vermeiden.

Die FAQ hält fest:

„Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Daher müssen wir betonen, dass der Prozentwert des KI-Schreibindikators nicht als alleinige Grundlage für Maßnahmen oder als endgültige Bewertungsgrundlage durch Lehrkräfte verwendet werden sollte.)

Wird Ihr selbst geschriebener Text markiert, haben Sie damit eine Grundlage für ein Gespräch mit Ihrer Lehrkraft. Sie können auf die Beschreibungen fehlalarmgefährdeter Texte in der FAQ verweisen, Ihren Schreibprozess erläutern und darauf hinweisen, dass der Wert nur ein einzelner Datenpunkt ist. Sie können auch auf die Behauptung zur Vielfalt der Trainingsdaten verweisen, dabei aber ehrlich sagen, dass sie keinen Schutz vor Fehlalarmen bedeutet. Markiert, aber selbst geschrieben zeigt, wie Sie diese Argumente zusammenstellen.

Zusammenfassung des bisher Gesagten:

• Turnitin behauptet, die Trainingsdaten hätten Zweitsprachlerner umfasst, nennt aber keine Zahlen, mit denen sich die Wirksamkeit prüfen ließe.
• Der Detektor liest Wortwahrscheinlichkeitsmuster, unabhängig vom sprachlichen Hintergrund.
• Formelles akademisches Schreiben, wie es bei Nicht-Muttersprachlern verbreitet ist, kann sich mit fehlalarmgefährdeten Merkmalen überschneiden.
• Die FAQ sagt, der Wert sollte nicht die alleinige Grundlage für Maßnahmen sein.
• Bei einer Markierung geben Ihnen Ihr Schreibprozess und die eigenen Fehlalarm-Beschreibungen der FAQ Anknüpfungspunkte für ein Gespräch.

Wenn Sie einen Turnitin-Bericht haben, aus dem hervorgeht, welche Passagen markiert wurden, importieren Sie den Bericht und arbeiten Sie an genau diesen Stellen. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.