Warum KI-Detektoren nicht-muttersprachliche Englischschreibende häufiger markieren

2023 testete eine Stanford-Gruppe – Liang, Yuksekgonul, Mao, Wu und Zou – sieben gängige GPT-Detektoren an zwei Aufsatzsammlungen. Die erste umfasste 91 TOEFL-Aufsätze aus einem chinesischen Bildungsforum, alle von Studierenden verfasst. Die zweite bestand aus 88 Aufsätzen amerikanischer Achtklässler aus dem ASAP-Datensatz der Hewlett Foundation. An beiden Sammlungen war keine KI beteiligt. Die Arbeit erschien in Patterns, einem Journal von Cell Press.

Bei den Aufsätzen der amerikanischen Achtklässler arbeiteten die Detektoren nahezu fehlerfrei. Bei den TOEFL-Aufsätzen lag die durchschnittliche Falsch-Positiv-Rate bei 61,22 %. Alle sieben Detektoren stuften einstimmig 18 der 91 Aufsätze (19,78 %) als KI-generiert ein, und 89 der 91 (97,80 %) wurden von mindestens einem Detektor markiert.

Genau dieser Kontrast ist das entscheidende Ergebnis. Dieselben sieben Tools schnitten bei den amerikanischen Achtklässler-Texten deutlich besser ab als bei den TOEFL-Aufsätzen. Das beweist keine allgemeine Fehlerrate für alle mehrsprachigen Schreibenden oder alle heute eingesetzten Detektoren. Es zeigt aber, dass eine vermeintlich hohe Gesamtgenauigkeit für bestimmte Schreibpopulationen ein wesentlich schlechteres Ergebnis verbergen kann.

Lesen Sie 61,22 % als Ergebnis für diese konkrete Stichprobe und diese sieben Detektoren aus dem Jahr 2023 – nicht als Ihre persönliche Wahrscheinlichkeit, markiert zu werden. Die Studie warnt vor ungleichen Fehlerraten, sie liefert keine Universalgültige Prognose.

Der Befund wurde kontrovers diskutiert. Ein Detektor-Anbieter wandte ein, 91 Aufsätze aus einem einzigen Studentenforum seien zu wenig und zu eng gefasst, um eine allgemeine Rate abzuleiten. Das sind reale Einschränkungen: Die Stichprobe ist eine Gelegenheitsstichprobe, die Vergleichsgruppen unterscheiden sich sowohl im Alter als auch im Sprachhintergrund, und die Detektor-Produkte haben sich seit 2023 weiterentwickelt. Die haltbare Schlussfolgerung ist daher enger als die Schlagzeile: Die Studie deckte eine erhebliche Diskrepanz auf, die Institutionen nicht einfach ignorieren dürfen.

Auch Institutionen sind aus Risikoperspektive zu derselben Vorsicht gelangt. Die Vanderbilt University deaktivierte im August 2023 den KI-Detektor von Turnitin. Sie wies darauf hin, dass selbst eine behauptete falsch-positive Rate von 1 % auf Dokumentebene bei rund 75.000 jährlich eingereichten Arbeiten eine erhebliche Überprüfungslast erzeugen würde. Diese Rechnung dient als Veranschaulichung, nicht als Vorhersage, dass genau 750 Studierende beschuldigt würden: Nicht jede Arbeit ist prüfungsfähig, die Grundrate ist unbekannt, und eine Markierung muss nicht zu einer Anschuldigung führen. Der Punkt ist: Kleine Prozentsätze erfordern im institutionellen Maßstab dennoch ein faires Verfahren.

Was würde die Evidenz stärken? Größere, vorregistrierte Studien sollten Schreibende über verschiedene Erstsprachen, Kompetenzstufen, Disziplinen und Aufgabentypen hinweg einbeziehen, altersangepasste Gruppen vergleichen, Ergebnisse pro Detektorversion veröffentlichen und sowohl falsch-positive als auch falsch-negative Befunde berichten. Eine pauschale Genauigkeitsangabe reicht nicht aus. Institutionen, die einen Einsatz erwägen, sollten prüfen, ob der Anbieter die tatsächliche Studierendenschaft evaluiert hat und ob Untergruppenergebnisse vorliegen – statt eine pauschale Rate aus einem anderen Korpus zu übernehmen.

Bei einem einzelnen Bericht entscheidet weder die Stanford-Zahl noch ein Anbieter-Benchmark den Fall. Die relevante Evidenz ist lokal: welcher Text die Kriterien erfüllt, wo die Markierungen liegen, welche Modellversion eingesetzt wurde, was die Aufgabe erlaubte und wie sich die Entwürfe der Studierenden entwickelt haben. Populationsstudien sagen einem Prüfer lediglich, welche systematischen Fehlerquellen ernst zu nehmen sind – sie ersetzen nicht die konkrete Prüfung der eingereichten Arbeit.

Frühe öffentliche Erklärungen von Detektor-Herstellern konzentrierten sich auf zwei statistische Merkmale: Perplexität und Burstiness. Moderne kommerzielle Systeme kombinieren zwar viele gelernte Signale, doch ihre Interna bleiben meist undurchsichtig. Diese beiden Begriffe helfen daher eher, das Problem zu verstehen, als dass sie jedes aktuelle Produkt vollständig beschreiben.

Perplexität misst, wie überraschend Ihre Wortwahl für ein Sprachmodell ist: Wenn das nächste Wort genau dem entspricht, was das Modell vorhergesagt hätte, ist die Perplexität niedrig. Burstiness erfasst, wie stark Satzlänge und Struktur innerhalb eines Textes variieren; gleichmäßig gebaute Sätze erzielen hier niedrige Werte.

In einem Detektor, der diese Merkmale nutzt, können niedrige Perplexität und geringe Variation dazu beitragen, dass ein Text als maschinell eingestuft wird. Diese Kennzahlen allein sind kein verlässlicher Test, und selbst derselbe Abschnitt kann je nach Referenzmodell unterschiedliche Perplexitätswerte aufweisen. Ein Klassifizierer muss letztlich alle verfügbaren Signale abwägen und einen Schwellenwert festlegen, ab dem er ein Ergebnis kennzeichnet.

Ein Detektor kann weder Urheberschaft noch Absicht direkt beobachten. Er analysiert lediglich Merkmale des eingereichten Textes und vergleicht sie mit Mustern, die aus Trainingsdaten gelernt wurden.

Für das Schreiben in einer Fremdsprache ist diese Unterscheidung entscheidend. Ein begrenzter Wortschatz, wiederkehrende Satzstrukturen und die strikte Nachahmung von Lehrbuchmodellen können Merkmale aufweisen, die auch bei generierten Texten auftreten. Ein besserer Klassifizierer könnte solche Fehler reduzieren, aber keine Architektur kann aus einer bloßen textlichen Ähnlichkeit direkt ableiten, wer den Text tatsächlich verfasst hat.

Auch der gewählte Schwellenwert spielt eine Rolle: Ein niedrigerer Wert erfasst mehr generierte Texte, lässt aber auch mehr menschliche Texte durch; ein höherer Wert kehrt diesen Effekt um. Eine beworbene Genauigkeitsangabe bezieht sich immer auf einen bestimmten Datensatz und einen bestimmten Betriebspunkt. Sie garantiert keine gleichbleibende Leistung über verschiedene Sprachniveaus, Fachbereiche, Textlängen oder spätere Modellversionen hinweg.

Die Studie beschränkt sich nicht auf den Vergleich zweier Gruppen. Die Forschenden manipulierten die Sprache in beide Richtungen, während die ursprünglichen Aufsätze und ihre Argumente unverändert blieben. Das macht den vorgeschlagenen Mechanismus überzeugender, obwohl das Vokabular nicht von allen anderen stilistischen Änderungen isoliert werden kann, die vom Modell vorgenommen wurden.

Richtung eins: Die Forschenden baten GPT-4, die Wortwahl der TOEFL-Aufsätze zu bereichern, die einstimmig als KI-generiert markiert worden waren. Die Perplexität stieg signifikant (P = 9.36E-05), und die Anzahl der einstimmig erkannten Aufsätze fiel von 18 auf nur noch 1 von 91 (1,10 %). Dieselben Autorinnen, dieselben Argumente, dieselben Texte – lediglich das Vokabular wurde verändert.

Richtung zwei, die aussagekräftigere: Sie nahmen die Aufsätze der amerikanischen Achtklässler, die von den Detektoren nahezu fehlerfrei bewertet worden waren, und forderten ChatGPT auf, "word choices to simplify as if written by a non-native speaker" (die Wortwahl zu vereinfachen, als wäre sie von einer nicht-muttersprachlichen Person geschrieben). Die Fehlklassifizierungsrate sprang von durchschnittlich 5,19 % auf 56,65 %.

Die Urheberschaft der zugrundeliegenden Texte blieb unverändert, doch die Klassifizierungen änderten sich. Die Intervention stützt somit eine kausale Rolle der Oberflächenmerkmale – insbesondere der lexikalischen Variation – und nicht etwa die Annahme, dass dem Detektor eine demografische Kennzeichnung somehow zugänglich wäre. Da GPT-4 und ChatGPT jedoch auch Syntax, Rhythmus und Formulierung verändern können, wäre es zu weit gegriffen zu behaupten, das Experiment beweise, dass Vokabular die einzige Ursache sei.

Die Autorinnen des Papers schließen, dass Detektoren "writers with constrained linguistic expressions unintentionally penalize" (Schreibende mit eingeschränkten sprachlichen Ausdrucksmöglichkeiten unbeabsichtigt benachteiligen können), und warnen davor, sie überhaupt in bewertenden oder Bildungskontexten einzusetzen.

Dieses Ergebnis erklärt auch, warum die Aufforderung an mehrsprachige Schreibende, formeller zu klingen, nach hinten losgehen kann. Akademischer Rat belohnt oft Standardübergänge, konservatives Vokabular und einheitliche Satzstrukturen. Diese Entscheidungen mögen für Klarheit angemessen sein, doch sie reduzieren genau die Variation, die ältere statistische Detektoren als menschliches Merkmal werteten. Die Lösung besteht nicht darin, dekoratives Vokabular in einen Text zu zwingen, sondern darin, den Detektor nicht als Urheberschaftstest zu behandeln.

Derselbe Artikel berichtet über etwas, das jede Verwendung dieser Scores als Evidenz erschwert. Das Team generierte Aufsätze mit ChatGPT-3.5 – Detektoren erkannten sie zuverlässig. Dann wandten sie einen einzigen Selbstbearbeitungs-Prompt an, "elevate the provided text by employing literary language" (den bereitgestellten Text durch Verwendung literarischer Sprache zu erhöhen), und die Erkennungsrate fiel von 100 % auf 13 %.

Dies wird hier nicht als Technik angeboten. Es wird als Tatsache über das Instrument angeführt: Ein Messwert, den eine einzeilige Prompt um 87 Prozentpunkte verschiebt, ist eine schwache Grundlage für eine Beschuldigung. Deshalb kann niemand ehrlich ein bestimmtes Detektorergebnis garantieren. Wir tun es auch nicht.

Zwei Grenzen gelten für dieses Ergebnis: Erstens beschreibt es die sieben Detektoren und Modellausgaben von 2023, nicht jedes Produkt im Jahr 2026. Zweitens sind Robustheit gegenüber Umgehung und Fairness gegenüber menschlichen Schreibenden unterschiedliche Eigenschaften – ein Detektor kann schwerer zu umgehen sein und dennoch ungleiche Fehlalarme aufweisen. Jede aktuelle Evaluation sollte beide Aspekte auf den Populationen und Schreibgenres testen, in denen der Score tatsächlich verwendet wird.

Ein Detektor kann für die Triage nützlich sein, ohne zuverlässig genug für eine Entscheidung zu sein. Je höher die Konsequenz, desto mehr unabhängige Evidenz und prozedurale Überprüfung sind erforderlich.

Nichts davon ist ein Ratschlag, wie man einen Detektor umschreibt. Es ist das, was zu tun ist, wenn eine Statistik als Beweis über einen gelesen wird.

• Bewahren Sie Ihre Entwürfe auf – ab sofort. Speichern Sie Versionsverläufe in Word oder Google Docs, Gliederungsdateien, Leseprotokolle und Betreuer-Feedback. Diese Artefakte zeigen, wie sich die Arbeit im Laufe der Zeit entwickelt hat; sie sind stärkere Beweise als ein konkurrierender Detektor-Score.
• Fragen Sie nach dem vollständigen Bericht, nicht nach der Schlagzeilen-Prozentzahl. Abschnitt-Markierungen können zeigen, ob Markierungen in Methoden, Definitionen oder Hintergrund clustern – Abschnitte, die konventionelle Sprache erfordern. Beschreiben Sie sie nicht als Abschnitt-Ebene-Wahrscheinlichkeiten, es sei denn, der Bericht bietet diese tatsächlich.
• Fragen Sie, wie die Zahl verwendet wird. Fordern Sie die relevante Kurs- oder Institutionsrichtlinie, den Detektor und die Version sowie die über den Score hinaus berücksichtigten Beweise an. Viele Institutionen behandeln eine Markierung als Grund zum Hinsehen, nicht als Feststellung.
• Bearbeiten Sie für Bedeutung und Eigentum. Ersetzen Sie Formulierungen, die Sie nicht natürlich verwenden würden, überprüfen Sie jede Behauptung und Zitation und stellen Sie sicher, dass Sie das Argument erklären können. Verzerren Sie keine klare Prosa nur, um Satz-Längen-Variation zu erzeugen.

Wenn ein formeller Prozess begonnen hat, bewahren Sie die eingereichte Datei unverändert auf und arbeiten Sie von einer Kopie. Schreiben Sie eine einfache Zeitleiste auf: Wann Sie recherchiert, entworfen, Feedback erhalten und überarbeitet haben. Bitten Sie um genügend Zeit, um die Beweise zu überprüfen, und bringen Sie einen Berater oder Studierendenvertreter mit, wo die Regeln dies erlauben. Der separate Leitfaden zur Vorbereitung einer Antwort auf eine falsche Markierung behandelt diesen Prozess im Detail.

Wenn Sie Lehrkraft sind, warten Sie nicht, bis eine Studierende die Bias-Frage aufwirft. Definieren Sie im Voraus, wer eine Markierung überprüft, welche Bestätigung erforderlich ist, wie Sprachhintergrund und Behinderung berücksichtigt werden und wie die Studierende den zugrundeliegenden Bericht erhält. Ein Werkzeug kann nur dann optionale Triage sein, wenn der menschliche Prozess in der Lage ist, ihm zu widersprechen.