Schlägt ein KI-Detektor an, wenn Englisch nicht Ihre Erstsprache ist? Was der 0-von-914-Test von GPTZero zeigt

Für zwei Detektoren und bei einer bestimmten Art von Aufsätzen fallen die neuesten Zahlen sehr niedrig aus. GPTZero gibt an, dass sein aktuelles Modell GPTZero 4o alle 914 Aufsätze von Englischlernenden in einem Testdatensatz, auf dem es nicht trainiert wurde, als von Menschen geschrieben eingestuft hat. Ein am selben Tag veröffentlichter Preprint von Forschenden der University of Maryland, Google DeepMind und der Simon Fraser University untersuchte Pangram 4 an 3.909 Aufsätzen von Englischlernenden und markierte 0,0 % davon. Beide Datensätze stammen von US-amerikanischen Sekundarschülern, und keine der beiden Studien hat Turnitin untersucht.

Lesen Sie diese Null mit ihren Einschränkungen. GPTZero hat seinen Test selbst durchgeführt und veröffentlicht; ein Ergebnis von 0 aus 914 ist statistisch immer noch mit einer tatsächlichen Fehlerquote von bis zu etwa 1 zu 300 vereinbar. Es entkräftet auch nicht die Stanford-Studie von 2023, die diese Besorgnis begründet hat: Damals stufte die im März 2023 verfügbare Version von GPTZero 52 % von 91 TOEFL-Aufsätzen als KI ein, von denen jeder einzelne unter 150 Wörtern lag. Modell, Aufsätze und Textlänge unterscheiden sich grundlegend, sodass sich die beiden Ergebnisse nicht widersprechen. Keines davon ist ein Garantieversprechen für Ihren eigenen Aufsatz.

Der Beitrag trägt den Titel "Biased Against ESL and Students with Disabilities? We Put GPTZero 4o to the Test" (Voreingenommen gegenüber Englischlernenden und Schülern mit Behinderungen? Wir haben GPTZero 4o auf die Probe gestellt), verfasst von Anna Gao und am 5. Oktober 2026 im Blog von GPTZero erschienen. GPTZero kündigte 4o am 24. September an und gibt an, dass es seit dem 20. September das Standardmodell für alle Nutzer ist.

Die Aufsätze stammen aus PERSUADE 2.0, einem Forschungskorpus mit mehr als 25.000 argumentativen Aufsätzen von US-Schülern der Klassen 6 bis 12, der zur Verbesserung automatisierten Schreibfeedbacks erstellt wurde. Jeder Aufsatz enthält Metadaten über die Verfassenden, darunter Angaben dazu, ob der Schüler als Englischlernender eingestuft war und ob ein IEP oder ein Section-504-Plan vorlag (US-amerikanische Förderpläne für Schüler mit Behinderungen). Version 2.0 ergänzt die erstmals als PERSUADE 1.0 veröffentlichten Aufsätze um Bewertungen. In Version 1.0 wurden nur Aufsätze mit mindestens 150 Wörtern aufgenommen, bei denen mindestens 75 % der Wörter korrekt geschrieben waren; der Durchschnitt liegt bei 402 Wörtern. PERSUADE 1.0 wurde im Oktober 2022 in einer Fachzeitschrift publiziert – also vor der Veröffentlichung von ChatGPT durch OpenAI am 30. November 2022 –, sodass keiner dieser Aufsätze mit ChatGPT verfasst worden sein kann.

GPTZero untersuchte Aufsätze aus dem, was es als "PERSUADE2.0's official held-out test split, which GPTZero 4o was not trained on." (offizieller, zurückgehaltener Testdatensatz von PERSUADE 2.0, auf dem GPTZero 4o nicht trainiert wurde) bezeichnet. Darunter befanden sich 914 Aufsätze von Englischlernenden und 1.172 von Schülern mit einem IEP- oder 504-Plan, wovon 147 Aufsätze in beide Gruppen fielen. GPTZero 4o stufte jeden einzelnen davon als von Menschen geschrieben ein. In den Grafiken des Beitrags liegen alle 914 Aufsätze der Englischlernenden im obersten Balken der Skala für die Wahrscheinlichkeit menschlichen Ursprungs („Human probability"), und bei den 147 Schülern aus beiden Gruppen lag der niedrigste Wert bei 0,997.

Zwei Dinge verschweigt der Beitrag: Er nennt nicht den Schwellenwert, ab dem ein Aufsatz als „von Menschen geschrieben" gilt. Und er lässt offen, ob der restliche Teil von PERSUADE in das Training von 4o eingeflossen ist. Dieser Trainingsdatensatz ist seit dem Kaggle-Wettbewerb „Feedback Prize 2021" öffentlich zugänglich und stammt aus demselben Korpus argumentativer Schüleraufsätze der US-Klassen 6 bis 12. Der zurückgehaltene Testdatensatz ist daher ein aussagekräftiger Prüfstein für Aufsätze dieser Art – für einen universitären Laborbericht ist seine Aussagekraft jedoch deutlich schwächer.

Zudem handelt es sich um einen Test von GPTZero im eigenen Haus, an einem selbst ausgewählten Datensatz, veröffentlicht im firmeneigenen Blog – ohne Verlinkung auf Code oder die bewerteten Aufsätze. Das macht die Zahlen nicht falsch. Es bedeutet aber, dass Sie hier die Darstellung eines Unternehmens über das eigene Produkt lesen; und GPTZero selbst bezeichnet das Ergebnis als "a great milestone; however, it is not a finish line." (ein wichtiger Meilenstein, aber noch keine Ziellinie).

Null aus 914 ist eine bloße Anzahl und legt keine feste Quote fest. Bei 914 Aufsätzen ohne ein einziges falsch-positives Ergebnis könnte die tatsächliche Rate immer noch bei bis zu rund 0,33 % liegen – also bei etwa 1 von 300. Das ist die übliche 95-%-Obergrenze (Konfidenzintervall), wenn ein Ereignis bei 914 Versuchen nullmal auftritt. Das ist niedrig, aber eben nicht null.

Die zweite Einschränkung ist weniger offensichtlich. Im Ankündigungsbeitrag zu 4o berichtete GPTZero von "only 1 false positive out of 10,402 essays" (nur 1 falsch-positives Ergebnis bei 10.402 Aufsätzen) im PERSUADE-Testset. Dieser Testdatensatz umfasst insgesamt 10.402 Aufsätze – es ist also genau derselbe Pool, aus dem auch die 914 stammen. Nach unserer Berechnung würde man, wenn Englischlernende genauso oft wie alle anderen fälschlich markiert würden, etwa 0,09 falsch-positive Ergebnisse unter 914 Aufsätzen erwarten; man würde also fast jedes Mal eine Null sehen. Selbst wenn sie zehnmal so häufig markiert würden, läge das Ergebnis in mindestens vier von zehn Fällen immer noch bei null.

Ein Ergebnis von 0 aus 914 kann somit nicht belegen, dass Englischlernende und andere Lernende gleichbehandelt werden: Eine Stichprobe dieser Größe kann diese beiden Fälle statistisch schlichtweg nicht unterscheiden. Was der Test zeigt, ist lediglich, dass die Falsch-Positiv-Rate bei diesen spezifischen Aufsätzen für alle Beteiligten sehr niedrig war – einschließlich der Englischlernenden.

Die zweite Datenreihe findet sich im Anhang von "IdeaLens: Detecting AI Ideas in Long-form Writing" (IdeaLens: Erkennung von KI-Ideen in längeren Texten), einem Preprint von Rishanth Rajendhran und sieben weiteren Autoren, der am 5. Oktober 2026 auf arXiv veröffentlicht wurde. Die Arbeit befasst sich in erster Linie mit einem eigenen Forschungsdetektor der Autoren. Der kommerzielle Detektor Pangram 4 war eines der Vergleichswerkzeuge für 19 Datensätze gewöhnlicher, von Menschen verfasster Texte. Pangram hat den Test nicht selbst durchgeführt; die Autoren bedanken sich in der Arbeit jedoch für ein Forschungsguthaben, und die Arbeit wurde noch keinem Peer-Review unterzogen.

Einer dieser 19 Datensätze ist ELLIPSE, ein Korpus von rund 6.500 Aufsätzen von Englischlernenden der Klassen 8 bis 12. Jeder dieser Texte wurde bei jährlichen bundesstaatsweiten Prüfungen in den USA innerhalb von 25 bis 30 Minuten am Computer verfasst. Geschulte Bewerter benoteten jeden Aufsatz auf einer Skala von 1 bis 5 für die Englischkompetenz, wobei 1 für begrenzte Fähigkeiten steht und 5 für "native-like facility" (muttersprachnahe Gewandtheit). Die Studie nutzte 3.909 davon. Bei unserer Überprüfung stimmte diese Zahl sowie deren Aufteilung nach Klassenstufe und Punktwert bis auf ein oder zwei Aufsätze mit der öffentlich zugänglichen Trainingsdatei des Korpus überein (diese enthält 3.911 Aufsätze). Rund 70 % der 3.909 Texte umfassen weniger als 500 Wörter.

Die Autoren stufen einen Text dann als KI ein, wenn der von Pangram ermittelte KI-Anteil plus die Hälfte des Anteils für „KI-unterstützt" zusammen mindestens die Hälfte ausmachen. Nach dieser Regel markierte Pangram 0,0 % der 3.909 Aufsätze. Der Wert ist auf eine Nachkommastelle gerundet, was rein rechnerisch höchstens einen einzigen Aufsatz zulässt. In der von den Autoren veröffentlichten Ergebnisdatei lag der Wert ebenfalls in jeder Kompetenzstufe bei 0,0 %, wenngleich die Stufen sehr ungleich besetzt sind: Die niedrigste umfasst 8 Aufsätze, die höchste 28, während die Stufen 2, 3 und 4 jeweils mehr als tausend Texte enthalten.

Hier ist ein Abgleich mit der Basisrate tatsächlich möglich, da dieselbe Arbeit Pangrams Ergebnisse bei gewöhnlichen menschlichen Texten im Allgemeinen ausweist. Gemittelt über alle 19 Auswertungen markierte Pangram 0,3 % der von Menschen geschriebenen Dokumente. Dieser Durchschnitt geht im Wesentlichen auf zwei Datensätze zurück: einen gemischten Benchmark menschlicher Texte und eine Reihe von Fachgutachten zu Forschungsanträgen. Bei 15 der 19 Datensätze – darunter ELLIPSE – lag das Ergebnis bei 0,0 %. Die übrigen Datensätze reichen von Peer-Reviews bis hin zu Webseiten; dieser Vergleich stellt die Lernenden also Pangrams generellem Verhalten bei menschlichen Texten gegenüber, nicht ihren muttersprachlichen Mitschülern. Das ist der direkteste Anhaltspunkt beider neuer Tests für die Frage, ob Englischlernende häufiger markiert werden als andere Schreibende. Bei Pangram und anhand dieser Aufsätze war das nicht der Fall.

Dies ist kein Ranking. Jede Zeile stellt einen anderen Detektor oder eine andere Version dar, jeweils mit einer eigenen Definition davon, was „als KI markiert" bedeutet, und angewendet auf unterschiedliche Autorengruppen. Die Wortanzahlen in der ersten Zeile stammen aus unserer eigenen Auszählung der Aufsätze, die das Stanford-Team zusammen mit dem Code veröffentlicht hat. Wir haben diese Studie in Warum nicht-muttersprachliche englische Texte häufiger von KI-Detektoren markiert werden und Turnitins Untersuchung in Turnitin hat den eigenen Detektor auf Verzerrungen bei Englischlernenden getestet ausführlich behandelt. Die Zeile zu Turnitin beschreibt das Modell von 2023; seitdem hat Turnitin seinen Detektor überarbeitet.

Auf Basis dieser Belege lässt sich das nicht behaupten. Die Zahlen von 2026 sind zwar real, aber sie decken ein deutlich enger gefasstes Szenario ab als die Gesamtheit aller „Englischlernenden".

• Textlänge. Jeder Aufsatz im Stanford-Datensatz umfasste weniger als 150 Wörter. Turnitins Test aus dem Jahr 2023 ergab, dass die Kluft zwischen Lernenden und Muttersprachlern bei Texten zwischen 150 und 300 Wörtern noch größer war. Die beiden neuen Datensätze liegen größtenteils deutlich darüber: Aufsätze in PERSUADE haben im Schnitt 402 Wörter, und 30 % der ELLIPSE-Texte umfassen 500 Wörter oder mehr. Die extrem kurzen Texte hinter den alarmierenden Zahlen von 2023 wurden in den Tests von 2026 also gar nicht untersucht.
• Niveau. Bei beiden neuen Datensätzen handelt es sich um Texte aus der Sekundarstufe. Die Texte der Lernenden bei Turnitin im Jahr 2023 stammten zwar tatsächlich von Studierenden (in seiner Datensatztabelle sind beide Lernendenkorpora als "higher ed" (Hochschulbereich) gekennzeichnet); nach eigener Beschreibung handelte es sich jedoch größtenteils um kurze argumentative oder informative Schreibaufgaben, und fast alle muttersprachlichen Verfasser in der 300-Wörter-Gruppe waren US-Sekundarschüler. Turnitin hielt zudem fest: "A comparable collection of publicly available full-length university level documents from L2 and L1 writers was not available for this evaluation." (Eine vergleichbare Sammlung öffentlich zugänglicher Dokumente in voller Länge auf Universitätsniveau von L2- und L1-Schreibenden stand für diese Evaluierung nicht zur Verfügung.)
• Schreibende mit den geringsten Kenntnissen sind kaum vertreten. PERSUADE sortierte Aufsätze mit zu vielen Rechtschreibfehlern aus, und die niedrigste Kompetenzstufe von ELLIPSE umfasst gerade einmal 8 Aufsätze.
• Turnitin. In den FAQ zur KI-Erkennung gibt Turnitin an, im Juli 2026 ein Ensemble mehrerer Modelle zu einem einzigen Modell zusammengeführt zu haben. Die Antwort auf die Frage nach möglichen Verzerrungen beschreibt lediglich, wie die Trainingsdaten ausgewählt wurden – ohne jegliche Zahlen. Im Text der FAQ tauchen „English learner", „ESL", „L2" und „native" jeweils 0-mal auf, und die vier Erwähnungen von „second language" enthalten keinerlei Zahlenangaben.
• Versionen. GPTZero 4o ist erst seit dem 20. September das Standardmodell. Die Veröffentlichung nennt kein genaues Datum, an dem Pangram die Aufsätze ausgewertet hat. Beide Detektoren werden fortlaufend aktualisiert.

Ein faires Fazit fällt deutlich nüchterner aus als die Schlagzeilen: Im Herbst 2026 stuften zwei Detektoren Aufsätze von einigen hundert Wörtern, verfasst von US-Sekundarschülern, so gut wie nie als KI ein.

1. Bringen Sie in Erfahrung, welcher Detektor wann verwendet wurde. Diese Zahlen gelten spezifisch für GPTZero 4o und Pangram 4. Wenn Ihre Bildungseinrichtung Turnitin einsetzt oder die Prüfung mit GPTZero vor dem 20. September 2026 stattfand, lassen sich diese Ergebnisse nicht übertragen.
2. Verlangen Sie den vollständigen Prüfbericht und nicht nur ein pauschales Urteil oder einen Prozentwert. Sie müssen genau sehen können, welche Textstellen markiert wurden und wie hoch der jeweilige Wert war.
3. Weisen Sie darauf hin, wenn der beanstandete Text kurz ist. Die älteren Studien stießen vor allem bei kurzen Texten auf Probleme, und Turnitins eigener Bericht weist bei weniger als 300 Wörtern an Fließtext gar keinen KI-Prozentsatz aus. Eine Markierung bei einem kurzen Diskussionsbeitrag stützt sich auf eine ungleich geringere Textbasis als bei einer vollständigen Seminararbeit.
4. Bewahren Sie Ihre Entwürfe sorgfältig auf. Frühere Versionen, Notizen, gelesene Quellen und der Versionsverlauf sind handfeste Belege für Ihre eigene Arbeit. Die Fehlerquote einer Studie anhand fremder Aufsätze ist das nicht. So sichern Sie den Versionsverlauf in Word, Google Docs und Overleaf erklärt, mit welchen Einstellungen der Verlauf wirklich zuverlässig gespeichert bleibt.
5. Zitieren Sie die Studien präzise, falls Sie diese anführen. Wenn GPTZero bei Ihnen angeschlagen hat, können Sie berechtigterweise darauf verweisen, dass GPTZeros eigener veröffentlichter Test alle 914 Aufsätze von Englischlernenden als menschlich eingestuft hat. Nutzen Sie dies als Argument dafür, dass man Ihre Entwürfe prüfen soll – nicht als endgültigen Beweis. Ein Test an 914 Schüleraufsätzen kann nicht abschließend klären, was bei Ihrem Text passiert ist.

Bedeutet das, dass Turnitin meine Arbeit nicht markieren wird? Das können diese Studien nicht beantworten. Turnitins eigene Evaluierung von 2023 stellte bei Texten von Englischlernenden ab 300 Wörtern eine Markierungsrate von 1,4 % fest (nahe an den 1,3 % bei muttersprachlichen Schreibenden) – allerdings mit einem Modell, das seither ersetzt wurde. Die aktuellen FAQ von Turnitin enthalten keinerlei Zahlenangaben zu Englischlernenden.

Ich studiere an einer Universität. Gelten diese Ergebnisse auch für mich? Allenfalls sehr eingeschränkt. Bei beiden Datensätzen aus dem Jahr 2026 handelt es sich um Aufsätze von US-Schülern: Unterrichtsaufgaben bei PERSUADE und 25- bis 30-minütige Testaufsätze bei ELLIPSE. Eine universitäre Literaturübersicht ist deutlich länger, fachlich anspruchsvoller und entsteht über Wochen hinweg. Die Daten, die Ihrer Situation am nächsten kommen, stammen aus der Turnitin-Evaluierung von 2023, deren Texte von Lernenden auf Universitätsniveau stammten – allerdings meist aus kurzen Schreibaufgaben: Bei Texten ab 300 Wörtern wurden 1,4 % markiert, wiederum mit einem Modell, das Turnitin inzwischen ausgetauscht hat.

Sollte ich mein Englisch einfacher oder geschliffener formulieren, um eine Markierung zu vermeiden? Aus diesen Ergebnissen lässt sich nichts dergleichen ableiten. Im Pangram-Test lagen die Aufsätze der Kompetenzstufen 2, 3 und 4 (jeweils über tausend Texte) ausnahmslos bei 0,0 %, und das Gleiche galt für die verschiedenen Bewertungsbereiche bei Grammatik und Wortschatz in der Ergebnisdatei der Autoren. Das ist zwar nur ein einzelner Detektor, aber es gibt keinen Grund, sich einen unnatürlichen Schreibstil anzueignen.

Wie sieht es bei Lernenden mit Behinderungen aus? Derselbe Blogbeitrag von GPTZero berichtet, dass 4o alle 1.172 Aufsätze von Schülern mit einem IEP- oder 504-Plan als von Menschen verfasst eingestuft hat. Hier gelten dieselben Einschränkungen: ein Herstellertest im eigenen Haus, Texte von Schülern und eine Zahl von null, die rechnerisch immer noch eine geringe tatsächliche Fehlerquote zulässt.

• Anna Gao, Biased Against ESL and Students with Disabilities? We Put GPTZero 4o to the Test, GPTZero, 5. Oktober 2026 (Text und die fünf Abbildungen auf der Seite); GPTZero Team, Introducing GPTZero 4o, 24. September 2026; beide abgerufen am 7. Oktober 2026.
• Rishanth Rajendhran, Minjoon Choi, Jenna Russell, Ramya Namuduri, Deniz Bölöni-Turgut, Marzena Karpinska, John Wieting und Mohit Iyyer, IdeaLens: Detecting AI Ideas in Long-form Writing, arXiv:2610.06778v1, 5. Oktober 2026 (Anhang E.3, Abschnitt G.1, Tabelle 17) sowie die ELLIPSE-Ergebnisdatei der Autoren; abgerufen am 7. Oktober 2026.
• Scott Crossley und Kollegen, A large-scale corpus for assessing written argumentation: PERSUADE 2.0, Assessing Writing 61 (2024), Preprint; The persuasive essays for rating, selecting, and understanding argumentative and discourse elements (PERSUADE) corpus 1.0, Assessing Writing 54 (2022); abgerufen am 7. Oktober 2026.
• Scott Crossley und Kollegen, The English Language Learner Insight, Proficiency and Skills Evaluation (ELLIPSE) Corpus, International Journal of Learner Corpus Research 9(2), 2023, Preprint und Korpus-Dateien; abgerufen am 7. Oktober 2026.
• OpenAI, ChatGPT: Optimizing Language Models for Dialogue, 30. November 2022 (Kopie im Internet Archive vom 2. Dezember 2022); abgerufen am 7. Oktober 2026.
• Weixin Liang, Mert Yuksekgonul, Yining Mao, Eric Wu und James Zou, GPT detectors are biased against non-native English writers, arXiv:2304.02819v3 (Abbildung 1a sowie Materials and Methods; veröffentlicht in Patterns, 2023) und das Daten-Repository der Autoren; abgerufen am 7. Oktober 2026.
• David Adamson, New research: Turnitin's AI detector shows no statistically significant bias against English Language Learners, Turnitin, 26. Oktober 2023 (Text und Abbildung der Ergebnistabelle); Turnitin, AI writing detection capabilities FAQs und Using the AI Writing Report; abgerufen am 7. Oktober 2026.