Markiert Turnitin englische Texte von Nicht-Muttersprachlern? Eine Studie aus dem Jahr 2026

In dieser Studie kam dies zeitweise vor – und zwar in etwa derselben Häufigkeit wie bei BBC-Nachrichtenartikeln. Von 48 Aufsätzen von Studierenden mit Englisch als Fremdsprache (EFL), die alle vor August 2022 verfasst wurden, stufte Turnitin 4 mit einem Wert von über 20 % ein – ebenso wie Originality. Bei 48 professionell verfassten BBC-Nachrichtentexten bewertete Turnitin 3 mit über 20 % und Originality keinen einzigen. Die Autoren stellten bei Turnitin keinen statistisch signifikanten Unterschied zwischen beiden Gruppen fest, bei Originality hingegen eine Tendenz an der Grenze zur Signifikanz. Beide Detektoren schnitten bei Texten, die zur Hälfte von Menschen und zur Hälfte von KI stammten, schlecht ab.

Die Studie trägt den Titel „Evaluating the accuracy and reliability of AI content detectors in academic contexts“ (Bewertung der Genauigkeit und Zuverlässigkeit von KI-Inhaltsdetektoren im akademischen Kontext), verfasst von Mohammad Hadra, Karleen Cambridge und Mostefa Mesbah von der Sultan Qaboos University, und erschien am 2. Februar 2026 als Open-Access-Publikation im International Journal for Educational Integrity. Die Autoren erklären, dass keine konkurrierenden Interessen vorliegen.

Sie stellten 192 Texte in vier Gruppen zu je 48 Texten zusammen:

• EFL-Studierendenarbeiten. Abschlussarbeiten aus den Kursen „English for Sciences“ des universitären Vorbereitungsprogramms (Foundation Program), alle eingereicht vor August 2022 – also bevor Werkzeuge wie ChatGPT für Studierende verfügbar waren.
• Professionelle Texte. Artikel aus XSum, einem Forschungsdatensatz bestehend aus BBC-Nachrichtenbeiträgen.
• KI-generierte Texte. Texte, die von zwei großen Sprachmodellen zu ähnlichen Themenstellungen wie die studentischen Aufsätze erstellt wurden.
• Hybride Texte. Jeweils etwa zur Hälfte aus studentischen EFL-Texten und KI-generierten Texten zu einem Gesamtdokument zusammengefügt.

Die Texte umfassten 300 bis 1.100 Wörter, und 135 der 192 Texte behandelten naturwissenschaftliche Themen. Die Detektoren wurden zwischen Januar und Mai 2025 getestet. Die Bewertungen jedes Detektors wurden in drei Kategorien eingeteilt: 0 bis 20 % galten als menschlich verfasst (Human), 21 bis 79 % als Hybrid und 80 % oder mehr als KI.

Bei Turnitin war der Unterschied zwischen den studentischen Aufsätzen und den Nachrichtentexten statistisch nicht signifikant (p = 0.50). Die Autoren schreiben, dass dies „suggests that Turnitin did not exhibit measurable bias against EFL writers within this dataset.“ (darauf hindeutet, dass Turnitin bei diesem Datensatz keine messbare Verzerrung gegenüber EFL-Schreibenden aufwies). Originality stufte jeden Nachrichtentext korrekt ein, lag jedoch bei vier studentischen Aufsätzen falsch – ein Unterschied, den die Autoren als grenzwertigen Trend beschreiben (einseitiger p-Wert = 0.058), der in dieselbe Richtung weist wie frühere Forschungsergebnisse zur Verzerrung von Detektoren gegenüber nicht-muttersprachlichen Autoren.

Betrachten Sie diese Zahlen im Zusammenhang mit dem Umfang der Untersuchung. Vier von 48 Aufsätzen entsprechen etwa einem von zwölf. Das ist keineswegs null – und ein Wert von über 20 % ist genau das Ergebnis, bei dem Studierende um eine Stellungnahme gebeten werden können. Zudem handelt es sich hierbei um einen Vergleich mit journalistischen Beiträgen und nicht mit wissenschaftlichen Arbeiten von englischen Muttersprachlern.

Bei den Texten, die zur Hälfte von Menschen und zur Hälfte von KI stammten, scheiterten beide Detektoren größtenteils daran, sie in die mittlere Kategorie einzuordnen. Turnitin platzierte 31 % davon in dieser Gruppe, Originality lediglich 2 %. Nach Einschätzung der Autoren deutet dies darauf hin, dass die Detektoren „appear calibrated primarily for binary distinctions (AI vs. Human) and struggle to identify partial or mixed AI involvement.“ (anscheinend primär auf binäre Unterscheidungen [KI vs. Mensch] kalibriert sind und Schwierigkeiten haben, eine teilweise oder gemischte KI-Beteiligung zu erkennen).

Die Gesamtgenauigkeit über alle vier Gruppen hinweg lag bei 0.61 für Turnitin und bei 0.69 für Originality.

Beide Detektoren arbeiteten bei naturwissenschaftlichen Texten deutlich ungenauer als bei geisteswissenschaftlichen Arbeiten:

Diese Zahlen erfassen alle vier Gruppen zusammen und messen daher Fehler in alle Richtungen – nicht nur menschliche Texte, die als KI eingestuft wurden. Die Autoren vermuten, dass typische Merkmale wissenschaftlicher Texte „such as lexical density, technical terminology, and formulaic sentence structure, may be more difficult for detectors to distinguish from AI-generated text.“ (wie etwa lexikalische Dichte, Fachterminologie und formelhafte Satzstrukturen, für Detektoren möglicherweise schwerer von KI-generiertem Text zu unterscheiden sind).

Eine andere Studie aus dem Jahr 2026, die Pangram und GPTZero anhand veröffentlichter Abstracts untersuchte, stellte fest, dass neuere politikwissenschaftliche und theologische Abstracts häufiger als KI markiert wurden als Texte aus der Chemie oder Informatik. Jene Studie untersuchte jedoch eine andere Fragestellung mit anderen Detektoren, worüber wir in Wird durch KI überarbeiteter Text als KI markiert? berichten. Beide Ergebnisse zusammengenommen ergeben keine feste Regel darüber, welche Fachgebiete sicherer sind.

Auch die Textlänge spielte eine Rolle, wenn auch nicht linear. Über alle vier Gruppen hinweg arbeiteten beide Detektoren bei den kürzesten Texten (300 bis 330 Wörter) am genauesten und bei der mittleren Textlänge (450 bis 550 Wörter) am ungenauesten: Für kurze, mittlere und lange Texte erzielte Turnitin Genauigkeiten von 0.87, 0.56 und 0.68, Originality kam auf 0.96, 0.63 und 0.84.

• Nur zwei Detektoren, getestet Anfang 2025. Untersucht wurden ausschließlich Turnitin und Originality im Zeitraum zwischen Januar und Mai 2025 – und Detektoren verändern sich durch Software-Updates stetig.
• Nur eine Studierendengruppe. Die EFL-Aufsätze stammten aus einem einzigen Vorbereitungsprogramm an einer einzigen Universität.
• Nachrichten statt wissenschaftlicher Texte als Vergleich. Bei den professionellen Texten handelte es sich um BBC-Nachrichtenartikel.
• Feste Mischungsverhältnisse. Jeder hybride Text war etwa 50/50 aufgeteilt – was, wie die Autoren selbst betonen, bei echten studentischen Texten selten der Fall ist.

Ihr Fazit lautet, dass „neither detector achieves the level of reliability required for high-stakes decision-making.“ (keiner der beiden Detektoren das Maß an Zuverlässigkeit erreicht, das für Entscheidungen mit weitreichenden Konsequenzen erforderlich ist).

1. Prüfen Sie, in welchem Bereich Ihr Wert liegt. In dieser Studie galt ein Wert von 20 % oder weniger als menschlich verfasst. Turnitin zeigt bei niedrigen Werten ein Sternchen statt einer Zahl an; siehe dazu was das Sternchen beim Turnitin-KI-Wert bedeutet.
2. Bewahren Sie Ihre Entwürfe und den Versionsverlauf auf. Diese belegen, wie der Text entstanden ist – was ein Prozentwert nicht leisten kann.
3. Prüfen Sie, welche Passagen hervorgehoben wurden. Das sind genau die Abschnitte, auf deren Erklärung Sie vorbereitet sein sollten.
4. Legen Sie Beweise vor. Studien wie diese sowie frühere Untersuchungen zu nicht-muttersprachlichen Autoren in warum Texte von Nicht-Muttersprachlern häufiger als KI markiert werden stützen das Argument, dass ein Detektorwert allein kein stichhaltiger Beweis ist.

Wenn Sie einen Turnitin- oder iThenticate-Bericht vorliegen haben und die markierten Passagen überarbeitet werden müssen, ist genau das die Aufgabe der Humanize-Option von HumanPen. Importieren Sie den Turnitin- oder iThenticate-Bericht und überarbeiten Sie nur die darin markierten Passagen. Sie erhalten eine bearbeitbare Datei im selben Format zurück. Prüfen Sie vorab die Richtlinien Ihres Studiengangs zum Einsatz von KI und lesen Sie das überarbeitete Dokument sorgfältig durch, bevor Sie es einreichen.

Ist Turnitin gegenüber Autoren mit Englisch als Fremdsprache voreingenommen? In diesem Datensatz bewertete Turnitin EFL-Studierendenaufsätze und BBC-Nachrichtentexte in etwa gleich, ohne statistisch signifikanten Unterschied. Dies ist jedoch ein einzelner Test mit einer einzelnen Gruppe von Studierenden und keine allgemeingültige Antwort.

Was bedeutete „markiert“ in dieser Studie? Ein Wert von über 20 %. Werte von 21 % bis 79 % galten als Hybrid und 80 % oder mehr als KI.

Wurden die studentischen Aufsätze wirklich ohne KI verfasst? Sie wurden vor August 2022 eingereicht. Die Autoren betonen, dass Werkzeuge wie ChatGPT diesen Studierenden damals noch nicht zur Verfügung standen und die damals existierenden Textgeneratoren beschränkte Zugänge sowie technischen Einrichtungsaufwand erforderten.

Welcher Detektor schnitt besser ab? Originality erzielte eine höhere Gesamtgenauigkeit (0.69 gegenüber 0.61). Bei den studentischen Aufsätzen lagen beide gleichauf: Beide bewerteten 4 von 48 Aufsätzen mit über 20 %, während Originality jeden Nachrichtentext korrekt erkannte. Keiner der beiden Detektoren kam gut mit Mischtexten zurecht.

• Mohammad Hadra, Karleen Cambridge und Mostefa Mesbah, Evaluating the accuracy and reliability of AI content detectors in academic contexts, International Journal for Educational Integrity 22, Artikel 4, veröffentlicht am 2. Februar 2026; abgerufen am 28. September 2026 (Tabellen 1–5).