Wie oft stufen Chatbots menschliche Texte als KI ein? Ein Test von 15 Modellen aus dem Jahr 2026

Das hängt stark vom Modell ab. In einem Preprint aus dem Jahr 2026 wurden 15 Allzweck-KI-Modelle – wie sie hinter Chatbots stehen – über ihre APIs mit einer einzigen festen Frage dazu befragt, ob 1.000 von Menschen verfasste Texte von einem Menschen oder einer Maschine stammen. Die Vorgängergeneration (GPT-4o und vier weitere Modelle aus den Jahren 2024–25) antwortete bei durchschnittlich 36,5 % der menschlichen Texte mit „Maschine“. Die neueste Generation (acht Modelle aus dem Jahr 2026, darunter GPT-5.5, Claude Opus 4.7 und Gemini 3.1 Pro Preview) tat dies nur bei 3,6 %, wobei die einzelnen Modelle zwischen 0,1 % und 8,6 % lagen. Wie oft ein Chatbot menschliche Texte fälschlicherweise als „Maschine“ einstuft, hängt also extrem vom Modell ab: In diesem Test reichte die Spanne von mehr als einem Drittel der Fälle bis hin zu so gut wie nie. Eine solche Quote beschreibt jedoch eine große Menge an Texten und nicht Ihre einzelne Arbeit. Zudem ist die Antwort eines Chatbots für sich genommen kein Beweis: Bei den Testtexten handelte es sich nicht um studentische Arbeiten, und ein Screenshot lässt oft nicht erkennen, welches Modell geantwortet hat oder wie die Frage genau formuliert war.

Die Studie trägt den Titel "Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis" (Einsatz von LLMs zur Erkennung LLM-generierter Texte: Eine generationenübergreifende Analyse) und stammt von Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li und Shujun Li von der University of Kent, der Shanghai Jiao Tong University und der University of Birmingham. Sie wurde am 28. September 2026 auf arXiv veröffentlicht. Es handelt sich um einen Preprint, der noch kein Peer-Review-Verfahren durchlaufen hat.

Ausgangspunkt waren 1.000 von Menschen geschriebene Texte aus dem öffentlich zugänglichen Forschungsdatensatz M4GT-Bench, den die Verfasser der Studie wie folgt beschreiben: "covering a broad range of topics, styles, and formats" (deckt ein breites Spektrum an Themen, Stilen und Formaten ab). Wir haben die veröffentlichte Datei durchgesehen und darin Enzyklopädieeinträge, Anleitungen, Forenbeiträge, wissenschaftliche Abstracts sowie Gutachten zu Forschungsarbeiten gefunden. Die Studie stuft keinen einzigen dieser Texte als studentische Seminar- oder Abschlussarbeit ein. Jedes der 15 Modelle generierte zudem 1.000 Texte anhand passender Prompts, die meist eine Länge von 150 bis 300 Wörtern vorsahen.

Anschließend fungierte jedes Modell reihum als Detektor. Jeder Text wurde jedem Modell mit derselben Anweisung vorgelegt, die wie folgt beginnt: "Please determine whether the following text is generated by large language models or by a human" (Bitte stellen Sie fest, ob der folgende Text von großen Sprachmodellen oder von einem Menschen verfasst wurde). Das Modell musste mit "human" oder "machine" antworten und seine Entscheidung begründen. So kamen über 233.000 gültige Beurteilungen zustande.

Die Forschenden unterteilten die Modelle nach ihrem Veröffentlichungsdatum:

• Älteste Generation (2023 bis Anfang 2024): GPT-3.5 Turbo Instruct und Mixtral 8×22B Instruct.
• Vorgängergeneration (2024–25): GPT-4o, DeepSeek-V3, Llama 3.3 70B Instruct, GLM-4 32B und ein Qwen-Modell mit 72 Milliarden Parametern (in der Modelltabelle der Studie als Qwen2.5-72B Instruct aufgeführt, an anderen Stellen als Qwen2-72B).
• Neueste Generation (2026): GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro Preview, DeepSeek-V4-Pro, Qwen3.6-Max-Preview, GLM-5.1, MiMo-V2.5-Pro und Kimi K2.6.

Die Modelle wurden überwiegend über OpenRouter sowie über die APIs der jeweiligen Anbieter angesprochen; von Tests mit den eigentlichen Apps von ChatGPT, Gemini oder Claude berichtet die Studie nicht. Sie nennt auch keine genauen Testdaten: Die neueste Gruppe wird als die aktuellsten Modelle "at the time of our experiments" (zum Zeitpunkt unserer Experimente) bezeichnet, und es wird vermerkt, dass die Standardeinstellungen der Modelle am 3. September 2026 überprüft wurden.

Unser früherer Artikel Ist ChatGPT ein KI-Detektor? Was OpenAI über den eigenen Klassifikator veröffentlicht hat befasst sich mit dem Klassifikator, den OpenAI 2023 entwickelte, testete und wieder zurückzog. Er legt dar, dass das bloße Fragen eines Chat-Modells, ob ein Text von einer KI stammt, keine echte Erkennung darstellt. Jener Artikel enthielt noch keine Messwerte dazu, wie gut Chat-Modelle diese Aufgabe selbst bewältigen. Die vorliegende Studie liefert diese Daten nach: 15 Chat-Modelle, die direkt mit dieser Frage konfrontiert wurden – unter API-Bedingungen, die dem Einfügen eines Aufsatzes in ein Chat-Fenster durch eine Lehrkraft deutlich näher kommen als ein separater Klassifikator, wenngleich es immer noch nicht dasselbe ist.

Jeder Wert stellt den Durchschnitt der Modelle der jeweiligen Gruppe dar. Die Spanne in der letzten Spalte hängt davon ab, von welcher Generation die KI-Texte verfasst wurden.

Die drei Gruppen machten in ganz unterschiedlichen Richtungen Fehler. Die ältesten Modelle antworteten überwiegend mit „Mensch“; sie stuften daher weniger menschliche Texte fälschlich als verdächtig ein als die nachfolgende Generation, ließen dafür aber mehr als vier von fünf KI-Texten unerkannt durch. Bei der Vorgängergeneration kippte das Bild: Sie erkannte zwar mehr KI-Texte, erklärte jedoch mehr als ein Drittel der von Menschen geschriebenen Texte für maschinell verfasst. Die neueste Gruppe wies bei beiden Fehlerarten niedrige Werte auf, übersah allerdings bei KI-Texten aus dem Jahr 2026 mehr (13,4 %) als bei älteren KI-Texten.

Diese erste Tabellenzeile ist eine Falle, wenn man sie isoliert betrachtet. Eine Fehlalarmquote von 13 % wirkt zwar besser als 36,5 %, sie stammt jedoch von Modellen, die so gut wie nie „Maschine“ sagten. Ein Detektor, der niemanden verdächtigt, überführt allerdings auch niemanden.

Der Durchschnittswert von 3,6 % täuscht über erhebliche Unterschiede hinweg. Die von den Autoren veröffentlichten Ergebnisse weisen für jedes einzelne Modell der neuesten Generation auf denselben 1.000 menschlichen Texten folgende Quoten aus:

Über alle 15 Modelle hinweg reichte die Fehlerrate von 0,1 % bis 55,3 %; den höchsten Wert erzielte Llama 3.3 70B aus der Vorgängergeneration. Das Hauptergebnis der Studie reicht jedoch noch weiter: Wie gut die Erkennung funktioniert, "is primarily driven by detector capability rather than generator provenance" (wird in erster Linie von den Fähigkeiten des Detektors und nicht von der Herkunft des Generators bestimmt). Welches Modell Sie befragen, ist entscheidender als die Frage, welches Modell den Text verfasst hat.

Diese Tabelle veranschaulicht, wie stark sich die Modelle voneinander unterscheiden. Sie lässt sich jedoch nicht eins zu eins auf Ihren Fall übertragen: Eine Chat-App verwendet möglicherweise eine andere Version als das getestete Modell, Ihre Lehrkraft hat ihre Frage vermutlich anders formuliert, und jedes Modell hat jeden Text nur ein einziges Mal beurteilt.

Auf Screenshots finden sich meist auch Begründungen: zu strukturiert, zu allgemein, zu glatt formuliert. In dieser Studie musste jedes Modell eine Erklärung abgeben. Die Forschenden ließen anschließend ein weiteres KI-Modell, GPT-5.6 Sol, eine Stichprobe dieser Begründungen direkt miteinander vergleichen – und dieses stellte fest, dass dieselben Merkmale für gegensätzliche Argumentationen herangezogen wurden. Ein detaillierter, schlüssiger Text, so die Autoren, "may be treated as evidence of human expertise by one detector, but as evidence of formulaic LLM generation by another." (kann von einem Detektor als Beleg für menschliche Fachkompetenz gewertet werden, von einem anderen jedoch als Beweis für formelhafte LLM-Generierung).

Zudem warnen sie davor, dass die Begründungen "may be post-hoc justifications rather than accurate and reliable descriptions of how a decision was made" (nachträgliche Rechtfertigungen sein könnten und keine präzisen, verlässlichen Beschreibungen dessen, wie die Entscheidung zustande kam). Eine Stichwortanalyse, die die Autoren über dieselben Erklärungen laufen ließen, wies in dieselbe Richtung; sie betonen jedoch, dass diese Befunde noch durch menschliche Begutachtende überprüft werden müssen. Wenn auf dem Screenshot steht, Ihre Arbeit weise eine klare Struktur und flüssige Übergänge auf, dann beschreibt das lediglich Ihren Text – es sagt nichts darüber aus, woher er stammt.

• Wie Chatbots studentische Arbeiten bewerten. Keiner der menschlichen Texte wurde als studentische Arbeit eingestuft, und die Texte waren auf beiden Seiten kurz: Nach unserer Zählung lag der Median der menschlichen Texte bei 233 Wörtern, während die KI-Texte meist auf 150 bis 300 Wörter angelegt waren. Eine längere Seminar- oder Abschlussarbeit könnte ganz andere Ergebnisse liefern, und die Studie liefert keinen Anhaltspunkt dafür, in welche Richtung diese ausschlagen würden.
• Ob eine erneute Nachfrage das Ergebnis ändert. Jedes Modell beurteilte jeden Text genau einmal. Die Studie gibt daher keinen Aufschluss darüber, wie oft derselbe Chatbot bei einem zweiten Versuch seine Meinung ändert.
• Ob die Ergebnisse wissenschaftlicher Überprüfung standhalten. Es handelt sich um einen Preprint, und die Autoren selbst bezeichnen ihre Einteilung in drei Generationen als "rather simplistic" (ziemlich vereinfacht).
• Die Modelle des nächsten Jahres. Viele der Modelle, die die Forschenden ursprünglich im Blick hatten, waren bereits veraltet oder eingestellt worden – was ein Grund dafür ist, dass die älteste Gruppe nur zwei Modelle umfasst. Die Zahlen beschreiben genau diese 15 Modelle, nicht künftige Entwicklungen.

1. Bringen Sie genau in Erfahrung, was getan wurde. Fragen Sie höflich nach: Welcher Chatbot wurde verwendet? Dürfen Sie den gesamten Gesprächsverlauf einschließlich der eingegebenen Frage einsehen? Handelt es sich um die einzige Prüfung oder liegt auch ein Bericht von Turnitin oder einem anderen Tool vor? Die Antwort bestimmt, worauf Sie reagieren müssen.
2. Prüfen Sie die Vorgaben Ihres Studiengangs und Ihrer Hochschule. Informieren Sie sich darüber, wie bei mutmaßlicher KI-Nutzung verfahren wird und was formal als Beweis gilt. Einige Universitäten schränken ein, welche Erkennungswerkzeuge Lehrende einsetzen dürfen oder welches Gewicht den Ergebnissen von Detektoren zukommt; 19 Universitäten, die den Einsatz von KI-Detektoren oder deren Beweiskraft einschränken: Offizielle Stellungnahmen fasst die offiziellen Formulierungen zusammen. Ob ein Chatbot unter solche Regelungen fällt, hängt vom Wortlaut Ihrer Prüfungsordnung ab.
3. Legen Sie Ihren Schreibprozess offen. Entwürfe, Notizen, gelesene Quellen und der interne Versionsverlauf der Datei. Der Artikel Wie Sie nachweisen, dass Sie keine KI verwendet haben: Versionsverlauf in Word und Google Docs erklärt, wie Sie diesen exportieren. Dass Sie nachvollziehbar darlegen können, wie Sie Ihre Argumentation schrittweise aufgebaut haben, kann das Urteil eines Chatbots nicht erfassen.
4. Wenn Sie diese Studie zitieren, nennen Sie beide Seiten. Die Aussage "Chatbots are wrong a third of the time" (Chatbots liegen in einem Drittel der Fälle falsch) betrifft ausschließlich die Vorgängergeneration. Die neuesten Modelle in diesem Test stuften 0,1 % bis 8,6 % der menschlichen Texte als maschinell verfasst ein, die vorherige Generation deutlich mehr. Zudem beschreibt eine statistische Quote eine große Menge an Texten, nicht Ihre individuelle Arbeit – genau darum geht es in Was eine Quote falsch positiver Ergebnisse von 1 % bedeutet, wenn eine Universität 75.000 Arbeiten einreicht.
5. Antworten Sie nicht mit einem weiteren Screenshot. Wenn ein anderer Chatbot „von Menschen verfasst“ meldet, unterliegt das all den oben genannten Einschränkungen. Ihre Entwürfe belegen, wie die Arbeit entstanden ist; die Einschätzung eines zweiten Chatbots tut das nicht.

Die Antwort eines Chatbots ist kein Prüfbericht und enthält keine markierten Textpassagen. Eine Arbeit zu überarbeiten, die bereits in Zweifel gezogen wird, würde ohnehin nichts klären. Die Humanize-Funktion von HumanPen wurde für eine andere Situation entwickelt: für einen Entwurf, den Sie noch nicht eingereicht haben, zu dem Ihnen ein Turnitin- oder iThenticate-Bericht vorliegt und bei dem die Richtlinien Ihres Studiengangs eine werkzeuggestützte Umformulierung erlauben. Prüfen Sie diesen letzten Punkt unbedingt vorab in Ihren Studienrichtlinien. Importieren Sie den Turnitin- oder iThenticate-Bericht und überarbeiten Sie nur die darin markierten Passagen. Sie erhalten eine bearbeitbare Datei im selben Format zurück.

Bedeutet das, dass ChatGPT KI-Texte jetzt zuverlässig erkennen kann? Aus diesen Daten allein lässt sich das nicht schließen. Die Studie beschreibt Tests über APIs, nicht über die eigentliche ChatGPT-App: GPT-5.5 und 14 weitere Modelle erhielten jeweils eine feste Frage. Bei diesem Versuchsaufbau stuften die neuesten Modelle durchschnittlich 3,6 % der menschlichen Texte fälschlich als KI ein und übersahen 6,1 % bis 13,4 % der KI-Texte, abhängig davon, welche Modellgeneration diese verfasst hatte.

Ist ein neuerer Chatbot grundsätzlich verlässlicher? Nicht zwingend. Die Vorgängergeneration stufte mehr menschliche Texte als „Maschine“ ein als die älteste Generation (36,5 % gegenüber 13,0 %). Zudem erreichte ein Modell der Vorgängergeneration, Qwen 72B, bei menschlichen Texten eine Quote von nur 4,4 % – ein niedrigerer Wert als bei drei der neuesten Modelle (Claude Opus 4.7 mit 6,1 %, MiMo-V2.5-Pro mit 7,9 %, DeepSeek-V4-Pro mit 8,6 %). Dieser Wert kam allerdings dadurch zustande, dass das Modell fast jedes Mal mit „Mensch“ antwortete.

Wurde diese Studie von Fachkollegen begutachtet (Peer-Review)? Nein. Sie wurde am 28. September 2026 als Preprint auf arXiv veröffentlicht. Die Autoren haben sämtliche Texte, Prompts, die Rohantworten aller Modelle und ihren Analysecode öffentlich zugänglich gemacht.

• Haiyue Yuan, Jie Guo, Weidong Qiu, Zheng Huang, Ruizhe Li und Shujun Li, Using LLMs to Detect LLM-Generated Texts: A Cross-Generation Analysis, arXiv:2609.34691v1, eingereicht am 28. September 2026 (Preprint, nicht durch Peer-Review begutachtet); abgerufen am 2. Oktober 2026 (Tabellen 1 und 5; Abschnitte 3, 4 und 5; Anhang A.2 und A.3).
• Die von den Autoren veröffentlichten Daten und Ergebnisse, hyyuan/detect-llm-generated-texts auf GitHub: Raten pro Modell aus `dataset/results/eval/paper_reproducible/detector_error_profiles.csv`, menschliche Texte aus `dataset/human-generated-text/human.json`; abgerufen am 2. Oktober 2026.