Warum KI-Detektoren gut geschriebene Essays markieren

Es bewertet hier niemand die Schreibqualität. Auf allen drei Turnitin-Hilfeseiten, die wir durchsucht haben, fehlten Begriffe wie "quality", "style", "polished", "well written", "vocabulary" und "clarity". Die Sensitivitätseinstellung "300 words" stand auf allen drei Seiten, der Suchlauf las also tatsächlich den Seitentext und lieferte keine leeren Treffer. Die FAQ stellt den Detektor nicht als Maßstab für Schreibqualität dar. Was Turnitin veröffentlicht, ist eine nicht quantifizierte Liste von Textmerkmalen, die bei Falschpositiven vorkommen können. Sorgfältige akademische Prosa kann zwei Punkten auf dieser Liste ähneln, wenn sie feste Begriffe wiederholt oder parallele Strukturen verwendet – aber Turnitin sagt nichts darüber, wie oft diese Eigenschaften unter den Fehlern auftreten.

Das beweist nicht, dass ausgereifter Schreibstil harmlos ist, und wir werden auch nicht so tun. Was ein Unternehmen dokumentiert, ist nur der Teil, den es zu dokumentieren gewählt hat; ein trainiertes Modell enthält weit mehr als seine Hilfeseiten. Es lässt sich etwas Engeres und Nützlicheres festhalten: "well written" ist keine Größe, die dieses System ausweist. Eine Markierung ist also kein Urteil über Schreibqualität. Und der Rat, den Leute auf diese Annahme stützen – der immer darauf hinausläuft, unter dem eigenen Niveau zu schreiben – hat keine veröffentlichte Grundlage.

Wir haben den gerenderten Text von drei Seiten durchsucht, die am 18. August 2026 abgerufen wurden, weil `guides.turnitin.com` bei einem simplen Kommandozeilen-Aufruf 403 zurückgab: "Using the AI Writing Report", "Turnitin's AI writing detection capabilities FAQs" und "File requirements for an AI Writing Report". Diese Seiten legen Mechanismus und Dateiregeln dar; Release Notes und Known-Issues-Seiten fielen aus der Suche heraus. Die Tabelle erfasst, ob Begriffe (case-insensitive) vorhanden sind oder fehlen, keine exakten Zählungen, die sich ändern können, sobald sich Live-Seiten aktualisieren.

Die letzte Zeile gibt dem Rest der Tabelle erst ihre Aussagekraft: Ein leeres Ergebnis und ein fehlerhafter Abruf hinterlassen dieselbe Spur. Ein Begriff, der nachweislich auf allen drei Seiten steht, muss also zuerst vorhanden sein. In der FAQ sind "writing" und "segment" vorhanden, während "vocabulary", "word choice" und "clarity" fehlen. "Breakdown" taucht im Bericht-Leitfaden auf, aber nur als Name eines Interface-Panels, nicht als Statistik.

Dann sind da die Bilder, die eine Textsuche überhaupt nicht erfasst. Der FAQ-Artikel selbst enthält keine Bilder; das Site-Logo gehört zum Seiten-Chrome, nicht zum Artikel. Der Bericht-Leitfaden enthält Screenshots ohne Alt-Text, also haben wir sie separat geöffnet. Sie zeigen einen Beispielbericht mit 56% KI neben 23% Ähnlichkeit, eine Seite mit hervorgehobener Prosa und Statusmeldungen. Keines verwendet irgendwelche der oben genannten Wörter. Eines enthält einen Satz, der im eigentlichen Seitentext nirgendwo vorkommt:

"AI detection includes the possibility of false positives. Although some text in this submission is likely AI generated, scores below the 20% threshold are not surfaced because they have a higher likelihood of false positives." (KI-Erkennung beinhaltet die Möglichkeit von Falschpositiven. Obwohl einiger Text in dieser Einreichung wahrscheinlich KI-generiert ist, werden Werte unter der 20%-Schwelle nicht angezeigt, weil sie eine höhere Wahrscheinlichkeit für Falschpositive haben.)

Das Produkt weigert sich hier, eine Zahl in dem Bereich anzuzeigen, dem es am wenigsten vertraut. Das ist erwähnenswert, weil überall sonst in diesem Material die Fehlerrate zwar beschrieben, aber nicht handelnd berücksichtigt wird.

Etwas leistet hier die Arbeit, und die FAQ benennt es unter der Überschrift "What parameters or flags does Turnitin's model take into account when detecting AI writing?":

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifizierer sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen und verstehen sich auf die spezifischen Wortwahrscheinlichkeits-Sequenzen menschlicher Schreiber.)

Dieselbe Antwort fügt sorgfältig hinzu, dass das Modell "is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions" und stattdessen "learns statistical patterns from our training data". Beide Sätze stehen auf der Seite. Wer einen ohne den anderen liest, gelangt an die falsche Stelle: Der Anbieter verneint zwei namentlich genannte öffentliche Metriken, nicht aber, dass Wortwahrscheinlichkeit die Währung ist. Was das für die Begriffe bedeutet, über die Leute streiten, wird in was KI-Detektoren messen dargelegt.

Folgen Sie nun den veröffentlichten Einheiten aufwärts statt abwärts. Wörter, dann Sätze, dann dies:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1 ... Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn ein Paper bei Turnitin eingereicht wird, werden Sätze aus der Einreichung extrahiert und zur Vorhersageanalyse in überlappende Abschnitte segmentiert. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1 ... Jeder qualifizierende Satz innerhalb dieser Abschnitte erbt die Punktzahl des Abschnitts. Da sich Abschnitte überlappen, können manche Sätze mehrere Punktzahlen haben, die dann zu einer einzigen zusammengeführt werden. Diese Satzpunktzahlen werden weiter aggregiert und zur Berechnung der gesamten Dokument-KI-Schreibpunktzahl verwendet.)

Die Kette endet dort. Das größte Objekt, das jemals klassifiziert wird, ist ein Segment, einige Sätze breit. Die Dokumentenzahl ist eine Aggregation davon, kein zweites Urteil nach dem Lesen des Ganzen. Fast alles, was einen Essay gut macht, ist größer als ein Segment: ein Argument, das über acht Seiten trägt; gut gewählte Belege; ein Einwand aus Abschnitt zwei, beantwortet in Abschnitt fünf. Nichts davon ist ein Objekt auf der Skala, auf der Klassifizierung stattfindet. Es ist nicht so, dass das System Ihre Argumentation wägt und ablehnt. Es gibt dafür keinen Platz.

Bei der Diskussion von Falschpositiven in akademischer Prosa verweist der Anbieter auf einen Pre-ChatGPT-Testkorpus:

"To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Um unser Testframework zu stärken und statistische Trends von Falschpositiven zu diagnostizieren, führen wir vor jedem Update oder einer neuen Modellveröffentlichung Tests mit über 700.000 zusätzlichen akademischen Papers durch, die vor der Veröffentlichung von ChatGPT geschrieben wurden, um unsere Falschpositiv-Rate von weniger als 1% weiter zu validieren.)

Die FAQ stellt sich dasselbe noch einmal unter eigener Überschrift: "How does Turnitin ensure that the false positive rate for a document remains less than 1%?" und wiederholt die Zahl, wobei das Wort "over" wegfällt: "we perform additional tests on 700,000 additional academic papers that were written before the release of ChatGPT". Derselbe Korpus, zwei leicht unterschiedliche Sätze auf einer Seite.

Lesen Sie, wie Turnitin diese Referenzpopulation beschreibt: akademische Papers, ausgewählt, weil sie vor ChatGPTs Veröffentlichung geschrieben wurden. Das ist eine datumsbasierte Beschreibung, keine Aussage, dass jedes Paper unabhängig als menschengeschrieben verifiziert wurde. Die engere Behauptung bleibt nützlich: Turnitin sagt, es führe diesen Pre-ChatGPT-Korpus vor Modellveröffentlichungen erneut durch, um die Falschpositiv-Rate zu beobachten. Die Seite beschreibt keine Paper-für-Paper-Autorschaftsverifizierung.

Das klärt es nicht endgültig, und wir würden zu viel behaupten, wenn wir das Gegenteil sagten. Der Anbieter veröffentlicht das Ziel, nicht die Verteilung dahinter. Und das Ziel selbst trägt eine Begrenzung, die der eigene nächste Satz leise fallen lässt. Die vollständige Version dieses Arguments – einschließlich dessen, was passiert, wenn man eine kleine Rate mit dem jährlichen Volumen einer echten Universität multipliziert – steht in was eine 1%-Falschpositiv-Rate bedeutet.

Die Seite nennt eine Falschpositiv-Rate von weniger als 1%, veröffentlicht aber nicht, wie sich Fehler im Testkorpus verteilen. Sie gibt keine Raten für Untergruppen an und zeigt nicht, ob eine Textart mehr Fehler verursacht als eine andere.

Was die Seite veröffentlicht, ist eine nicht quantifizierte Liste von Textmerkmalen, die bei Falschpositiven vorkommen können, gefolgt von Ratschlägen zum Umgang mit dem Prozentsatz:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Manchmal können Falschpositive – also fälschlich als KI-generiert markierter menschengeschriebener Text – Inhalte ohne viel strukturelle Variation enthalten, Text, der sich buchstäblich wiederholt, oder Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln. Wenn unser Indikator in solchem Text einen höheren Anteil an KI-Schreiben anzeigt, raten wir Ihnen, dies bei der Betrachtung des angegebenen Prozentsatzes zu berücksichtigen.)

Lesen Sie, was auf dieser Liste steht – und was nicht. Kein ausgefeiltes Vokabular, keine langen Sätze, kein starkes Argument. Es werden drei mögliche Texteigenschaften genannt, aber für keine davon eine Häufigkeit angegeben. Die dritte beschreibt einen Prozess statt etwas, das Sie beim eigenen Schreiben produziert hätten.

Die ersten beiden verdienen einen Vergleich mit üblicher akademischer Praxis. Was folgt, ist unsere Lesart, nicht die des Anbieters. Wenn Ihr Fachgebiet verlangt, dass Sie eine Sache jedes Mal beim selben Namen nennen, wiederholen Sie denselben Begriff absichtlich, weil ein Synonym Mehrdeutigkeit einführen würde. Wenn Sie Vergleichbares in parallelen Sätzen anordnen, damit ein Leser sie nebeneinander halten kann, reduzieren Sie aus demselben Grund die strukturelle Variation. Beides sind keine Fehler. Turnitin sagt, Falschpositive können diese Eigenschaften enthalten. Das System sagt nicht, wie oft; es sagt nicht, dass Fehler dort konzentriert sind; es sagt nicht, dass die Eigenschaften mit Fehlern korrelieren.

Was wir nicht sagen – weil es eine weit größere Behauptung wäre, als dies alles trägt – ist, dass ausgereiftes Schreiben markiert wird. Dieser Satz zirkuliert weit und breit, und was ihm normalerweise angehängt ist, lautet: Klingen Sie weniger fähig, als Sie sind. Die Bearbeitungen, die die veröffentlichte Liste tatsächlich stützt, und was es kostet, sie von Hand vorzunehmen, werden in KI-Text ohne Tool menschlich machen durchgearbeitet.

Beachten Sie auch, für wen der zweite Satz geschrieben ist. Er bittet denjenigen, der den Prozentsatz betrachtet, abzuwägen, welche Art von Text ihn produziert hat. Die Anweisung ist an die Person gerichtet, die den Bericht in Händen hält, nicht an die Person, die das Paper geschrieben hat.

Die naheliegende nächste Frage: Sind Falschpositive in Ihrer Disziplin, Ihrem Fachbereich oder Ihrem Genre häufiger? Die FAQ hat eine Überschrift, die nahekommt: "Does the Turnitin model take into account that AI writing detection technology might be biased against particular subject-areas or second language writers?" Die Antwort handelt von der Trainingsstichprobe:

"One of the guiding principles of our company and of our AI team has been to minimize the risk of harm to students, especially those disadvantaged or disenfranchised by the history and structure of our society. Hence, while creating our sample dataset, we took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments and less common subject areas such as anthropology, geology, sociology, and others." (Eines der leitenden Prinzipien unseres Unternehmens und unseres KI-Teams war es, das Risiko von Schaden für Studierende zu minimieren, insbesondere für solche, die durch die Geschichte und Struktur unserer Gesellschaft benachteiligt oder entrechtet sind. Daher haben wir bei der Erstellung unseres Stichprobendatensatzes statistisch unterrepräsentierte Gruppen berücksichtigt wie Zweitsprachenlernende, Englisch-Nutzer aus nicht-englischsprachigen Ländern, Studierende an Colleges und Universitäten mit vielfältigen Einschreibungen und weniger verbreitete Fachbereiche wie Anthropologie, Geologie, Soziologie und andere.)

Die Fachbereichsnamen "anthropology", "geology" und "sociology" erscheinen nur in Absätzen, die beschreiben, wie die Stichprobe erstellt wurde. "Discipline", "genre" und "subgroup" fehlen auf allen drei Seiten. Fachbereiche erscheinen also als Eingabe ins Training, nicht als veröffentlichte Testaufschlüsselung. Es gibt keine veröffentlichte Falschpositiv-Rate für Anthropologie. Der Anbieter stellt keine Zahlen hinter die Bias-Antwort, weshalb sie als Absichtserklärung zu lesen ist.

Diese Lücke ist der Grund, warum die Zahl, auf die alle bei dieser Frage verweisen, von außerhalb des Unternehmens stammt: eine 2023er Studie mit 91 TOEFL-Essays, deren Umfang, kontrollierte Bearbeitungen und echte Grenzen wir in warum nicht-muttersprachliche Englischschreiber häufiger von KI-Detektoren markiert werden durchgegangen sind. Es ist auch der Grund, warum zwei Detektoren demselben Absatz zwei verschiedene Urteile ausstellen können – ein separates Durcheinander, behandelt in warum Detektoren nicht übereinstimmen.

Es gibt noch einen Grund, warum "es hat meinen guten Essay markiert" der falsche Rahmen ist. Er betrifft die Frage, wovon der Prozentsatz überhaupt ein Prozentsatz ist. Nur ein Teil Ihres Dokuments ist bewertungsfähig:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. This percentage is not necessarily the percentage of the entire submission." (Dieser qualifizierende Text umfasst nur Prosasätze, was bedeutet, dass wir nur Textblöcke analysieren, die in standardgrammatikalischen Sätzen geschrieben sind und keine anderen Schreibarten wie Listen, Aufzählungspunkte – kurze Nicht-Satz-Strukturen – oder andere Nicht-Satz-Strukturen enthalten. Dieser Prozentsatz ist nicht notwendigerweise der Prozentsatz der gesamten Einreichung.)

Zwei im August 2023 angekündigte Änderungen verschoben die Grenze weiter. Eine besagt, dass lange Prosa in Tabellen jetzt verarbeitet wird. Die andere besagt, dass ein Fehler behoben wurde, der manchmal KI-Schreiben in einem Literaturverzeichnis hervorhob – Literaturverzeichnisse sind jetzt von der Verarbeitung ausgeschlossen. Beide Release Notes enden gleich: Sie müssen ein vorhandenes Paper erneut einreichen, bevor eine der Änderungen darauf Anwendung findet.

Das Literaturverzeichnis, für das Sie zwei Abende zum Ausrichten verbracht haben, und Einschlusskriterien als kurze Aufzählungspunkte sitzen also außerhalb des bewerteten Sets. Tabellen sind bedingt: Lange Prosa darin kann verarbeitet werden, während numerische Zellen, Fragmente und anderer Nicht-Satz-Inhalt außerhalb der qualifizierenden Prosa bleiben können. Der Prozentsatz muss also nicht die gesamte Einreichung beschreiben. Das ist auch der mechanische Grund, warum er mit der Menge an farbig markiertem Text vor Ihnen nicht übereinstimmen kann – Zeile für Zeile auseinandergenommen in So lesen Sie einen Turnitin-KI-Schreibbericht.

Sehr wenig davon handelt davon, wie Sie schreiben. Das meiste davon handelt davon, wie viel Gewicht diese Zahl tragen kann.

• Weniger fähig zu klingen ist der eine Zug, den es auszuschließen gilt. Alles oben Gesagte spricht dagegen. Der Handel ist auf gewöhnliche Weise einseitig: Die Noten eines Prüfers stehen fest, während die Auswirkung auf die Punktzahl etwas ist, das niemand gemessen hat und das Sie normalerweise nicht beobachten dürfen.
• Fragen Sie, welche Passagen, nicht welche Zahl. Die Hervorhebungen zeigen Ihnen, wo der Klassifizierer gelandet ist. Der Prozentsatz sagt Ihnen, wie viel des qualifizierenden Textes er getroffen hat – eine andere Größe als der Anteil Ihres Essays.
• Erwarten Sie bei kurzen Dokumenten grobe Messung. Die Worte des Anbieters: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." Der Satz danach ist der entscheidende: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." Unter 300 Wörtern qualifizierenden Textes gibt es laut Dateianforderungen überhaupt keinen Bericht zu lesen.
• Wenn Ihre Prosa konventionell ist, weil das Genre es verlangt, prüfen Sie, für wen der Rat des Anbieters geschrieben ist. Dieser Satz ist an denjenigen gerichtet, der den Prozentsatz liest, nicht an Sie. Wissenswert, bevor Sie zu dem Schluss kommen, das Paper sei das Ding, das geändert werden muss.
• Misstrauen Sie jedem Versprechen über die resultierende Zahl, unseres eingeschlossen. Turnitins eigene Position: individuelle Vorhersagen "may not always be explainable in simple feature-by-feature terms". Niemand außerhalb des Unternehmens kann eine Bearbeitung auf eine Bewegung in der Punktzahl abbilden.

Nichts davon ist ein Argument für eine Überarbeitung. Wo die Arbeit Ihre ist und Sie bereit sind, das zu sagen, ist das Paper nicht das Objekt, das sich ändern sollte.

Eine Überarbeitung verdient ihren Platz an einem spezifischen Punkt: wenn ein Bericht existiert, bestimmte Passagen darauf markiert sind und diese Passagen ohnehin überarbeitet werden. Das ist die Form, für die HumanPen gebaut ist. Geben Sie ihm die Datei plus den KI-Bericht von Turnitin oder iThenticate, und die markierten Passagen werden zum Umfang. Alles außerhalb davon behält Ihre Wörter. Unsere eigene Seite nennt die Granularitätsregel: "A paragraph is the smallest unit the engine rewrites: if your selection covers only part of one, it is expanded to the full paragraph and shown that way for you to confirm." Die Abrechnung zählt die tatsächlich umgeschriebenen Wörter. Ein eingegrenzter Job kostet also das, was der Umfang kostet, nicht das, was die Datei wiegt.

Wenn ein neuer Bericht immer noch Passagen markiert, können berechtigte Ergebnisse weiterhin kostenlos KI-Werte senken. Was Ihnen niemand geben kann, ist die Zahl auf dem nächsten Bericht. Nach allem oben Gesagten zitiert ein Tool, das Ihnen eine nennt, eine Zahl, die es nicht hat.

Ist gut geschriebene Prosa eher markiert? Das ist eine größere Behauptung, als das veröffentlichte Material trägt, und wir stellen sie nicht. Was dokumentiert ist: eine Liste von drei Textarten, von denen Turnitin sagt, Falschpositive können sie enthalten – keine davon ein Qualitätsurteil – plus eine gemessene Wirkung auf Schreiber mit kleinerem lexikalischem Spielraum im Englischen aus einer 2023er Stichprobe. Betrachten Sie die breite Version als im Umlauf befindliche Behauptung, nicht als Befund.

Erhöht die Verwendung eines fortgeschrittenen Vokabulars meine KI-Punktzahl? Nichts, was der Anbieter veröffentlicht, spricht dafür. "vocabulary" und "word choice" fehlten beide auf den drei durchsuchten Hilfeseiten. Ein 2023er kontrolliertes Experiment bewegte die Wortwahl direkt und stieß gegen die Volkstheorie, nicht mit ihr: Die Forscher bereicherten die Formulierung bereits markierter Essays, und die Markierungen fielen. Das zeigt, dass die Wortwahl in jenem Experiment nicht inert war. Über Ihr Dokument zeigt es nichts.

Mein Schreiben wiederholt sich, weil die Terminologie konsistent sein muss. Das ist der konventionelle Fall, und er entspricht einem Punkt auf der eigenen Falschpositiv-Liste des Anbieters. Der Rat in dieser Situation ist an die Person gerichtet, die den Bericht liest: Berücksichtigen Sie die Natur des Textes bei der Betrachtung des Prozentsatzes.

Sollte ich SatzLängen-Variation absichtlich hinzufügen? Nicht als Formatierungsübung. Wo Variation bereits Bedeutung trug, ist ihre Wiederherstellung gewöhnliche Überarbeitung. Sie in einem Abschnitt zu erzwingen, dessen Konventionen Einheitlichkeit verlangen, ersetzt Schreiben, das Ihre Disziplin verlangt, mit Schreiben, das sie nicht verlangt – im Austausch für einen Effekt, den niemand von außen messen kann.

Kann ich die Punktzahl selbst überprüfen, bevor ich einreiche? Normalerweise nicht. Turnitins Position: Der KI-Schreibindikator und -Bericht sind für Dozenten und Administratoren bestimmt. Ein Studierender erhält ihn nur, wenn ein Dozent den Bericht herunterlädt und weitergibt. Jeder Rat, der annimmt, Sie könnten die Zahl bewegen sehen, unterstellt Zugang, den die meisten Studierenden nicht haben.