Was eine False-Positive-Rate von 1 % bedeutet, wenn eine Universität 75.000 Arbeiten einreicht

Eine False-Positive-Rate ist eine Eigenschaft einer Grundgesamtheit, nicht Ihrer einzelnen Arbeit. Die Vanderbilt University hat das im August 2023 in Zahlen gefasst: 75.000 Arbeiten wurden 2022 bei Turnitin eingereicht. Hätte der KI-Detektor damals schon gelaufen, wären bei einer False-Positive-Rate von 1 % "around 750 student papers could have been incorrectly labeled" (rund 750 studentische Arbeiten fälschlich als KI-generiert markiert) worden. Die Universität hat den Detektor abgeschaltet. Zwei Einschränkungen gehören zu diesem Satz dazu – und beide verschwinden in der Weitergabe: Erstens lief der Detektor 2022 gar nicht, deshalb steht im Original "if" (wenn). Zweitens trägt die 1%-Angabe des Anbieters eine Einschränkung, die der nächste Satz desselben Anbieters sofort wieder verwirft.

Das Office of Learning and Innovation der Vanderbilt University veröffentlichte am 16. August 2023 einen Beitrag mit dem Titel "Guidance on AI Detection and Why We're Disabling Turnitin's AI Detector" (Leitfaden zur KI-Erkennung und warum wir den Turnitin-KI-Detektor abschalten). Die Entscheidung selbst wird klar benannt: "Vanderbilt has decided to disable Turnitin's AI detection tool for the foreseeable future." (Die Vanderbilt University hat beschlossen, das KI-Erkennungstool von Turnitin auf absehbare Zeit zu deaktivieren.)

Die Passage, die sich zu merken lohnt, ist die Rechnung:

"At the time of launch, Turnitin claimed that its detection tool had a 1% false positive rate (Chechitelli, 2023). To put that into context, Vanderbilt submitted 75,000 papers to Turnitin in 2022. If this AI detection tool was available then, around 750 student papers could have been incorrectly labeled as having some of it written by AI." (Zum Zeitpunkt der Einführung gab Turnitin an, sein Erkennungstool habe eine False-Positive-Rate von 1 % (Chechitelli, 2023). Zur Einordnung: Die Vanderbilt University reichte 2022 75.000 Arbeiten bei Turnitin ein. Wäre dieses KI-Erkennungstool damals verfügbar gewesen, wären rund 750 studentische Arbeiten fälschlich als teilweise KI-generiert markiert worden.)

Dort passiert nichts Trickreiches. Es ist schlicht ein Prozent von 75.000. Aber genau diese Umrechnung verwandelt einen Prozentsatz in eine konkrete Anzahl von Dokumenten – und darin liegt der ganze Grund, warum Fehlerraten so schwer zu greifen sind.

Lesen Sie den zweiten Satz noch einmal, beginnend beim Wort if. Der Detektor lief nicht, als diese 75.000 Arbeiten eingereicht wurden – das ist es, was "if this AI detection tool was available then" bedeutet. 750 ist also keine gezählte Größe, nicht an der Vanderbilt und nirgendwo sonst. Es ist lediglich die ausgeschriebene Form davon, wie ein Prozent des jährlichen Volumens einer Universität aussieht. Das ist eine deutlich bescheidenere Behauptung als die, für die die Zahl üblicherweise herangezogen wird – und eine viel leichter zu verteidigende.

Für einen Anbieter ist eins zu hundert eine Spezifikation. Für eine Institution ist es eine jährliche Fallzahl. Für Sie ist es beides nicht – Sie sind ein einzelnes Dokument, und die Rate sagt nichts darüber aus, ob Ihres das eine ist.

Dieser letzte Punkt wirkt in beide Richtungen. Und genau hier leisten sich beide Seiten zu weit gehende Schlüsse:

• Es bedeutet nicht, dass Ihre Markierung wahrscheinlich falsch ist. Eine False-Positive-Rate von 1 % bei menschlich verfassten Arbeiten ist problemlos damit vereinbar, dass die meisten markierten Arbeiten zu Recht markiert wurden – abhängig davon, wie viele von vornherein KI-unterstützt waren.
• Es bedeutet aber auch: "Das Tool ist zu 99 % genau, also müssen Sie es gewesen sein" ist kein stichhaltiges Argument. Eine Rate beschreibt eine Grundgesamtheit; sie kann Ihnen nicht sagen, welcher konkrete Fall dieser Grundgesamtheit gerade vor Ihnen liegt. Und ein Prozent eines Jahres mit 75.000 Arbeiten sind hunderte von Dokumenten. In dieser Größenordnung zu liegen, ist nichts Außergewöhnliches. Hunderte Dokumente sind jedoch nicht automatisch hunderte von Vorwürfen – und in der Lücke zwischen diesen beiden Größen hausen die meisten falschen Versionen dieses Arguments.

Die hilfreiche Haltung liegt weder bei "der Detektor ist defekt" noch bei "der Detektor hat recht". Sie lautet vielmehr: Eine Statistik über eine Grundgesamtheit kann keinen Einzelfall entscheiden. Und der Anbieter stimmt dem schriftlich zu: Seine FAQ weist Dozierende explizit darauf hin, den Prozentwert des KI-Schreibindikators nicht als "the sole basis for action or a definitive grading measure" (alleinige Grundlage für Maßnahmen oder als endgültiges Bewertungskriterium) zu behandeln.

Hier ein Detail, das wichtig wird, falls Sie die 1%-Angabe jemals jemandem gegenüber zitieren.

Turnitins FAQ formuliert die Behauptung so: Das Unternehmen strebe an, die False-Positive-Rate – also das "incorrectly identifying fully human-written text as AI-generated" (fälschliche Kennzeichnung vollständig menschlich verfassten Textes als KI-generiert) – "under 1% for documents with over 20% of AI writing" (unter 1 % für Dokumente mit mehr als 20 % KI-Anteil) zu halten.

For documents with over 20% of AI writing. (Für Dokumente mit mehr als 20 % KI-Anteil.) Das ist eine erhebliche Einschränkung der Behauptung – und sie überlebt nicht einmal die eigene Umformulierung des Anbieters einen Satz weiter. Dort heißt es: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Mit anderen Worten: Wir könnten bei jedem hundertsten vollständig menschlich verfassten Dokument fälschlich KI-Anteil anzeigen.)

Die beiden Sätze sind nicht äquivalent. Und es ist der zweite, der sich verselbstständigt. Wenn Sie die Zahl verwenden, nutzen Sie die Version mit Einschränkung – schon deshalb, weil jemand auf der anderen Seite des Tisches wissen könnte, dass diese Einschränkung existiert.

Der Beitrag stammt aus dem August 2023. Ein Teil davon ist Arithmetik – die rechnet sich nicht weg. Ein Teil ist eine Behauptung darüber, was der Anbieter damals veröffentlicht hat – und das altert. Beides zu unterscheiden, bevor Sie etwas zitieren, ist der größte Teil der Arbeit.

Die Rechnung dürfen Sie wiederholen – mit dem if im Gepäck. Ein Prozent eines großen Einreichungsvolumens ist eine große Anzahl von Dokumenten, und nichts seit 2023 ändert daran etwas.

Die Sorge um nicht-muttersprachliche Schreibende dürfen Sie wiederholen. Diese stützt sich übrigens gar nicht auf diesen Beitrag. Es gibt Forschung dazu. Was diese Forschung tatsächlich gemessen hat, haben wir in Bias von KI-Detektoren gegenüber nicht-muttersprachlichem Englisch durchgearbeitet.

Die Kritik an mangelnder Transparenz sollten Sie prüfen, bevor Sie sie wiederholen. Die Vanderbilt University schrieb: "Turnitin gives no detailed information as to how it determines if a piece of writing is AI-generated or not" (Turnitin liefert keine detallierten Informationen darüber, wie es entscheidet, ob ein Text KI-generiert ist oder nicht). Die heutige FAQ beschreibt sehr wohl, wie ein Score zustande kommt: Sätze werden extrahiert und in überlappende Abschnitte unterteilt, jedes Segment wird klassifiziert und erhält einen Wert zwischen 0 und 1, qualifizierte Sätze erben den Score ihres Segments, überlappende Scores werden gepoolt und die gepoolten Satz-Scores werden zu einem Dokumenten-Score aggregiert. Behaupten Sie in einer Besprechung, es sei nie etwas darüber veröffentlicht worden, wie das Tool funktioniert, kann Ihnen jemand diesen Absatz vorlegen.

Lesen Sie jedoch den Satz danach im Beitrag, bevor Sie entscheiden, der Einwand sei beantwortet. Denn der Einwand ist enger gefasst als "sagt uns, wie es funktioniert". Die Kritik lautet, das Tool "looks for patterns common in AI writing, but they do not explain or define what those patterns are" (suche nach Mustern, die typisch für KI-Texte sind, aber es werde nicht erklärt oder definiert, was diese Muster sind). Eine Beschreibung, wie Segment-Scores kombiniert werden, ist keine Beschreibung der Muster selbst. Der veröffentlichte Mechanismus und der veröffentlichte Einwand behandeln zwei verschiedene Fragen – und beide können am selben Tag zutreffend zitiert werden.

Was wir Ihnen nicht sagen können: Wann dieser FAQ-Absatz erstmals erschien. Wir haben kein Datum dafür gefunden. Nichts oben sollte also so gelesen werden, als habe der Anbieter dies als Antwort auf diesen Beitrag veröffentlicht.

Noch eine Einschränkung – und diese stammt von der Vanderbilt University. Der Beitrag beschreibt das Feature als eingeführt mit "less than 24-hour advance notice, no option at the time to disable the feature" (weniger als 24 Stunden Vorwarnzeit, damals keine Möglichkeit, das Feature zu deaktivieren). At the time (damals) steht im Originalsatz. Zitieren Sie es ohne diese drei Worte, verwandeln Sie eine Aussage über die Einführungsphase in eine dauerhafte Behauptung über das Produkt. Das ist derselbe Kunstgriff wie wenn man "over 20%" von der 1%-Angabe weglässt – nur von der anderen Seite der Argumentation.

1. Nennen Sie das Datum. "2023 hat die Vanderbilt University das Tool abgeschaltet und diese Begründung veröffentlicht" ist überprüfbar und verteidigbar. "Universitäten haben KI-Erkennung aufgegeben" ist beides nicht.
2. Sagen Sie, wovon die Rechnung ein Beispiel ist. Sie funktioniert, weil jede Institution sie mit ihrem eigenen Volumen nachrechnen kann. Und sie macht einen echten Punkt: Ein kleiner Prozentsatz erzeugt immer noch einen Arbeitsberg, den jemand fair sichten muss. Was sie nicht leistet: Vorhersagen über die Anzahl von Vorwürfen. Nicht jede Einreichung ist score-fähig, niemand außerhalb der Institution weiß, wie viel KI-Nutzung tatsächlich stattfand, und eine Markierung muss nicht zwingend zu einem Vorwurf werden. Wir nehmen das ausführlicher auseinander in Ist 20 % KI-Anteil zu viel?.
3. Behaupten Sie nicht, dies beweise irgendetwas über Ihr Dokument. Es zeigt lediglich, dass falsche Markierungen bei großem Volumen ein gewöhnliches Ereignis sind – was eine andere und deutlich bescheidenere Aussage ist.
4. Prüfen Sie, ob Ihre eigene Institution etwas veröffentlicht hat. Schauen Sie in die Academic-Integrity-Richtlinie und in das, was das Lehr-Lern-Zentrum herausgibt – nicht nur auf die News-Seite. In jeder Diskussion, die Sie führen werden, zählt eine lokale Aussage mehr als eine ferne.
5. Halten Sie es aus Ihrer Eröffnung raus. Prozess und Herkunft überzeugen zuerst; Statistiken sind das, worauf Sie zurückgreifen, wenn jemand argumentiert, die Zahl spreche für sich selbst.

Wenn ja, ist der Bericht, der vor Ihnen liegt, das entscheidende Objekt – nicht all das oben Genannte. Wovon der Prozentwert eine Statistik ist und warum Highlights und Zahl voneinander abweichen können, ist ein separates Thema. Abgedeckt in Den KI-Schreibbericht Zeile für Zeile lesen.

HumanPen greift erst an dem Punkt ein, an dem konkrete Textstellen markiert sind und einige davon geändert werden müssen: Der Bericht zieht die Grenze, und nicht markierte Absätze behalten Ihre bestehende Formulierung.

All das ist keine Antwort auf einen False Positive. Wenn Ihre Position lautet, dass Sie es selbst geschrieben haben, ist Umschreiben der falsche Zug. Und was Gutachtende tatsächlich überzeugt, ist ein völlig anderes Thema: welche Evidenz ein Gremium bewegt hat.

Bedeutet eine False-Positive-Rate von 1 %, dass meine Markierung wahrscheinlich falsch ist? Nein. Es ist eine Rate über eine Grundgesamtheit menschlich verfasster Dokumente und sagt nichts über einen Einzelfall aus. Es bedeutet jedoch, dass bei institutionellem Volumen fälschlich markierte Arbeiten ein gewöhnliches Vorkommnis sind – kein Ausnahmefall.

Woher stammt die Zahl 750? Aus dem eigenen Beitrag der Vanderbilt University vom 16. August 2023, angewendet auf die 75.000 Arbeiten, die 2022 bei Turnitin eingereicht wurden. Beachten Sie die Bedingung: Der Detektor lief 2022 nicht, deshalb heißt es im Satz "if this AI detection tool was available then" (wenn dieses KI-Erkennungstool damals verfügbar gewesen wäre). Er zeigt lediglich, wie ein Prozent des Volumens dieser Universität ausgeschrieben aussieht. Es ist kein Beleg dafür, dass 750 Arbeiten fälschlich markiert wurden, und keine Prognose für andere Institutionen.

Ist die 1%-Behauptung bedingungslos? Nein. Turnitins eigenes Ziel lautet: unter 1 % "for documents with over 20% of AI writing" (für Dokumente mit mehr als 20 % KI-Anteil). Die eigene Umformulierung im darauffolgenden Satz lässt diese Einschränkung weg – weshalb die unqualifizierte Version kursiert.

Haben Universitäten KI-Erkennung generell abgeschaltet? Das lässt sich aus dieser Quelle nicht ableiten. Sie dokumentiert die Entscheidung einer einzigen Institution im Jahr 2023 samt Begründung. Ob Ihre Institution es nutzt, ist eine lokale Frage mit einer lokalen Antwort.