Wie breit ist die Spanne bei einem Turnitin-KI-Score? Wir haben nachgezählt

Einen veröffentlichten Wert dieser Art gibt es nicht. Über die drei Seiten hinweg, die den AI Writing Report definieren – gelesen am 28. August 2026, zusammen 46.712 Zeichen gerenderten Artikeltexts –, die Suchbegriffe `interval`, `margin`, `standard deviation`, `uncertain`, `precision`, `variance`, `error bar`, `plus or minus`, `±` und `estimat` liefern zusammen null Treffer. Die Zählung funktionierte: `percentage` kommt im selben Korpus 47-mal vor, `false positive` 21-mal. Was der Anbieter stattdessen veröffentlicht, sind drei Zahlen, die man gern für eine Fehlerspanne hält – und keine davon ist eine.

Dass diese Angabe fehlt, ist hier der eigentliche Erkenntnisgewinn, kein Beschwerdepunkt. Es sagt Ihnen, welche Frage Sie sich sparen können und welche zwei Fragen sich über die Zahl in Ihrem Bericht tatsächlich beantworten lassen.

Zwei benachbarte Seiten behandeln etwas anderes, und diese Seite wiederholt sie nicht: Die Fehlalarmquote von Turnitin, erklärt behandelt die Fehlerquote der Ja-oder-Nein-Entscheidung, und Was eine Fehlalarmquote von 1 % bedeutet, wenn eine Universität 75.000 Arbeiten einreicht behandelt, was diese Quote im Maßstab einer Hochschule anrichtet. Diese Seite hier behandelt die Zahl selbst: wovon sie ein Schätzwert ist und wie weit sie sich bewegen könnte.

Drei Seiten, am 28. August 2026 ausgeloggt im Browser gelesen, gemessen als `document.querySelector('article').innerText`, nicht als gesamter Seiteninhalt. Der Seiteninhalt bringt rund 725 Zeichen Navigation mit und hätte den Nenner aufgebläht, ohne relevanten Text beizusteuern. Zeichenzahlen: Using the AI Writing Report 6.492; the AI writing detection capabilities FAQs 30.987, auf der Seite selbst als "Updated 9 days ago" gekennzeichnet; the AI writing detection model release notes 9.233. Zusammen 46.712.

Die Kontrollbegriffe stehen da, weil eine Reihe Nullen ohne sie nichts wert ist. Wäre die Suche kaputt gewesen oder die Seite nicht gerendert worden, hätte auch `percentage` null ergeben. Es kamen 47 heraus.

Zwei Beinahe-Treffer, die hier stehen sollen, weil aus genau so etwas beim schnellen Lesen gern ein Befund gemacht wird. `confidence` liefert im gesamten Korpus genau einen Treffer, und der ist nicht statistisch gemeint: "While Turnitin has confidence in its model, Turnitin does not make a determination of misconduct." (Turnitin hat zwar Vertrauen in sein Modell, trifft aber keine Feststellung zu einem Fehlverhalten.) Und `precise` liefert genau einen, in einem Versionshinweis von 2023 über die Erkennung von Segmentgrenzen. Beides ist kein Streuungsmaß. Wenn Sie die Zählung wiederholen und auf einen der beiden stoßen, lesen Sie erst den Satz, bevor Sie ihn dafür halten.

Und diese Aussage gilt in beide Richtungen. Dass der Anbieter keine Fehlerspanne veröffentlicht hat, ist eine Tatsache über diese Seiten an diesem Datum. Sie bedeutet nicht, dass das Modell intern kein eigenes Maß für seine Sicherheit hätte; der Abschnitt zum Mechanismus weiter unten sagt, dass es eines berechnet. Ebenso wenig kann irgendjemand daraus ableiten, die Zahl sei präzise. Sie bedeutet, dass die Frage in den geprüften Seiten unbeantwortet bleibt – und das ist etwas anderes, als wäre sie in die eine oder andere Richtung beantwortet.

Die Dokumentation schweigt nicht zum Thema Fehler. Sie schweigt zu dieser Art von Fehler. Drei veröffentlichte Zahlen werden als Fehlerspanne in Dienst genommen, und keine von ihnen passt.

• Das Ziel von unter 1 % Fehlalarmen. Der angegebene Geltungsbereich sind "documents with over 20% of AI writing" (Dokumente mit mehr als 20 % KI-Text), und es geht darum, wie oft ein vollständig von Menschen geschriebener Text überhaupt markiert wird. Das ist die Fehlerquote einer Entscheidung über eine Grundgesamtheit, kein Bereich um Ihre 43.
• Das Beispiel „50 % könnten 65 % sein". Dieses kommt der Sache am nächsten, und ihm gehört der folgende Abschnitt. Es ist gerichtet, und es geht um übersehenen KI-Text, nicht darum, dass der angezeigte Wert zu hoch wäre.
• Der unterdrückte Bereich von 1–19 %. Unterhalb der Schwelle von 20 % wird keine Zahl angezeigt. Das ist eine Aussage darüber, ab wann der Anbieter den Messwert für zu unsicher hält, um ihn zu zeigen – aufschlussreich, aber eine Unterdrückungsregel ist ebenfalls keine Fehlerspanne.

Was in dieser Liste fehlt, ist genau das, was Sie bräuchten: eine Aussage der Form „ein mit X bewertetes Dokument liegt typischerweise zwischen Y und Z". Nichts in den 46.712 Zeichen hat diese Form. Auch die Frage „43 % plus oder minus wie viel" lässt sich mit diesen Primärquellen nicht beantworten. Wer Ihnen einen Wertebereich nennt, sollte dafür eine andere Primärquelle angeben können.

Die Passage, die einer Fehlerspanne am nächsten kommt, beziffert, wie weit der gemeldete Wert von der Wirklichkeit entfernt liegen kann – und sie zeigt dabei nur in eine Richtung.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Um diese niedrige Fehlalarmquote von 1 % zu halten, nehmen wir in Kauf, dass uns in einem Dokument unter Umständen KI-geschriebener Text entgeht. Damit können wir leben, denn wir wollen keinen von Menschen geschriebenen Text fälschlich als KI-geschrieben markieren. Wenn wir etwa feststellen, dass 50 % eines Dokuments wahrscheinlich von einem KI-Werkzeug stammen, könnte der tatsächliche KI-Anteil bei bis zu 65 % liegen.)

Lesen Sie das genau, denn die Form zählt hier mehr als die Zahlen. Dort steht, dass der tatsächliche KI-Anteil höher sein kann als der angezeigte Wert. Das Gegenteil steht dort nicht. Bei unserer Zählung fand sich auf den drei Seiten kein Gegenstück in die andere Richtung. Der einzige Treffer für `up to` in den Versionshinweisen bezieht sich auf eine Eingabegrenze von 30.000 Wörtern, nicht auf einen Prozentwert.

Das ist das ganze Ausmaß an Asymmetrie, das diese Passage hergibt. Sie erklärt, warum das Beispiel nach oben zeigt: Das System nimmt in Kauf, einen Teil des KI-Textes zu übersehen, um Fehlalarme zu verringern. Sie sagt nichts darüber, wie viel Beweisgewicht ein einzelner hoher oder niedriger Score verdient. Die geprüften Seiten veröffentlichen keine Kalibrierungskurve, keine Likelihood-Ratio und keine um die Basisrate bereinigte Kennzahl für diese Schlussfolgerung, und dieselbe FAQ sagt, der Prozentwert solle nicht die alleinige Grundlage für eine Maßnahme sein.

Dieser Absatz hilft Ihnen nicht weiter, wenn Sie die Arbeit selbst geschrieben haben und den Score für falsch halten. Er ist keine Fehlerspanne, sondern eine Offenlegung darüber, in welche Richtung das System irrt. Was bei einem Fehlalarm tatsächlich weiterhilft, ist ein anderes Thema: Die Fehlalarmquote von Turnitin, erklärt behandelt die eigenen Aussagen des Anbieters dazu.

In den FAQs ist der Ablauf der Bewertung beschrieben. Haben Sie ihn einmal gelesen, sehen Sie, wo ein Ungewissheitsmaß hingehört hätte – und wo es aus der öffentlichen Beschreibung herausfällt.

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte zerlegt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text wahrscheinlich von einem Menschen oder von einer KI stammt. Jeder qualifizierende Satz innerhalb dieser Abschnitte übernimmt den Wert des Abschnitts. Da sich die Abschnitte überlappen, können manche Sätze mehrere Werte erhalten, die dann zu einem einzigen Wert zusammengefasst werden. Diese Satzwerte werden weiter aggregiert und daraus der KI-Schreibwert für das gesamte Dokument berechnet.)

Es sind also vier Schritte, und eine stetige Größe existiert bei Schritt eins. Jeder Abschnitt erhält einen Wert zwischen 0 und 1. Sätze erben ihn. Überlappende Werte werden zusammengefasst. Die verbleibenden Ergebnisse auf Satzebene werden zu einer einzigen Zahl für das Dokument zusammengezogen. Eine Wahrscheinlichkeit von 0,51 und eine von 0,99 sind sehr verschiedene Wissensstände – und wenn sie in Ihrem Bericht ankommen, sind beide zu ein und demselben ganzzahligen Prozentwert geworden.

Auf den drei Seiten steht weder, nach welcher Regel die Werte zusammengefasst werden, noch nach welcher sie aggregiert werden, noch ab welchem Schwellenwert ein zusammengefasster Satzwert zu einer markierten Passage wird. Damit bleiben drei ungenannte Funktionen zwischen der Ungewissheit des Modells und dem Prozentwert, den Ihr Dozent sieht. Das beschreibt die öffentliche Lücke genauer, als einfach eine Reihe Nullen zu melden.

Nichts davon macht die Zahl bedeutungslos. Sie ist ein vom Modell abgeleiteter Schätzwert für den Anteil des qualifizierenden Textes, der wahrscheinlich KI-generiert ist. Die fehlende Zusammenfassungsregel, die fehlende Aggregationsregel und die fehlende Fehlerspanne begrenzen, was sich aus diesem Schätzwert ableiten lässt; sie löschen seine veröffentlichte Einheit nicht aus. Die vorsichtige Lesart von 43 % lautet daher „das Modell hat 43 % des qualifizierenden Textes als KI-Text geschätzt", nicht „43 % jedes Wortes in diesem Dokument, mit bekannter Fehlerspanne".

Die Dokumentation trägt eine enge Warnung zum Textumfang, keine allgemeine Regel, die aus der Wortzahl eines Dokuments die Auflösung des Scores vorhersagt.

In den FAQs heißt es: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist als „alles oder nichts" aus, weil wir auf einem einzigen Abschnitt ohne Überlappungsmöglichkeit vorhersagen. Das heißt, dass mancher Text, der eine Mischung aus KI-generiertem und eigenem Inhalt ist, vollständig als KI-generiert markiert werden kann.) Das ist ein dokumentierter Fall mit nur einem Abschnitt. Eine allgemeine Funktion, die zeigt, wie sich die Auflösung des Scores mit wachsendem Textumfang ändert, veröffentlichen die geprüften Seiten nicht.

Die praktische Frage, die Sie also ergänzen sollten, betrifft nicht eine erfundene Fehlerspanne, sondern den Kontext des Berichts: Wie viel qualifizierender Text ist in den Schätzwert eingegangen, und handelt es sich um den Fall mit wenigen hundert Wörtern und einem einzigen Abschnitt, vor dem der Anbieter ausdrücklich warnt? Leiten Sie aus diesem Verhalten kurzer Dokumente keine unveröffentlichte Regel für ein Kapitel von 8.000 Wörtern ab. Kurze Dokumente und das Alles-oder-Nichts-Problem bei Turnitin arbeitet den dokumentierten Kurzfall durch, und Was bei der KI-Erkennung von Turnitin als qualifizierender Text gilt behandelt, was überhaupt in den Nenner eingeht und was nicht.

Es gibt eine Stelle, an der Turnitin faktisch gesagt hat, der Messwert sei nicht belastbar genug zum Abdrucken – und zwar dadurch, dass die Zahl entfernt wurde.

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Um mögliche Fehlalarme zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % weder Score noch Markierungen vergeben. Wird im Bericht KI unterhalb der Schwelle von 20 % erkannt, wird dies jetzt mit einem Sternchen (*%) angezeigt, und es wird kein Prozentwert vergeben.)

Zweierlei folgt daraus und lohnt sich mitzunehmen. Erstens: Ein Sternchen ist kein niedriger Score, der Ihnen verheimlicht wird; der Anbieter vergibt schlicht keinen Score, und Markierungen gibt es auch keine – es gibt also nichts Bestimmtes, worauf jemand zeigen könnte. Zweitens: Dies ist die klarste Stelle in den drei Seiten, an der der Anbieter einen Teil seiner Ausgabe wegen des Fehlalarmrisikos zurückhält. Sie ist das, was einer Offenlegung von Ungewissheit am nächsten kommt, und sie hat die Form einer Regel, nicht einer Zahl. Was bedeutet das Sternchen (*%) bei einem Turnitin-KI-Score? erklärt, was diese Anzeige tatsächlich bedeutet.

Nach allem, was oben steht, bleibt Folgendes brauchbar, wenn Ihnen jemand einen Prozentwert vorlegt.

1. Fragen Sie nicht nach der Fehlerspanne, sondern nach dem Nenner. Aus wie vielen qualifizierenden Sätzen ist dieser Wert entstanden? Ein paar hundert Wörter bedeuten nach der Beschreibung des Anbieters eine nahezu binäre Ausgabe.
2. Merken Sie sich die Richtung des veröffentlichten Beispiels. Gemeldete 50 können 65 sein. Einen quellenbelegten Bereich in die Gegenrichtung haben wir auf den drei geprüften Seiten nicht gefunden.
3. Verstehen Sie das Sternchen als fehlende Zuschreibung, nicht als kleine Zahl. Kein Score, keine Markierungen.
4. Machen Sie aus dem geschätzten Anteil am qualifizierenden Text keinen Anteil Ihrer Absätze. Er entsteht durch unveröffentlichte Zusammenfassung und Aggregation über Abschnitte, nicht durch eine Zählung von Sätzen, die Sie eins zu eins wiederfinden könnten.
5. Messen Sie einer Veränderung zwischen Entwürfen keine Bedeutung bei, die der Anbieter nicht definiert hat. Die geprüften Seiten veröffentlichen keine Schwelle dafür, ab wann eine Veränderung um ein paar Punkte erheblich ist. Behalten Sie den Kontext des qualifizierenden Textes und die Markierungen jedes Berichts bei der Zahl.
6. Nutzen Sie die eigene Formulierung des Anbieters, wenn sie Ihnen entgegengehalten wird. In der FAQ heißt es, der Prozentwert "should not be used as the sole basis for action or a definitive grading measure by instructors" (sollte nicht als alleinige Grundlage für eine Maßnahme oder als verbindliche Bewertungsgrundlage durch Lehrende verwendet werden), und das Modell "may not always be accurate" (trifft womöglich nicht immer zu).

Wenn Ihnen jemand ein Konfidenzintervall für einen Turnitin-KI-Score vorlegt, fragen Sie, woher es stammt. Nach der oben zusammengetragenen Evidenz stammt es nicht von Turnitin.

Alles oben Gesagte betrifft das Lesen des Berichts, nicht das Handeln danach, und beides sollte getrennt bleiben. Eine praktische Folge daraus ist aber nennenswert, weil sie sich unmittelbar aus dem Zählproblem ergibt: Wenn an einem Prozentwert keine veröffentlichte Ungewissheit hängt, dann jagen Sie mit dem Prozentwert etwas ohne definiertes Ziel. Die markierten Passagen haben ein definiertes Ziel. Es sind bestimmte Textabschnitte, die Sie sich ansehen können.

Genau deshalb ist Das Tool HumanPen, das wir selbst bauen, darauf ausgelegt, den Bericht zu importieren und nicht die Zahl darauf. Lesen Sie das als Beschreibung aus erster Hand. Sie übergeben den AI Writing Report, den Sie bereits haben, und die markierten Abschnitte werden zur Grenze des Auftrags; Sie bestätigen diese Grenze auf dem Bildschirm, nur die bestätigten Absätze werden umgeschrieben, alles andere bleibt unverändert. Das ist eine Aussage über den Umfang des Umschreibens, keine Aussage über Upload, Übertragung oder Speicherung. Der Grund, das einem Durchlauf über das ganze Dokument vorzuziehen, ist kein besserer Wert – den kann niemand versprechen. Jeder geänderte Absatz bedeutet vor der Einreichung eine weitere Quellenprüfung, und ein enger Umfang hält diese Prüfschlange kurz. Wenn die Datei selbst das Ergebnis ist, behandelt was ein KI-Humanizer mit Zitaten, Tabellen und Gleichungen macht, was Sie danach prüfen sollten.

Und der naheliegende Vorbehalt, auf den diese Seite acht Abschnitte lang hinausgelaufen ist: Niemand kann Ihnen sagen, wie der nächste Wert ausfallen wird, wir eingeschlossen. Wenn Sie die Arbeit selbst geschrieben haben, gilt das alles nicht für Sie. Das Argument, das Sie vorbringen sollten, betrifft Belege und Verfahren, nicht den Text.

Veröffentlicht Turnitin eine Fehlerspanne für den KI-Prozentwert? Auf den drei Seiten, die den Bericht definieren: nein. Über 46.712 Zeichen hinweg, gelesen am 28. August 2026, `interval`, `margin`, `standard deviation`, `uncertain`, `precision`, `variance`, `error bar`, `plus or minus`, `±` and `estimat` all return zero, while `percentage` returns 47 and `false positive` returns 21 on the same text.

Sind 43 % wirklich 43 % meiner Arbeit? Es ist der vom Modell abgeleitete Schätzwert, dass 43 % des qualifizierenden Textes wahrscheinlich KI-generiert sind, nicht notwendigerweise 43 % der gesamten Einreichung. Weil die Zusammenfassungs- und die Aggregationsregel sowie eine Fehlerspanne nicht veröffentlicht sind, können Sie den Wert nicht eins zu eins auf sichtbare Absätze abbilden.

Könnte der tatsächliche KI-Anteil höher sein als die angezeigte Zahl? Der Anbieter sagt das mit seinem eigenen Beispiel direkt: Bei einem erkannten Wert von 50 % "could contain as much as 65% AI writing" (könnte das Dokument bis zu 65 % KI-Text enthalten). Dieses Beispiel zeigt nach oben. Einen quellenbelegten Bereich in die Gegenrichtung haben wir auf den drei geprüften Seiten nicht gefunden.

Warum bekommt ein kurzer Essay einen extremen Score? Weil es womöglich nur einen Abschnitt gibt. In den FAQs heißt es, die Vorhersage sei bei Dokumenten von wenigen hundert Wörtern "mostly 'all or nothing'" (meist „alles oder nichts"), und gemischter Text könne daher vollständig als KI-generiert markiert werden.

Warum zeigt mein Bericht ein Sternchen statt einer Zahl? Unterhalb der Schwelle von 20 % vergibt der Anbieter weder Score noch Markierungen und zeigt stattdessen `*%` an; als Grund nennt er, mögliche Fehlalarme zu vermeiden.

Beweist ein niedriger oder hoher Score, wer mein Dokument geschrieben hat? Nein. Das Beispiel des Anbieters sagt, dass ein angezeigter Anteil den KI-Text unterschätzen kann; aber die geprüften Seiten veröffentlichen nicht die Kalibrierungs- und Basisratenangaben, die nötig wären, um aus einem einzelnen Prozentwert Beweisgewicht zu machen. Der Anbieter sagt außerdem, der Prozentwert solle nicht die alleinige Grundlage für eine Maßnahme sein.