Ist 20 % KI zu viel? Warum es keine absolute Schwelle gibt

Die zwanzig Prozent sind bei Turnitin nur die Grenze, ab der überhaupt ein Zahlenwert angezeigt wird – kein allgemeingültiges Fehlverhaltenskriterium. Was ein Bericht bedeutet, hängt vom Begleittext, Modellfehlern, der Lage der Markierungen und den hausinternen Regeln der Hochschule ab.

HumanPen-Team

· 5 Min. Lesezeit

Keine Institution veröffentlicht Schwellenwerte – auch Turnitin nicht

Es gibt keinen branchenweiten Grenzwert, keine anerkannte "sichere Spanne" und keinerlei Angabe von Turnitin, was als zu viel gilt. Jede Institution legt ihre Praxis selbst fest – und das geht weit auseinander: Manche sehen in jeder Markierung Anlass, mit Studierenden zu sprechen, andere ignorieren den Indikator komplett. Die Vanderbilt University hat ihn ganz abgeschaltet.

Die ehrliche Antwort auf die Frage "Ist das viel?" lautet also: Es kommt auf die Policy an, die Sie nachlesen können. Aus der Zahl allein lässt sich nichts ableiten. Jeder Artikel, der Ihnen einen "sicheren Prozentwert" präsentiert, hat ihn sich ausgedacht.

Hinter der Frage stecken zudem drei verschiedene Entscheidungen. Turnitin legt eine Berichtsregel fest – was in der Oberfläche erscheint. Die Hochschule wählt eine Prüfregel – wann Dozierende eine Einreichung unter die Lupe nehmen. Eine Disziplinarkommission wendet einen Beweisstandard an, wenn sie über Regelverstöße entscheidet. Dieselbe Zahl kann in allen drei Phasen vorkommen, bestimmt aber keine davon von sich aus.

Eine 20-%-Anzeigegrenze ist keine 20-%-Fehlverhaltensregel. Beide gleichzusetzen ist der zentrale Irrtum, der hinter den meisten Ratschlägen zu "sicheren Werten" steckt.

Zwei Berichte mit 20 % sind zudem keineswegs automatisch vergleichbar. Das eine Dokument besteht fast vollständig aus fließendem Text, das andere wird von Tabellen und Anhängen dominiert. Beim einen zeigt sich ein einziger konzentrierter Block, beim anderen verstreute Passagen. Der Prozentwert komprimiert all diese unterschiedlichen Fälle in eine einzige Schlagzeile. Die Interpretation beginnt also beim Bericht und der jeweiligen Richtlinie – nicht bei irgendeiner universellen Farbskala.

Der Anbieter hat die Anzeige im unteren Bereich geändert

Es gibt genau eine dokumentierte Grenze – und das ist eine Anzeigeregel. Seit Juli 2024 zeigt Turnitin bei Ergebnissen von 1 % bis 19 % nur einen Sternchen-Hinweis an, keinen numerischen Prozentwert und keine Markierungen. Turnitin begründet das damit, dass Tests im unteren Bereich eine höhere Falsch-Positiv-Rate ergaben und das Ausblenden der Zahl Fehlinterpretationen vorbeugt.

Das Sternchen warnt vor der Unsicherheit im unteren Bereich des Modells. Es bedeutet nicht Null und sagt Institutionen auch nichts darüber, welche disziplinarischen Konsequenzen gezogen werden sollten.

Ein sichtbarer Wert von 20 % und ein ausgeblendeter Wert von 19 % liegen zwar auf gegenüberliegenden Seiten der Anzeigeregel – aber dieser eine Prozentpunkt Unterschied erzeugt keine wissenschaftliche Zäsur. Nahe jeder Schwelle können kleine Änderungen am Modell oder Text dazu führen, dass sich die Anzeige für Nutzer ändert. Deshalb sollte ein Bericht bei 20 % im Kontext gelesen werden, statt ihn als kategorisch anders zu behandeln als einen Sternchen-Eintrag.

Ältere Berichte erschweren den Vergleich zusätzlich. Die Umstellung erfolgte nicht rückwirkend. Eine Einreichung vor dem 8. Juli 2024 kann also weiterhin einen niedrigen Zahlenwert anzeigen, der bei einer neuen Einreichung ausgeblendet würde. Heben Sie Erstellungsdatum, Detektor-Version (falls verfügbar) sowie das ursprüngliche PDF oder einen Screenshot in der Fallakte auf.

Was ist aus der 1-Prozent-Angabe geworden?

Als der Detektor im April 2023 auf den Markt kam, bewarb Turnitin eine dokumentenweite Falsch-Positiv-Rate von weniger als 1 Prozent unter den eigenen Evaluierungsbedingungen. Im Juni 2023 sagte der Chief Product Officer gegenüber Inside Higher Ed, dass eine satzbezogene Falsch-Positiv-Zahl bei rund 4 Prozent lag. Diese Zahlen verwenden unterschiedliche Maßeinheiten und dürfen nicht als einfache Korrektur von 1 auf 4 dargestellt werden.

Eine Falsch-Positiv-Rate braucht zudem einen Nenner und eine Grundgesamtheit. Satzlevel-Fehler fragen, wie oft menschliche Sätze falsch markiert werden; Dokument-Level-Fehler fragen, wie oft ein vollständig menschliches Dokument eine Entscheidungsregel überschreitet. Keine dieser Zahlen lässt sich mit Turnitins 200 Millionen begutachteten Papers im ersten Jahr multiplizieren, um die Zahl der Vorwürfe zu schätzen – denn der Anteil menschlicher, KI-gestützter, nicht bewertbarer und wiederholt eingereichter Texte ist unbekannt.

Vanderbilt nutzte seine rund 75.000 jährlichen Einreichungen, um die institutionelle Größenordnung zu veranschaulichen: Selbst eine klein behauptete Rate kann viele Fälle bedeuten, die eine faire Prüfung erfordern. Daraus ließ sich nicht ableiten, dass exakt 750 Studierende fälschlich beschuldigt würden. Eine Markierung muss nie zum Vorwurf werden, und ein Paper kann viele Sätze enthalten, ohne zu einem falsch-positiven Dokument zu werden.

Die Basisrate ist aus einem weiteren Grund wichtig. Wenn verbotene KI-Nutzung in einer bestimmten Prüfung selten ist, können Falsch-Positive selbst bei hoher Spezifität einen erheblichen Anteil aller Markierungen ausmachen. Ist die Nutzung häufig, kann derselbe Detektor einen anderen positiven Vorhersagewert haben. Ohne Kenntnis von Prävalenz, Sensitivität, Spezifität und dem Prüfprozess der Institution kann ein angezeigter Prozentwert die Frage "Wie wahrscheinlich ist es, dass diese Studentin bzw. dieser Student betrogen hat?" nicht beantworten.

Detektor-Prozentsatz, Falsch-Positiv-Rate und Wahrscheinlichkeit eines Fehlverhaltens sind drei verschiedene Größen. Keine davon lässt sich durch eine andere ersetzen.

Wo sich Falsch-Positive tatsächlich häufen

Turnitin hat eine konkretere Fehleranalyse aus Tests veröffentlicht, die menschliche und KI-geschriebene Sätze mischten: 54 Prozent der beobachteten falsch-positiven Sätze saßen direkt neben einem KI-geschriebenen Satz, weitere 26 Prozent zwei Sätze entfernt.

In dieser Auswertung lagen vier von fünf falsch-positiven Sätzen im Abstand von höchstens zwei Sätzen zu KI-Text. Das beschreibt Grenzflächenverhalten in gemischten Dokumenten – es zeigt nicht, wo Falsch-Positive in einem vollständig menschlichen Paper auftreten, und sollte nicht auf spätere Modellversionen verallgemeinert werden.

Das hat praktische Konsequenzen. In einem Paper mit einigen KI-gestützten Passagen sind die Sätze in ihrer Umgebung am ehesten fehlerhaft markiert. Der Prozentwert kann Ihnen nicht sagen, welcher Satz welcher ist. Die Verteilung kann es – deshalb sollte man den Bericht selbst lesen, nicht nur die Schlagzeile. Turnitin berichtet zudem von einer höheren Falsch-Positiv-Rate bei den ersten und letzten Sätzen eines Dokuments – also in Einleitungen und Schlussfolgerungen – und hat die Aggregation deswegen angepasst.

Deshalb ist das Löschen oder Umschreiben jedes markierten Satzes keine sinnvolle diagnostische Reaktion. Manche markierten Grenzsätze können menschlich sein; manche unmarkierte Passagen können KI-gestützt sein, wurden aber übersehen. Der Bericht zeigt Bereiche, die im Kontext geprüft werden sollten. Autorschaftsbelege kommen weiterhin aus Entwürfen, Quellen, Nutzungsdeklarationen und der Fähigkeit der schreibenden Person, die Arbeit zu erläutern.

Bessere Fragen als "Ist das viel?"

  • "Was macht meine Institution mit dieser Zahl?" Viele sehen sie als Anlass zum Hinschauen, nicht als Feststellung. Turnitin selbst sagt, sie ergebe kein Fehlverhalten.
  • "Wo liegen die Markierungen?" Konzentrieren sie sich auf Methodik, Definitionen und Hintergrund – Passagen, die nun einmal formelhaft klingen sollen – oder verstreuen sie sich durch Ihre Argumentation? Das macht einen Unterschied.
  • "Wie viel des Dokuments wurde überhaupt bewertet?" Der Prozentwert bezieht sich nur auf Fließtext. Ein Paper mit vielen Tabellen, Listen oder Literaturverzeichnis wurde möglicherweise weit weniger bewertet, als Sie denken.
  • "Welchen Berichtsstand und welches Datum sehe ich?" Sternchen, 0 %, numerischer Score und Eligibilitätsfehler bedeuten Unterschiedliches, und Berichte vor Juli 2024 folgen einer älteren Anzeigeregel.
  • "Welche weiteren Belege sind erforderlich?" Fragen Sie, ob Prüfende Entwürfe, Quellen, Versionshistorie, frühere Texte und die Erklärung der Studierenden sichten – statt den Indikator als ausreichend zu behandeln.

Dozierende sollten diesen Prozess schriftlich fixieren, bevor sie das Feature nutzen: Wer darf den Bericht einsehen, was löst ein Gespräch aus, wie erhalten Studierende die Evidenz, welche Nachteilsausgleiche gelten und wer trifft die finale Entscheidung. Studierende sollten diesen schriftlichen Prozess einfordern und die originale Einreichung unverändert aufbewahren. Beide Schritte sind nützlicher, als zu debattieren, ob 20 per se "viel" ist.