Turnitin veröffentlicht zwei verschiedene Fehlalarmquoten. Die für Sätze liegt bei 4 %.

Wenn in Ihrem Bericht ein paar Sätze markiert sind, beziffern die 4 % die Wahrscheinlichkeit, dass einer dieser markierten Sätze tatsächlich von einem Menschen stammt. Die Markierung dieses einen Satzes kann falsch sein, und „rund 4 %" ist die Häufigkeit, mit der das vorkommt. Es ist eine Zahl pro Satz, keine Zahl pro Dokument, und die eine lässt sich nicht aus der anderen ableiten.

Die Chief Product Officer von Turnitin, Annie Chechitelli, hat es im Juni 2023 so formuliert:

„Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content." (Unsere Fehlalarmquote auf Satzebene liegt bei rund 4 %. Das heißt: Es besteht eine Wahrscheinlichkeit von 4 %, dass ein bestimmter, als KI-geschrieben markierter Satz tatsächlich von einem Menschen stammt. Das tritt häufiger in Dokumenten auf, die menschlich und KI-geschriebene Inhalte mischen, besonders an den Übergängen zwischen menschlich und KI-geschriebenen Textteilen.)

Die 4 % beziehen sich auf einen Satz, der bereits markiert ist. Sie sagen etwas über die Treffsicherheit einer einzelnen Markierung, nicht darüber, wie viele Markierungen Sie in einem ganzen Dokument sehen werden.

Für Dokumente veröffentlicht Turnitin eine eigene, niedrigere Quote:

„Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing." (Unsere Fehlalarmquote auf Dokumentebene – wenn also innerhalb eines Dokuments ein vollständig von einem Menschen geschriebener Text fälschlich als KI-generiert eingestuft wird – liegt bei unter 1 % für Dokumente mit 20 % oder mehr KI-Text.)

Zwei Dinge fallen auf. Zum einen beschreibt die Quote den Fall, dass ein ganzes Dokument fälschlich als KI-haltig markiert wird, obwohl es vollständig von einem Menschen geschrieben wurde. Und zum anderen gilt der Wert von unter 1 % ausdrücklich nur für Dokumente mit 20 % oder mehr KI-Text, also für gemischte Dokumente, in denen tatsächlich KI-Text vorkommt.

Hier liegt der Punkt, bei dem man leicht falsch liegt und bei dem es sich lohnt, genau zu sein: Keine der beiden veröffentlichten Zahlen ist auf eine Arbeit zugeschnitten, die Sie vollständig selbst geschrieben haben.

Die 4 % werden als Merkmal gemischter Dokumente beschrieben, „particularly in the transitions between human- and AI-written content." (also besonders an den Übergängen zwischen menschlich und KI-geschriebenen Textteilen). Eine Arbeit ohne KI-Text hat solche Übergänge nicht, folglich beschreibt das Szenario, auf das Turnitin die 4 % bezieht, Ihre Situation nicht.

Aber die Quote von unter 1 % schließt diese Lücke auch nicht. Lesen Sie ihren Wortlaut noch einmal: Sie gilt „less than 1% for documents with 20% or more AI writing." (mit unter 1 % für Dokumente mit 20 % oder mehr KI-Text). An dieser Zahl hängt eine Bedingung, und ein Dokument ohne KI-Text erfüllt diese Bedingung nicht.

Beide Zahlen haben also einen Geltungsbereich, und eine rein menschlich geschriebene Arbeit liegt außerhalb von beiden. Das sollten Sie wissen, bevor Ihnen jemand eine der beiden Zahlen so entgegenhält, als wäre die Sache damit geklärt.

Turnitin hat einen konkreten Datenpunkt dazu veröffentlicht, wo diese falsch markierten Sätze auftauchen:

„As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing." (Wie in meinem früheren Artikel erläutert, besteht ein Zusammenhang zwischen diesen Sätzen und ihrer Nähe zu tatsächlichem KI-Text im Dokument. In 54 % der Fälle stehen diese Sätze unmittelbar neben tatsächlichem KI-Text.)

Mit „diesen Sätzen" sind die Fehlalarme gemeint: die von Menschen geschriebenen Sätze, die trotzdem markiert wurden. Mehr als die Hälfte von ihnen steht unmittelbar neben echtem KI-Text. Das passt zu der früheren Aussage, dass sich Fehlalarme an den Übergängen zwischen menschlichem und KI-Text konzentrieren.

Genau deshalb spricht diese Statistik für Sie eher in die andere Richtung. Wenn die Markierungen über eine Arbeit verteilt sind, in der nirgends KI-Text steckt, dann ist der Mechanismus, den Turnitin hier beschreibt, nicht der, der sie erzeugt. Es ist lediglich eine Beschreibung davon, wo sich die Fehler des Systems in gemischten Dokumenten häufen, und mehr nicht.

Derselbe Beitrag sagt ausdrücklich, dass eine Markierung ein Ausgangspunkt ist, kein Ergebnis – und er sagt das den Lehrenden, also genau denen, die es lesen sollen:

„Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion." (Betrachten Sie markierte Sätze als Bereiche von Interesse, weil sie voraussichtlich in der Nähe von KI-Text stehen. In einem kleinen Prozentsatz der Fälle kann das KI-Modell jedoch falsch liegen. Nutzen Sie die Information also, um ein Gespräch zu beginnen, und nicht, um ein Urteil zu fällen.)

Der Beitrag schließt außerdem das aus, woran Studierende sich am häufigsten gemessen glauben. Es gibt keine Zahl, die Sie treffen müssten:

„Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score." (Denken Sie daran: Beim KI-Schreibindikator gibt es keinen ‚richtigen‘ Wert und auch keinen ‚Zielwert‘, genau wie beim Similarity Score.)

Nichts davon sagt Ihnen, ob Sie in Schwierigkeiten stecken, denn das kann keine veröffentlichte Zahl leisten. Was es Ihnen gibt, ist ein Weg, das Gespräch beim Bericht selbst zu halten und nicht bei einer Prozentzahl.

• Fragen Sie, welche Stellen es betrifft, und fordern Sie den Bericht an, nicht einen Screenshot. Zwei markierte Sätze und eine Zahl auf Dokumentebene sind verschiedene Dinge. Nur die Markierungen haben eine Stelle, auf die Sie zeigen können.
• Fragen Sie, welche Zahl Ihnen da entgegengehalten wird, und lesen Sie ihre Bedingung laut vor. Der Wert von unter 1 % trägt die Einschränkung „for documents with 20% or more AI writing" (für Dokumente mit 20 % oder mehr KI-Text) schon im eigenen Satz. Wenn diese Bedingung auf Ihre Arbeit nicht zutrifft, sagen Sie das.
• Nehmen Sie die Anweisung von Turnitin selbst mit. Sie sagt Lehrenden, eine Markierung solle ein Gespräch eröffnen und kein Urteil begründen. Dieser Satz richtet sich an die Person, die Ihren Bericht in der Hand hält, und er steht oben Wort für Wort im Original.
• Bewahren Sie, was zeigt, wie die Arbeit entstanden ist – Entwürfe, Versionsverlauf, Notizen, die Literatur, die Sie gelesen haben. Das ist ein Beleg für die Urheberschaft. Eine Prozentzahl ist das nicht.