Scribbr KI-Detektor gegen Turnitin: Was die Dokumentation tatsächlich sagt

Der KI-Detektor von Scribbr ist ein kostenloses Werkzeug für alle. Die KI-Schreiberkennung von Turnitin bleibt Institutionen vorbehalten, und ob die eigene Hochschule sie überhaupt eingeschaltet hat, ist eine andere Frage, die in ob Hochschulen KI-Detektoren einsetzen behandelt wird. Die beiden Werkzeuge stammen von unterschiedlichen Teams und beruhen auf unterschiedlichen Modellen. Jedes wurde mit eigenen Daten trainiert und ordnet Text nach einem eigenen Verfahren ein. Wenn zwei Detektoren verschiedene Modelle verwenden, kommen sie bei demselben Text zu verschiedenen Werten. Eine Passage, die Scribbr mit 65 % KI ausweist, kann bei Turnitin 30 % erhalten – oder umgekehrt. Keines der beiden Ergebnisse ist deshalb falsch. Es sind Wahrscheinlichkeiten, die aus verschiedenen Modellen mit verschiedenen Datensätzen stammen.

Es gibt keinen allgemeingültigen KI-Wert, auf den sich alle Werkzeuge einigen, und die Gründe dafür sind in warum derselbe Text bei jedem Detektor anders bewertet wird dargelegt. Jeder Detektor erstellt seine eigene Schätzung. Wer Werte aus verschiedenen Werkzeugen so behandelt, als würden sie dieselbe Sache in denselben Einheiten messen, sorgt nur für Verwirrung.

Wir behaupten nicht, welches der beiden Werkzeuge genauer ist. Wir geben wieder, was die Dokumentation von Turnitin über das eigene System sagt und warum dieses System Werte liefert, die nicht zu denen von Scribbr passen.

Turnitin beschreibt ein ganz bestimmtes Verfahren, mit dem der KI-Schreibwert zustande kommt:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung herausgelöst und zur Vorhersageanalyse in überlappende Abschnitte zerlegt. Jeder Abschnitt wird vom KI-Erkennungsmodell eingeordnet und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt. Jeder infrage kommende Satz in diesen Abschnitten übernimmt den Wert des Abschnitts. Weil sich die Abschnitte überlappen, können einzelne Sätze mehrere Werte haben, die dann zu einem einzigen Wert zusammengefasst werden. Diese Satzwerte werden weiter aggregiert und daraus wird der KI-Schreibwert des gesamten Dokuments berechnet.)

Der Ablauf: Sätze herauslösen, in überlappende Einheiten zerlegen, jeden Abschnitt bewerten, Satzwerte zusammenfassen und zu einem Prozentwert für das ganze Dokument aggregieren. Andere Detektoren, Scribbr eingeschlossen, arbeiten womöglich mit anderen Zerlegungen, anderen Vorhersageeinheiten oder anderen Verfahren beim Zusammenfassen. Auf dieselben Zahlen werden sich die beiden Werkzeuge bei demselben Text nicht einigen.

Die Dokumentation von Turnitin stellt außerdem klar, dass der Anteil erkannter KI-Schreibung und der Similarity-Wert zweierlei sind. „The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity-Wert und der Prozentsatz der KI-Schreiberkennung sind völlig unabhängig voneinander und beeinflussen sich nicht gegenseitig.) Ein Dokument kann eine hohe Ähnlichkeit und wenig KI aufweisen oder umgekehrt. Die beiden Zahlen sagen der jeweils anderen nichts.

Turnitin veröffentlicht eine konkrete Zielvorgabe für Fehlalarme:

„We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Wirksamkeit unseres Detektors zu maximieren und dabei unsere Fehlalarmquote – also den Anteil vollständig von Menschen verfasster Texte, die fälschlich als KI-generiert eingeordnet werden – bei Dokumenten mit mehr als 20 % KI-Text unter 1 % zu halten.)

Auf die Einschränkung kommt es an. Die Zielvorgabe gilt ausdrücklich für Dokumente mit mehr als 20 % KI-Text, eine Schwelle, die nicht bedeutet, was die meisten vermuten, wie ob ein KI-Anteil von 20 % zu hoch ist Schritt für Schritt vorrechnet. Das ist die Aussage von Turnitin über das eigene System. Scribbr kann andere Genauigkeitsziele verfolgen, anders validieren oder gar keine vergleichbaren Zahlen veröffentlichen. Einen direkten Genauigkeitsvergleich können wir nicht ziehen. Wir können nur wiedergeben, was in der Dokumentation von Turnitin steht.

Die Länge eines Dokuments beeinflusst, wie der Detektor von Turnitin den Text verarbeitet. Bei kurzen Dokumenten arbeitet die Bewertung anders. In der Dokumentation heißt es:

„In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage im Wesentlichen als „alles oder nichts" aus, weil wir die Vorhersage für ein einzelnes Segment treffen und keine Möglichkeit zur Überlappung haben.)

„This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das heißt, dass manche Texte, die KI-generierte und eigene Inhalte mischen, als vollständig KI-generiert markiert werden können.)

Der Überlappungsmechanismus, der in längeren Dokumenten die Werte ausmittelt, greift nicht, wenn der Text ein einziges Segment ist. Ein paar hundert Wörter mit gemischtem menschlichem und KI-Anteil können mit 100 % zurückkommen – einer der Wege, die in warum Turnitin Ihre Arbeit für 100 % KI hält beschrieben sind. Das ist ein strukturelles Verhalten bei kurzen Texten. Scribbr verarbeitet kurze Dokumente womöglich über einen anderen Mechanismus und kommt bei demselben Text zu einem anderen Ergebnis.

Turnitin unterdrückt Zahlenwerte unter 20 %. In der Dokumentation heißt es:

„To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Um mögliche Fehlalarme zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % weder ein Wert noch Markierungen vergeben. Wird im Bericht KI unterhalb der Schwelle von 20 % erkannt, wird das jetzt mit einem Sternchen (*%) angegeben und kein Prozentwert ausgewiesen.)

Für ein Dokument, das das Modell von Turnitin auf 10 % KI schätzt, erscheint im Bericht ein Sternchen und nicht die Zahl 10 %. Markierungen werden am Text nicht vorgenommen. Die Begründung: In einem Bereich, in dem die Sicherheit gering ist, sollen mögliche Fehlalarme gar nicht erst auftauchen, was was das Sternchen (*%) beim KI-Wert von Turnitin bedeutet genauer ausführt.

Scribbr zeigt Werte in diesem Bereich womöglich als vollen Prozentwert an. Andere Werkzeuge markieren Text schon ab irgendeinem Wert über null. Turnitin unterdrückt unterhalb von 20 % mit Absicht sowohl die Zahl als auch die Markierungen. Wegen dieser Darstellungsweise liefern die beiden Werkzeuge für dasselbe Dokument mit wenig KI-Anteil sehr unterschiedliche Ausgaben.

Wenn Sie die Ergebnisse von Scribbr und Turnitin für dasselbe Dokument vergleichen, hier die Zusammenfassung:

• Eigene Modelle, eigene Werte. Scribbr und Turnitin verwenden unterschiedliche Erkennungsmodelle. Dass ihre Werte übereinstimmen, ist nicht zu erwarten.
• Turnitin bewertet durch Zerlegen und Zusammenfassen. Sätze werden herausgelöst, in überlappende Einheiten zerlegt, bewertet, zusammengefasst und aggregiert. Der KI-Wert und der Similarity-Wert sind vollständig unabhängig voneinander.
• Turnitin peilt eine Fehlalarmquote unter 1 % an, und zwar für Dokumente mit mehr als 20 % KI-Text.
• Kurze Dokumente bekommen Alles-oder-Nichts-Werte. Ein paar hundert Wörter können mit 0 % oder 100 % zurückkommen, selbst wenn der Text gemischt ist.
• Werte unter 20 % erscheinen als Sternchen. Im Bereich von 1-19 % wird weder ein Prozentwert noch eine Markierung ausgegeben.

Passagen, die die Voraussetzungen erfüllen, lassen sich kostenlos erneut durchlaufen.