Sapling AI Detector vs. Turnitin: Was in der Dokumentation tatsächlich steht

Der KI-Detektor von Sapling und die KI-Schreiberkennung von Turnitin stammen von unterschiedlichen Teams und basieren auf unterschiedlichen Modellen. Beide wurden mit eigenen Daten trainiert und bewerten Text nach einem eigenen Verfahren. Wenn zwei Detektoren unterschiedliche Modelle einsetzen, kommen sie bei demselben Text zu unterschiedlichen Werten. Eine Passage, die Sapling mit 70 % KI ausweist, kann bei Turnitin mit 25 % bewertet werden – oder umgekehrt. Keines der beiden Ergebnisse ist damit zwangsläufig falsch. Es sind Wahrscheinlichkeitsabschätzungen zweier Modelle, die auf unterschiedlichen Daten beruhen.

Einen allgemeingültigen KI-Wert, auf den alle Tools hinauslaufen, gibt es nicht – woher die Abweichungen kommen, erklärt warum derselbe Text bei jedem Detektor anders bewertet wird. Jeder Detektor stellt seine eigene Schätzung auf. Wer Werte aus verschiedenen Tools so behandelt, als würden sie dieselbe Sache in denselben Einheiten messen, bringt sich damit nur durcheinander.

Wir stellen keine Behauptung darüber auf, welches der beiden Tools treffsicherer ist. Wir geben wieder, was die Dokumentation von Turnitin über das eigene System sagt und warum dieses System Werte liefert, die nicht zu denen von Sapling passen werden.

Turnitin dokumentiert ein ganz bestimmtes Verfahren, das zum KI-Schreibwert führt:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wird bei Turnitin eine Arbeit eingereicht, werden die Sätze daraus entnommen und für die Vorhersageanalyse in überlappende Abschnitte zerlegt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit dafür angibt, dass der Text von einem Menschen oder von einer KI stammt. Jeder geeignete Satz innerhalb dieser Abschnitte übernimmt die Wertung des Abschnitts. Da sich die Abschnitte überlappen, kann ein Satz mehrere Wertungen erhalten, die dann zu einer einzigen zusammengefasst werden. Diese Satzwertungen werden weiter aggregiert und daraus der KI-Schreibwert für das gesamte Dokument berechnet.)

Das Verfahren besteht also darin, Sätze herauszuziehen, sie in überlappende Einheiten zu zerlegen, jeden Abschnitt zu bewerten, die Satzwertungen zusammenzufassen und daraus einen Prozentwert für das gesamte Dokument zu bilden. Andere Detektoren, Sapling eingeschlossen, arbeiten womöglich mit anderen Zerlegungsstrategien, anderen Vorhersageeinheiten oder anderen Aggregationsmethoden. Bei demselben Text werden die beiden Tools nicht auf dieselben Zahlen kommen.

Die Dokumentation von Turnitin stellt außerdem klar, dass der Prozentwert für KI-Schreibweise und der Similarity-Wert zweierlei sind. „The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity-Wert und der Prozentwert für die KI-Schreiberkennung sind vollständig voneinander unabhängig und beeinflussen sich nicht gegenseitig.) Der Similarity-Wert gibt an, wie viel Prozent des eingereichten Dokuments mit Texten übereinstimmen, die Turnitin für die Ähnlichkeitsprüfung bereithält. Ein Dokument kann eine hohe Ähnlichkeit und einen niedrigen KI-Wert haben – oder umgekehrt. KI-Schreibbericht und Similarity-Bericht bei Turnitin im Vergleich liest die beiden Berichte gegeneinander. Die beiden Zahlen beeinflussen sich nicht.

Turnitin veröffentlicht ein konkretes Ziel für falsch positive Ergebnisse:

„We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir bemühen uns, die Wirksamkeit unseres Detektors zu maximieren, und halten dabei unsere Fehlalarmquote – also vollständig von Menschen verfassten Text fälschlich als KI-generiert einzustufen – bei Dokumenten mit mehr als 20 % KI-Text unter 1 %.)

An anderer Stelle formuliert die Dokumentation das so: „In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Anders gesagt: Wir stufen möglicherweise eines von hundert vollständig von Menschen verfassten Dokumenten fälschlich als KI-geschrieben ein.) In dieser Formulierung fehlt die Einschränkung „die Begrenzung auf Dokumente mit mehr als 20 % KI-Text“. Die Fassung mit der 20-Prozent-Schwelle ist präziser.

Um dieses Ziel zu belegen, beschreibt Turnitin das eigene Testverfahren: „To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Um unser Testverfahren zu stützen und statistische Trends bei falsch positiven Ergebnissen zu erkennen, führen wir vor jedem Update und vor jeder Veröffentlichung eines neuen Modells Tests an über 700.000 weiteren wissenschaftlichen Arbeiten durch, die vor der Veröffentlichung von ChatGPT entstanden sind, um unsere Fehlalarmquote von unter 1 % zusätzlich zu bestätigen.)

Das sagt Turnitin über das eigene System. Was ein Prozent bedeutet, sobald eine Universität im großen Stil einreicht, erklärt was eine Fehlalarmquote von 1 % bedeutet. Sapling kann andere Genauigkeitsziele verfolgen, anders validieren oder gar keine vergleichbaren Zahlen veröffentlichen. Einen direkten Vergleich der Treffsicherheit können wir nicht anstellen. Wir können nur wiedergeben, was in der Dokumentation von Turnitin steht.

Die Länge eines Dokuments beeinflusst, wie der Detektor von Turnitin den Text verarbeitet. Bei kurzen Dokumenten verhält sich der Bewertungsmechanismus anders. In der Dokumentation heißt es:

„In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist als Ganz-oder-gar-nicht aus, weil wir sie für ein einzelnes Segment treffen und keine Möglichkeit zur Überlappung haben.)

„This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das heißt, dass ein Text, der KI-generierte und eigene Inhalte mischt, unter Umständen als vollständig KI-generiert markiert wird.)

Der Überlappungsmechanismus, der die Werte in längeren Dokumenten mittelt, greift nicht, wenn der Text nur aus einem einzigen Segment besteht. Ein paar hundert Wörter mit gemischtem menschlichem und KI-erzeugtem Anteil können mit 100 % zurückkommen – eine der Ursachen dafür, warum Turnitin bei Ihrer Arbeit 100 % KI anzeigt. Das ist ein strukturell bedingtes Verhalten bei kurzen Texten.

Wenn Sapling dasselbe kurze Dokument anders bewertet, liegt das unter anderem daran, dass beide Tools kurze Texte nicht auf dieselbe Weise verarbeiten.

Turnitin blendet Zahlenwerte unter 20 % aus. In der Dokumentation heißt es:

„To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Um das mögliche Auftreten falsch positiver Ergebnisse zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % weder ein Wert noch Markierungen vergeben. Wird im Bericht KI unterhalb der 20-Prozent-Schwelle erkannt, wird dies jetzt mit einem Sternchen (*%) angezeigt, ohne dass ein Prozentwert vergeben wird.)

Ein Dokument, das das Modell von Turnitin auf 8 % KI schätzt, zeigt im Bericht ein Sternchen an, nicht die Zahl 8 %. Der Text selbst wird nicht markiert. Die Begründung: In einem Bereich mit geringer Sicherheit sollen mögliche falsch positive Ergebnisse gar nicht erst auftauchen – näher ausgeführt in was das Sternchen (*%) beim KI-Wert von Turnitin bedeutet.

Sapling zeigt Werte in diesem Bereich womöglich als vollen Prozentwert an. Andere Tools markieren Text schon ab dem kleinsten Wert über null. Turnitin blendet unterhalb von 20 % sowohl die Zahl als auch die Markierungen bewusst aus. Wegen dieser Bewertungskonvention werden die beiden Tools bei ein und demselben Dokument mit niedrigem KI-Anteil sehr Unterschiedliches anzeigen.

Sie vergleichen die Ergebnisse von Sapling und Turnitin für dasselbe Dokument? Hier die Zusammenfassung:

• Getrennte Modelle, getrennte Werte. Sapling und Turnitin arbeiten mit unterschiedlichen Erkennungsmodellen. Dass ihre Werte übereinstimmen, ist nicht zu erwarten.
• Turnitin bewertet über Segmente und Aggregation. Sätze werden entnommen, in überlappende Einheiten zerlegt, bewertet, zusammengefasst und aggregiert. Der KI-Wert und der Similarity-Wert sind vollständig unabhängig voneinander.
• Turnitin peilt eine Fehlalarmquote von unter 1 % an, und zwar für Dokumente mit mehr als 20 % KI-Text, abgesichert durch Tests an über 700.000 weiteren wissenschaftlichen Arbeiten, die vor ChatGPT entstanden sind.
• Kurze Dokumente bekommen Ganz-oder-gar-nicht-Werte. Ein paar hundert Wörter können mit 0 % oder 100 % zurückkommen, selbst bei gemischtem Text.
• Werte unter 20 % erscheinen als Sternchen. Im Bereich von 1 % bis 19 % wird weder ein Prozentwert noch eine Markierung angezeigt.

Für Passagen, die die Voraussetzungen erfüllen, ist ein erneuter Durchlauf kostenlos.