Humbot vs Turnitin: Was die Dokumentation tatsächlich sagt

Der KI-Detector von Humbot und die KI-Schreiberkennung von Turnitin stammen von unterschiedlichen Teams und basieren auf unterschiedlichen Modellen. Beide wurden mit eigenen Daten trainiert und ordnen Text nach einem eigenen Verfahren ein. Wenn zwei Detectors verschiedene Modelle einsetzen, kommen sie beim selben Text zu verschiedenen Werten. Eine Passage, die Humbot mit 70 % KI einstuft, kann bei Turnitin auf 25 % kommen — oder umgekehrt. Keines der beiden Ergebnisse ist deshalb falsch. Es sind Wahrscheinlichkeiten, die zwei verschiedene Modelle auf zwei verschiedenen Datensätzen berechnet haben.

Einen allgemeingültigen KI-Wert, auf den sich alle Werkzeuge einigen, gibt es nicht; das führt warum derselbe Text bei jedem Detector anders bewertet wird im Einzelnen aus. Jeder Detector liefert seine eigene Schätzung. Wer Werte aus verschiedenen Werkzeugen behandelt, als würden sie dieselbe Sache in denselben Einheiten messen, sorgt nur für Verwirrung.

Wir behaupten nicht, welches der beiden Werkzeuge genauer ist. Wir geben wieder, was die Dokumentation von Turnitin über das eigene System sagt und warum dieses System Werte erzeugt, die nicht zu denen von Humbot passen.

Turnitin beschreibt ein festes Verfahren, mit dem der KI-Schreibscore zustande kommt:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte zerlegt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text von einem Menschen oder von einer KI stammt. Jeder in Frage kommende Satz innerhalb dieser Abschnitte übernimmt den Score des Abschnitts. Da die Abschnitte überlappen, können manche Sätze mehrere Scores haben, die dann zu einem einzigen Wert zusammengefasst werden. Diese Satzwerte werden weiter aggregiert und daraus der KI-Schreibscore für das gesamte Dokument berechnet.)

Das Verfahren geht so: Sätze extrahieren, in überlappende Einheiten zerlegen, jeden Abschnitt bewerten, die Satzwerte zusammenführen und zu einem Prozentwert für das gesamte Dokument aggregieren. Andere Detectors, Humbot eingeschlossen, arbeiten womöglich mit anderen Zerlegungen, anderen Vorhersageeinheiten oder anderen Aggregationsmethoden. Auf denselben Text werden die beiden Werkzeuge keine übereinstimmenden Zahlen liefern.

Die Dokumentation von Turnitin stellt außerdem klar, dass der Prozentwert der KI-Schreiberkennung und der Similarity-Score zwei verschiedene Dinge sind. „The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity-Score und der Prozentwert der KI-Schreiberkennung sind vollständig unabhängig voneinander und beeinflussen sich nicht gegenseitig.) Der Similarity-Score gibt an, wie viel Prozent des eingereichten Dokuments beim Abgleich mit der umfassenden Inhaltesammlung von Turnitin als Übereinstimmung gefunden wurden. Ein Dokument kann hohe Ähnlichkeit und wenig KI aufweisen — oder umgekehrt. Die beiden Zahlen beeinflussen sich nicht.

Turnitin veröffentlicht ein konkretes Ziel für Fehlalarme:

„We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Wirksamkeit unseres Detectors zu maximieren und dabei unsere Fehlerrate — also das fälschliche Einstufen eines vollständig von Menschen geschriebenen Textes als KI-generiert — bei Dokumenten mit mehr als 20 % KI-Text unter 1 % zu halten.)

An anderer Stelle formuliert die Dokumentation dasselbe so: „In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Anders gesagt: Wir stufen möglicherweise eines von je 100 vollständig von Menschen geschriebenen Dokumenten als KI-geschrieben ein.) In dieser Fassung fällt die Einschränkung „über 20 % KI-Text" weg. Die Version mit der Schwelle von 20 % ist präziser, und ob 20 % KI zu hoch sind erklärt, warum diese Zahl ein technisches Ziel des Anbieters ist und keine Bestehensgrenze.

Um dieses Ziel zu belegen, beschreibt Turnitin das eigene Testverfahren: „To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Um unser Testverfahren zu stärken und statistische Trends bei Fehlalarmen zu erkennen, führen wir vor jedem Update oder jeder neuen Modellversion Tests an über 700.000 weiteren wissenschaftlichen Arbeiten durch, die vor der Veröffentlichung von ChatGPT verfasst wurden, um unsere Fehlerrate von unter 1 % zusätzlich zu bestätigen.)

Das ist die Auskunft von Turnitin über das eigene System. Was eine Fehlerrate von 1 % bedeutet setzt diese Zahl ins Verhältnis zu dem Volumen, das an einer Universität tatsächlich eingereicht wird. Humbot kann andere Genauigkeitsziele verfolgen, anders validieren oder schlicht keine vergleichbaren Zahlen veröffentlichen. Einen direkten Genauigkeitsvergleich können wir nicht anstellen. Wir können nur wiedergeben, was in der Dokumentation von Turnitin steht.

Die Länge eines Dokuments beeinflusst, wie der Detector von Turnitin den Text verarbeitet. Bei kurzen Dokumenten verhält sich der Bewertungsmechanismus anders. In der Dokumentation heißt es:

„In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist als „alles oder nichts" aus, weil wir die Vorhersage für ein einzelnes Segment treffen und keine Möglichkeit zur Überlappung haben.)

„This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass mancher Text, der eine Mischung aus KI-generierten und eigenen Inhalten ist, als vollständig KI-generiert markiert werden kann.)

Der Überlappungsmechanismus, der die Werte in längeren Dokumenten mittelt, greift nicht, wenn der Text aus einem einzigen Segment besteht. Ein paar hundert Wörter mit gemischtem menschlichem und KI-Anteil können mit 100 % zurückkommen — einer der Gründe, die in warum Turnitin bei Ihrer Arbeit 100 % KI anzeigt aufgeführt sind. Das ist ein strukturelles Verhalten bei kurzen Eingaben.

Wenn Humbot dasselbe kurze Dokument anders bewertet, liegt das unter anderem daran, dass die beiden Werkzeuge kurze Eingaben nicht auf dieselbe Weise verarbeiten.

Turnitin unterdrückt Zahlenwerte unter 20 %. In der Dokumentation heißt es:

„To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (Um mögliche Fehlalarme zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % weder ein Score noch Markierungen vergeben. Wird im Bericht KI unterhalb der Schwelle von 20 % erkannt, wird dies jetzt mit einem Sternchen (*%) angezeigt, und es wird kein Prozentwert ausgewiesen.)

Ein Dokument, das das Modell von Turnitin auf 8 % KI schätzt, zeigt im Bericht ein Sternchen, nicht die Zahl 8 %. Markierungen im Text entfallen. Die Begründung: In einem Bereich mit geringer Treffsicherheit sollen mögliche Fehlalarme gar nicht erst auftauchen — weiter ausgeführt in was das Sternchen (*%) beim Turnitin-KI-Score bedeutet.

Humbot gibt Werte in diesem Bereich womöglich als vollen Prozentwert aus. Andere Werkzeuge markieren Text schon ab jedem Wert über null. Turnitin unterdrückt unterhalb von 20 % bewusst sowohl die Zahl als auch die Markierungen. Wegen dieser Darstellungskonvention liefern die beiden Werkzeuge für dasselbe Dokument mit wenig KI-Anteil sehr unterschiedliche Ausgaben.

Wenn Sie die Ergebnisse von Humbot und Turnitin für dasselbe Dokument vergleichen, hier die Zusammenfassung:

• Getrennte Modelle, getrennte Werte. Humbot und Turnitin arbeiten mit unterschiedlichen Erkennungsmodellen. Ihre Werte werden nicht übereinstimmen.
• Turnitin bewertet in Segmenten und fasst zusammen. Sätze werden extrahiert, in überlappende Einheiten zerlegt, bewertet, zusammengeführt und aggregiert. KI-Score und Similarity-Score sind vollständig unabhängig voneinander.
• Turnitin peilt weniger als 1 % Fehlalarme an, und zwar bei Dokumenten mit mehr als 20 % KI-Text, geprüft an über 700.000 weiteren wissenschaftlichen Arbeiten, die vor ChatGPT entstanden sind.
• Kurze Dokumente erhalten Alles-oder-nichts-Werte. Ein paar hundert Wörter können mit 0 % oder 100 % zurückkommen, selbst bei gemischtem Text.
• Werte unter 20 % erscheinen als Sternchen. Im Bereich von 1 % bis 19 % gibt es weder einen Prozentwert noch Markierungen.

Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.