Winston AI vs. Turnitin: Warum die KI-Erkennung zu anderen Ergebnissen kommt

Winston AI und Turnitin sind zwei verschiedene KI-Detektoren: andere Modelle, andere Trainingsdaten, andere Schwellenwerte bei der Einordnung. Was das eine Tool ausgibt, sagt nichts über das Ergebnis des anderen voraus. Die FAQ von Turnitin beschreiben die Funktionsweise so: Der Text wird in überlappende Abschnitte zerlegt, und jeder Abschnitt bekommt eine Wahrscheinlichkeit zwischen 0 und 1. In den FAQ steht außerdem eine Zielvorgabe für Fehlalarme von unter 1 % – bezogen auf Dokumente mit mehr als 20 % KI-Text – sowie die Regel, Werte zwischen 1 und 19 % mit einem Sternchen anzuzeigen. Winston AI veröffentlicht eigene Angaben zur Treffsicherheit; die stammen vom Anbieter selbst und lassen sich nicht anhand der Turnitin-Dokumentation nachprüfen. Was zählt, ist der Wert aus dem Tool, das Ihre Hochschule einsetzt. Nutzt Ihre Hochschule Turnitin, kann Ihnen kein fremdes Tool sagen, wie hoch Ihr Turnitin-Wert ausfallen wird.

In den FAQ wird das Verfahren so beschrieben:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." („Wenn eine Arbeit bei Turnitin eingereicht wird, werden die Sätze daraus entnommen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell eingeordnet und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt.")

Die Abschnitte überlappen sich, ein Satz kann also mehrere Werte bekommen, die zu einem Prozentwert für das gesamte Dokument zusammengefasst werden. Winston AI arbeitet mit einem eigenen Klassifizierungsverfahren, das in den Unterlagen von Turnitin nirgends dokumentiert ist. Die beiden Systeme sind unterschiedlich aufgebaut und bewerten Texte unterschiedlich.

In den FAQ steht eine konkrete Zielvorgabe:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." („Wir bemühen uns, die Wirksamkeit unseres Detektors zu maximieren und gleichzeitig unsere Fehlalarmquote – also den Fall, dass ein vollständig von Menschen geschriebener Text fälschlich als KI-generiert eingestuft wird – bei Dokumenten mit mehr als 20 % KI-Text unter 1 % zu halten.")

Der nächste Satz: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." („Mit anderen Worten: Wir stufen womöglich eines von 100 vollständig von Menschen geschriebenen Dokumenten fälschlich als KI-geschrieben ein.")

Diese Zielvorgabe gilt nur für Turnitin und nur für Dokumente mit mehr als 20 % KI-Text. Winston AI nennt womöglich eine andere Fehlalarmquote – aber um die beiden Zahlen zu vergleichen, muss man erst verstehen, wie jeder Anbieter Fehlalarme definiert und misst. Wir treffen keine Aussagen über die Genauigkeit fremder Detektoren.

Für niedrige Werte hat Turnitin eine eigene Anzeigeregel:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." („Um mögliche Fehlalarme zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % weder ein Wert noch Markierungen vergeben. Wird im Bericht KI unterhalb der 20-%-Schwelle erkannt, so wird dies jetzt mit einem Sternchen (*%) gekennzeichnet und kein Prozentwert angegeben.")

Winston AI kennt diese Regel nicht und zeigt in diesem Bereich einen konkreten Prozentwert an. Eine Arbeit, die bei Turnitin „*%" zeigt, kann bei Winston AI „14 %" anzeigen. Das heißt nicht, dass ein Tool genauer ist als das andere. Es heißt nur, dass beide mit dem Bereich geringer Sicherheit unterschiedlich umgehen. Was das Sternchen (*%) beim Turnitin-KI-Wert bedeutet erklärt die Sache aus der Sicht von Turnitin.

In den FAQ steht, wie sich kurze Dokumente verhalten:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." („Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist ‚alles oder nichts' aus, weil wir sie für ein einzelnes Segment treffen und keine Möglichkeit zum Überlappen besteht.")

Der nächste Satz: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." („Das bedeutet, dass ein Text, der KI-generierte und eigene Inhalte mischt, unter Umständen vollständig als KI-generiert markiert wird.")

Das liegt an der Art, wie Turnitin den Text in Abschnitte zerlegt. Ob Winston AI bei kurzen Texten genauso reagiert, ist offen. Prüfen Sie eine kurze Passage mit Winston AI und es kommen 0 % heraus, sagt das nichts darüber, was Turnitin tun wird. Das andere Ende dieser Spanne behandelt Turnitin zeigt 100 % KI an.

Bei Turnitin sind der KI-Wert und der Similarity-Wert unabhängig voneinander: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." („Der Similarity-Wert und der Prozentwert der KI-Schreiberkennung sind völlig unabhängig voneinander und beeinflussen sich nicht gegenseitig.") Manche Detektoren fassen KI- und Similarity-Wert zu einer einzigen Zahl zusammen – damit sind ihre Werte schon vom Aufbau her nicht mit dem separaten KI-Prozentwert von Turnitin vergleichbar. Für Ihre Abgabe zählt ausschließlich der Wert aus dem Tool, das Ihre Hochschule einsetzt. Warum derselbe Text bei jedem Detektor anders bewertet wird erklärt, warum diese Streuung systembedingt ist.

Zusammenfassend noch einmal, worum es ging:

• Winston AI und Turnitin sind verschiedene Detektoren mit verschiedenen Modellen. Die Werte werden nicht übereinstimmen.
• Der Detektor von Turnitin zerlegt den Text in überlappende Abschnitte und vergibt Wahrscheinlichkeitswerte.
• Turnitin strebt eine Fehlalarmquote von unter 1 % an – für Dokumente mit mehr als 20 % KI-Text.
• Werte zwischen 1 und 19 % zeigt Turnitin mit einem Sternchen an, statt eine Genauigkeit zu behaupten, die es nicht gibt.
• Bei kurzen Dokumenten fällt die Vorhersage bei Turnitin nach dem Alles-oder-Nichts-Prinzip aus.
• Der einzige Wert, der zählt, ist der aus dem Tool, das Ihre Hochschule einsetzt.

Wenn Sie einen Turnitin-KI-Bericht bekommen haben und die markierten Stellen angehen wollen, importieren Sie den Bericht und arbeiten Sie daran. Passagen, die dafür in Frage kommen, lassen sich kostenlos erneut prüfen.