Copyleaks vs. Turnitin bei der KI-Erkennung: Warum verschiedene Detektoren zu unterschiedlichen Ergebnissen kommen

Verschiedene KI-Detektoren liefern unterschiedliche Werte, weil es sich um unterschiedliche Modelle handelt, die auf unterschiedlichen Daten trainiert wurden und unterschiedliche Klassifizierungsschwellen verwenden. Copyleaks und Turnitin sind separate Produkte von separaten Teams. Jedes hat sein eigenes Modell, sein eigenes Trainingskorpus und seine eigene Methode, um Vorhersagen auf Segmentebene zu einem Gesamtwert für das Dokument zusammenzufassen. Wenn Copyleaks 80 % anzeigt und Turnitin bei demselben Text 20 %, muss keiner von beiden falsch liegen. Sie messen unterschiedliche statistische Muster und wenden unterschiedliche Entscheidungsgrenzen an. Entscheidend ist der Wert des Tools, das Ihre Institution tatsächlich einsetzt. Wenn Ihre Hochschule Turnitin verwendet, ist Ihr Copyleaks-Wert zwar informativ, aber nicht maßgeblich.

Turnitin beschreibt in seiner FAQ die eigene Pipeline:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden Sätze daraus extrahiert und in überlappende Abschnitte unterteilt, um Vorhersageanalysen durchzuführen. Jedes Segment wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text eher von Menschen oder KI-generiert stammt. Jeder qualifizierte Satz innerhalb dieser Segmente übernimmt die Punktzahl des Segments. Da sich Segmente überschneiden, können manche Sätze mehrere Werte erhalten, die dann zu einem einzigen Wert zusammengefasst werden. Diese Satz-Werte werden weiter aggregiert und zur Berechnung des gesamten KI-Schreibwerts für das Dokument verwendet.)

Turnitin veröffentlicht zudem ein konkretes Ziel für die False-Positive-Rate: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir bemühen uns, die Wirksamkeit unseres Detektors zu maximieren und gleichzeitig unsere False-Positive-Rate – also die fälschliche Einstufung vollständig von Menschen geschriebener Texte als KI-generiert – bei Dokumenten mit mehr als 20 % KI-Anteil unter 1 % zu halten.) Dieses Ziel bestimmt, wie aggressiv das Modell Grenzfälle einstuft. Ein Modell, das darauf optimiert ist, False Positives zu minimieren, stuft mehr unsichere Segmente als menschlich ein, was bei gemischten Texten zu niedrigeren KI-Werten führen kann.

Copyleaks setzt ein eigenes KI-Erkennungsmodell mit eigenen Trainingsdaten und Klassifizierungsschwellen ein. Die Details des Copyleaks-Modells sind nicht in gleicher Weise öffentlich zugänglich wie Turnitins FAQ, sodass wir keine direkte Gegenüberstellung der Mechanismen vornehmen können. Der strukturelle Grund für die Abweichung ist jedoch klar: Zwei unterschiedliche Modelle, die auf unterschiedlichen Daten trainiert wurden, klassifizieren denselben Text unterschiedlich. Ein Satz, den Turnitins Modell mit einer KI-Wahrscheinlichkeit von 0,3 einstuft, kann bei Copyleaks auf 0,7 kommen. Wenn sich diese Unterschiede auf Segmentebene über ein gesamtes Dokument summieren, können die finalen Prozentwerte erheblich divergieren. Warum derselbe Text bei jedem Detektor anders bewertet wird erläutert das allgemein.

Hinzu kommt ein Unterschied bei der Anzeige. Turnitin zeigt Werte zwischen 1 % und 19 % nicht an, sondern ersetzt sie durch ein Sternchen. In der FAQ heißt es dazu: "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range." (Um mögliche False Positives zu vermeiden, werden für KI-Erkennungswerte im Bereich von 1 % bis 19 % keine Punktzahlen oder Hervorhebungen angezeigt.) Wenn Copyleaks für denselben Text 15 % anzeigt und Turnitin stattdessen ein Sternchen zeigt, liegt die Diskrepanz teilweise an dieser Anzeigeentscheidung, nicht nur an einer unterschiedlichen Klassifizierung – siehe was das Sternchen (* %) bei einem Turnitin-KI-Wert bedeutet.

In seiner FAQ weist Turnitin darauf hin, dass kurze Dokumente weniger zuverlässige Vorhersagen liefern:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist nach dem Prinzip "alles oder nichts" aus, da wir nur auf einem einzigen Segment vorhersagen, ohne Möglichkeit zur Überschneidung.)

Im nächsten Satz heißt es: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Das bedeutet, dass manche Texte, die eine Mischung aus KI-generierten und originellen Inhalten sind, als vollständig KI-generiert markiert werden können.)

Bei kurzen Dokumenten kann ein Detektor den gesamten Text als KI einstufen (100 %), während ein anderer ihn als menschlich einstuft (0 %). Dieses Alles-oder-Nichts-Verhalten führt dazu, dass kleine Unterschiede in der Handhabung eines einzelnen Segments durch verschiedene Modelle dramatische Abweichungen im Endergebnis bewirken können. Wenn Sie Werte verschiedener Detektoren vergleichen, spielt die Dokumentenlänge eine Rolle. Eine 300-Wörter-Zusammenfassung kann von verschiedenen Tools völlig unterschiedlich bewertet werden, während eine 3.000-Wörter-Arbeit tendenziell nähere Übereinstimmung zeigt.

Entscheidend ist der Wert des Tools, das Ihre Institution verwendet. Wenn Ihre Universität Turnitin einsetzt, ist es Ihr Turnitin-KI-Wert, der für Ihre akademische Laufbahn relevant ist. Ein Copyleaks-Wert von 5 % hilft Ihnen nicht, wenn Ihr Turnitin-Wert bei 80 % liegt. Ein Copyleaks-Wert von 80 % schadet Ihnen nicht, wenn Ihre Institution Copyleaks nicht verwendet. Das Durchlaufen Ihrer Arbeit durch mehrere Detektoren kann Ihnen zwar ein Gefühl dafür geben, ob Ihr Text KI-ähnliche Muster aufweist, aber es sagt Ihnen nicht, was der Detektor Ihrer Institution feststellen wird. Der einzige Weg, Ihren tatsächlichen Wert zu erfahren, ist der Bericht des Tools, das Ihre Institution nutzt – und nur Dozierende und Administratoren können den Turnitin-KI-Indikator einsehen. Ob Ihre Hochschule überhaupt welche einsetzt, hängt davon ab, was sie gekauft haben.

Zusammenfassend:

• Verschiedene KI-Detektoren verwenden unterschiedliche Modelle mit unterschiedlichen Trainingsdaten und Schwellenwerten. Uneinigkeit ist zu erwarten, nicht überraschend.
• Turnitin veröffentlicht sein False-Positive-Ziel (unter 1 % bei Dokumenten mit mehr als 20 % KI-Anteil) und seinen Mechanismus (klassifizierung überlappender Segmente).
• Turnitin unterdrückt Werte zwischen 1 % und 19 % als Sternchen, was die scheinbare Diskrepanz zu anderen Tools verstärken kann.
• Kurze Dokumente führen zu Alles-oder-Nichts-Vorhersagen, was zu erheblichen Abweichungen zwischen verschiedenen Detektoren führen kann.
• Maßgeblich ist der Wert des Tools, das Ihre Institution tatsächlich verwendet.

Wenn Sie einen Turnitin-Bericht vorliegen haben, der zeigt, welche Passagen markiert wurden, importieren Sie den Bericht und arbeiten Sie gezielt an diesen Passagen. Berechtigte Passagen können kostenlos erneut verarbeitet werden.