Originality.ai gegen Turnitin AI Detection: Was die Dokumentation sagt

Originality.ai und Turnitin sind unterschiedliche AI-Detektoren mit verschiedenen Modellen, unterschiedlichen Trainingsdaten und abweichenden Klassifizierungsschwellen. Ein Wert vom einen Tool sagt nichts über den Wert beim anderen aus. Turnitins FAQ beschreibt den Mechanismus so: Der Text wird in überlappende Segmente zerlegt, jedes erhält eine Wahrscheinlichkeit zwischen 0 und 1. Die FAQ nennt außerdem eine Zielvorgabe für falsch-positive Treffer von unter 1 % bei Dokumenten mit mehr als 20 % AI-Anteil und verwendet für Werte zwischen 1 und 19 % die Sternchen-Konvention. Originality.ai veröffentlicht eigene Genauigkeitsangaben, doch diese werden vom Anbieter selbst genannt und lassen sich nicht unabhängig gegen Turnitins Dokumentation verifizieren. Entscheidend ist der Wert des Tools, das Ihre Institution verwendet. Wenn Ihre Hochschule Turnitin nutzt, kann kein Drittanbieter-Score vorhersagen, was Ihr Turnitin-Ergebnis sein wird.

Die FAQ beschreibt den Erkennungsprozess:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wenn eine Arbeit bei Turnitin eingereicht wird, werden Sätze aus der Einreichung extrahiert und in überlappende Abschnitte für die Vorhersageanalyse unterteilt. Jedes Segment wird vom AI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text wahrscheinlich menschlich oder AI-generiert ist.)

Die Segmente überlappen sich, sodass Sätze mehrere Werte erhalten können, die zusammengeführt werden. Diese Poolung glättet individuelle Vorhersagefehler und trägt zum Gesamtwert des Dokuments bei. Originality.ai verwendet einen eigenen Klassifizierungsansatz, der in Turnitins Materialien nicht dokumentiert ist. Die beiden Systeme sind unterschiedlich aufgebaut und bewerten Text unterschiedlich.

Die FAQ nennt eine konkrete Zielvorgabe:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Wir sind bestrebt, die Wirksamkeit unseres Detektors zu maximieren und dabei unsere Falschpositivrate – also die fälschliche Kennzeichnung von vollständig menschlich verfasstem Text als AI-generiert – bei Dokumenten mit mehr als 20 % AI-Anteil unter 1 % zu halten.)

Im nächsten Satz heißt es: "In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (Anders ausgedrückt: Es kann vorkommen, dass wir bei einem von 100 vollständig menschlich verfassten Dokumenten fälschlicherweise eine AI-Kennzeichnung vornehmen.)

Diese Zielvorgabe gilt spezifisch für Turnitin und betrifft Dokumente mit mehr als 20 % AI-Anteil. Originality.ai kann eine andere Falschpositivrate haben, doch ein Vergleich der beiden Zahlen erfordert ein Verständnis dafür, wie jeder Anbieter falsch-positive Treffer definiert und misst. Wir treffen keine Genauigkeitsaussagen über Drittanbieter-Detektoren. Die Dokumentation zeigt uns, dass Turnitin diese Zielvorgabe explizit für sein eigenes Modell genannt hat. Was diese Vorgabe im großen Maßstab konkret bedeutet, wird in was eine Falschpositivrate von 1 % bedeutet, wenn eine Universität 75.000 Arbeiten einreicht ausgerechnet.

Turnitin hat eine spezielle Anzeigeregel für niedrige Werte:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (%) and no percentage is attributed." (Um mögliche falsch-positive Treffer zu vermeiden, werden für AI-Erkennungswerte im Bereich von 1 % bis 19 % keine Prozentangaben oder Hervorhebungen angezeigt. Wenn im Report AI unterhalb der 20 %-Schwelle erkannt wird, wird dies nun mit einem Sternchen (%) gekennzeichnet und kein konkreter Prozentwert angegeben.)

Das bedeutet: Ein Turnitin-Wert mit "%" zeigt an, dass AI unter 20 % erkannt wurde, aber der genaue Prozentsatz wird zurückgehalten, um keine zu hohe Genauigkeit in einem Bereich vorzutäuschen, der anfällig für falsch-positive Treffer ist. Originality.ai verwendet diese Konvention nicht und zeigt in diesem Bereich einen konkreten Prozentwert an. Eine Arbeit, die bei Turnitin "%" anzeigt, könnte bei Originality.ai "15 %" zeigen. Das heißt nicht, dass ein Tool genauer ist als das andere. Es bedeutet nur, dass sie den Bereich mit niedriger Aussagekraft unterschiedlich behandeln. Was das Sternchen (*%) bei einem Turnitin AI-Wert bedeutet erklärt die Turnitin-Seite davon.

Verschiedene AI-Detektoren liefern bei ein und demselben Text unterschiedliche Werte, weil sie mit unterschiedlichen Modellen, Trainingsdaten und Schwellenwerten arbeiten. Turnitins FAQ beschreibt, wie sein Modell überlappende Segmentwerte zu einem prozentualen Dokumentgesamtwert zusammenführt. Ein anderer Detektor könnte eine andere Segmentierungsstrategie, eine andere Bewertungsskala oder eine andere Aggregationsmethode verwenden. Die FAQ merkt außerdem an, dass kurze Dokumente Alles-oder-Nichts-Vorhersagen produzieren: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Bei kürzeren Dokumenten mit nur wenigen hundert Wörtern wird die Vorhersage meist 'alles oder nichts' lauten, weil wir auf einem einzelnen Segment ohne Überlappungsmöglichkeit vorhersagen.) Originality.ai kann bei kurzen Dokumenten dasselbe Verhalten zeigen – oder auch nicht.

Außerdem sind der AI-Wert und der Ähnlichkeitswert bei Turnitin voneinander unabhängig: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity-Score und der Prozentsatz zur AI Writing Detection sind vollständig unabhängig und beeinflussen sich gegenseitig nicht.) Ein Detektor, der AI und Ähnlichkeit zu einem einzigen Wert kombiniert, liefert eine Zahl, die mit Turnitins separatem AI-Prozentwert nicht vergleichbar ist. Warum derselbe Text bei jedem Detektor anders bewertet wird führt die Gründe auf.

Zusammengefasst:

• Originality.ai und Turnitin sind unterschiedliche Detektoren mit verschiedenen Modellen. Die Werte stimmen nicht überein.
• Turnitins Detektor zerlegt Text in überlappende Segmente und weist Wahrscheinlichkeitswerte zwischen 0 und 1 zu.
• Turnitins Zielvorgabe für falsch-positive Treffer liegt bei unter 1 % für Dokumente mit mehr als 20 % AI-Anteil.
• Turnitin verwendet ein Sternchen für Werte im Bereich von 1 bis 19 %, um keine zu hohe Genauigkeit vorzutäuschen.
• Kurze Dokumente erhalten bei Turnitin Alles-oder-Nichts-Vorhersagen wegen der Auswertung auf einem einzigen Segment.
• Entscheidend ist der Wert des Tools, das Ihre Institution verwendet.

Wenn Sie einen Turnitin AI Report erhalten und die markierten Passagen überarbeiten möchten, importieren Sie den Report und arbeiten Sie diese durch. Berechtigte Passagen können kostenlos erneut geprüft werden.