CNKI vs. VIP vs. Turnitin: Warum KI-Erkennungsergebnisse so stark voneinander abweichen

Dass verschiedene KI-Detektoren bei ein und demselben Manuskript völlig unterschiedliche Werte anzeigen, liegt an abweichenden Trainingsdaten, Sprachbereichen, Vorverarbeitungsmethoden und Schwellenwerten. Ein Prozentwert aus einem einzelnen Tool ist kein universeller Maßstab.

HumanPen-Team

· 10 Min. Lesezeit

Die kurze Antwort: Kein Detektor setzt einen universellen Standard

Sie sollten sich ausschließlich auf das System verlassen, das von Ihrer Hochschule, Fakultät oder Fachzeitschrift offiziell vorgegeben ist. Keiner der anderen Werte besitzt administrative Gültigkeit, und der Prozentwert eines einzelnen Detektors stellt keine objektive, universelle Messung von KI-generiertem Text dar. Es gibt zwischen diesen Plattformen weder einen einheitlichen Maßstab noch eine kalibrierte Skala. Die dieser Analyse zugrunde liegende Untersuchung hat keinen kontrollierten Vergleich derselben Datei über CNKI, VIP und Turnitin hinweg durchgeführt und kann daher nicht beurteilen, welches System „richtig“, „strenger“ oder „präziser“ ist.

Während unsere umfassendere Analyse erläutert, warum KI-Detektoren plattformübergreifend voneinander abweichen (einschließlich systemübergreifender Vergleiche wie CNKI gegenüber Wanfang), verdeutlichen die massiven Diskrepanzen zwischen CNKI, VIP und Turnitin, wie unterschiedliche technische Entwicklungsentscheidungen zu völlig widersprüchlichen Ergebnissen führen. Wenn drei Systeme stark voneinander abweichende Werte liefern – etwa 3 % bei CNKI, 67 % bei VIP und nochmals eine andere Zahl bei Turnitin –, messen sie nicht dieselbe zugrunde liegende Größe mit unterschiedlichen Fehlertoleranzen. Sie führen völlig unterschiedliche statistische Klassifizierungen durch, die auf abweichenden Trainingskorpora, verschiedenen Sprachmodellen und separaten technischen Definitionen dessen beruhen, was einen qualifizierenden Satz ausmacht.

Bei einer wissenschaftlichen Begutachtung oder Abschlussarbeit stiftet ein Vorab-Check über mehrere kommerzielle Tools hinweg und der Versuch, deren Werte miteinander abzugleichen, lediglich Verwirrung, ohne an den institutionellen Vorgaben etwas zu ändern. Die einzige Zahl mit institutioneller Relevanz ist jene, die von der offiziell von Ihrer Universität oder Fakultät vorgeschriebenen Plattform stammt und nach deren verbindlichen Richtlinien bewertet wird.

Die erste Unterscheidung: Plagiatsprüfung vs. KI-Klassifizierung

Große Verunsicherung entsteht häufig dadurch, dass traditionelle Ähnlichkeitsberichte mit Berichten zur KI-Klassifizierung verwechselt werden. Obwohl beide einen Prozentwert ausgeben, haben ihre technischen Funktionsweisen praktisch nichts miteinander gemeinsam.

Die traditionelle Ähnlichkeitsprüfung – oft als Plagiatserkennung oder Duplikatsprüfung bezeichnet – basiert auf einem Indexabgleich. Die Software zerlegt Ihren Text in Zeichenketten oder N-Gramme und durchsucht eine Datenbank aus indexierten Zeitschriftenartikeln, Dissertationen und Webseiten nach übereinstimmenden Passagen. Ein Ähnlichkeitswert gibt an, wie viel Ihres Textes identische oder nahezu identische Formulierungen mit externen, bereits veröffentlichten Quellen teilt.

Im Gegensatz dazu durchsucht eine KI-Klassifizierung keine Referenzdatenbank. Sie versucht weder, den von Ihnen eingegebenen Prompt aufzuspüren, noch den Server zu ermitteln, auf dem ein Modell einen Absatz generiert hat. Stattdessen analysiert ein KI-Detektor mithilfe eines maschinellen Lernmodells stilistische und statistische Eigenschaften Ihres Textes – etwa Token-Wahrscheinlichkeiten und die Varianz im Satzbau.

Da diese beiden Mechanismen völlig unabhängig voneinander arbeiten, weichen ihre Ergebnisse bei derselben Einreichung häufig stark voneinander ab:

  • Eine Arbeit kann einen Ähnlichkeitswert von 2 % aufweisen (was bedeutet, dass keine direkten Textübernahmen aus bestehender Literatur vorliegen) und gleichzeitig einen KI-Wert von 60 % erhalten (wenn das Modell den Satzrhythmus und die Übergangswörter als typisch für große Sprachmodelle einstuft).
  • Umgekehrt kann eine Arbeit einen Ähnlichkeitswert von 35 % aufweisen (etwa durch ordnungsgemäß zitierte Gesetzestexte, biomedizinische Standardprotokolle oder längere Blockzitate), während der KI-Wert bei 0 % liegt (weil der Text vollständig von Menschen verfasst wurde).

Wer einen KI-Erkennungswert mit den Maßstäben eines traditionellen Plagiatsberichts betrachtet, steuert bei der Überarbeitung in die falsche Richtung. Man kann sich nicht durch Quellenangaben aus einer KI-Markierung „herauszitieren“, und ein niedriger Plagiats-Score garantiert keineswegs eine niedrige KI-Wahrscheinlichkeit.

Warum die Tools unterschiedliche Ergebnisse liefern: Vier technische Ursachen

Wenn kommerzielle Detektoren bei ein und demselben Entwurf stark voneinander abweichende Werte ermitteln, lässt sich diese Diskrepanz auf vier grundlegende Unterschiede zurückführen.

1. Trainingskorpora und primärer Sprachbereich

Detektoren sind statistische Mustererkennungssysteme, die anhand spezifischer Textkorpora trainiert wurden. Ihre Zuverlässigkeit hängt maßgeblich davon ab, wie genau Ihr Text dem Genre und der Sprache der jeweiligen Trainingsdaten entspricht.

CNKI (中国知网) und VIP (维普) wurden für chinesische akademische Texte entwickelt und sind darauf ausgelegt, Satzbau, Konventionen und typische Übergangsformulierungen der chinesischen Wissenschaftssprache zu bewerten.

Turnitins KI-Erkennungssystem wurde in erster Linie für die englische Sprache entwickelt und funktioniert nur für eine bestimmte Auswahl an unterstützten Sprachen. Um laut Turnitins Leitfaden Using the AI Writing Report "generate an AI Writing Report and percentage," (einen AI Writing Report samt Prozentwert zu erstellen) gilt für eine Datei: "must be written in a supported language: English, Spanish, Japanese, Arabic, German, Dutch, Turkish." (muss in einer unterstützten Sprache verfasst sein: Englisch, Spanisch, Japanisch, Arabisch, Deutsch, Niederländisch, Türkisch). Chinesisch gehört nicht zu den von Turnitins KI-Erkennung unterstützten Sprachen. Ein echter Turnitin-Bericht weist für einen chinesischen Text daher keinen KI-Prozentsatz aus. Wenn Sie für ein chinesisches Manuskript einen „Turnitin-Wert“ vorliegen haben, kann dieser Wert kein authentischer KI-Erkennungswert von Turnitin sein: Es handelt sich entweder um den traditionellen Ähnlichkeitswert (Textabgleich mit indexierten Quellen), um einen Wert, der anhand einer englischen Zusammenfassung oder Übersetzung ermittelt wurde, oder um das Ergebnis eines nicht autorisierten Drittanbieters, der einen gänzlich anderen Dienst verwendet.

2. Textvorverarbeitung, Segmentierung und Tokenisierung

Bevor ein Algorithmus Wahrscheinlichkeiten berechnen kann, muss er den Rohtext in einzelne Einheiten zerlegen. Die Regeln für diese Zerlegung unterscheiden sich von Anbieter zu Anbieter erheblich.

  • Unterschiede bei der Tokenisierung: Englische Texte verfügen über natürliche Wortgrenzen (Leerzeichen), während chinesische Texte eine algorithmische Wortsegmentierung (分词) oder eine Analyse auf Zeichenebene erfordern. Wie ein Tool mit Fachterminologie, altchinesischen Zitaten oder alphanumerischen Notationen umgeht, führt sofort zu grundlegenden Abweichungen in den extrahierten Merkmalen.
  • Regeln für die Segmentierung: In seinem Blogbeitrag darüber, was akademische Führungskräfte über die Erkennung von KI-Texten wissen müssen, erklärt Turnitin, dass "sentences from the submission are extracted and segmented into overlapping sections for prediction analysis." (Sätze aus der Einreichung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte unterteilt werden). Chinesische Plattformen nutzen eine eigene Parsing-Logik, um festzulegen, wo ein Textabschnitt beginnt und endet.
  • Umgang mit Nicht-Fließtext-Elementen: Ob ein Detektor Tabellen, mathematische Formeln, Code-Snippets, Danksagungen und Literaturverzeichnisse analysiert oder ignoriert, verändert den Nenner der Berechnung maßgeblich. Schließt ein Anbieter standardisierte methodische Formulierungen in die Bewertung ein und ein anderer filtert sie heraus, weichen die Gesamtergebnisse auf Dokumentenebene drastisch voneinander ab.

3. Entscheidungsschwellenwerte und Aggregationsmodelle

Ein Erkennungswert ist keine absolute Zählung, sondern das Ergebnis eines Wahrscheinlichkeitsschwellenwerts.

Innerhalb des Klassifikators erhält jeder analysierte Textabschnitt einen Wahrscheinlichkeitswert. Um einen Bericht zu erstellen, muss der Anbieter eine Entscheidungsgrenze definieren: Ab welchem Konfidenzniveau wird ein Abschnitt als KI-generiert markiert? Ein System mit einer konservativen Entscheidungsgrenze markiert Text erst bei sehr hoher Modell-Konfidenz, wodurch Fehlalarme reduziert werden und ein niedriger Gesamtwert für das Dokument entsteht (etwa 3 %). Ein anderes System mit einer empfindlicheren Schwelle markiert Abschnitte bereits bei geringerer Konfidenz, was bei exakt demselben Manuskript zu einem deutlich höheren Wert führt (etwa 67 %).

Zudem basieren die Werte auf Dokumentenebene auf unterschiedlichen mathematischen Definitionen, die von den Anbietern nur teilweise offengelegt werden. Turnitin beschreibt seine Methode beispielsweise in groben Zügen: Es werden Werte für einzelne Segmente berechnet, die einzelnen Sätze übernehmen diese Werte, und der Prozentsatz des Gesamtdokuments spiegelt den markierten Anteil des qualifizierenden Textes wider. CNKI hingegen definiert seine Kennzahl als die geschätzte Wahrscheinlichkeit, dass der Artikelinhalt KI-generiert ist ("文章内容存在AI生成的概率大小" (Wahrscheinlichkeit, dass der Artikelinhalt KI-generiert ist)).

Da jede Plattform ihre Werte nach nur teilweise offengelegten Formeln anders definiert und zusammenfasst, lässt sich ein „Prozentsatz“ des einen Tools nicht mathematisch in einen „Prozentsatz“ eines anderen Tools umrechnen.

4. Abweichungen im tatsächlich hochgeladenen Dokument

In der Praxis rühren viele beobachtete Diskrepanzen schlicht daher, dass nicht dieselben Inhalte hochgeladen wurden. Häufig reichen Nutzer bei einer Plattform nur den reinen Haupttext ein, während sie bei einer anderen das vollständige Dokument inklusive Deckblatt, Abstract, Inhaltsverzeichnis und Literaturangaben hochladen. Eine veränderte Dokumentstruktur verschiebt die Segmentierungsgrenzen und ändert die Gesamtzahl der Zeichen – was selbst innerhalb desselben Tools zu uneinheitlichen Ergebnissen führt.

Marketing-Blogs und der Mythos des einen „strengsten“ Detektors

Suchergebnisse auf Baidu, Bing und in kommerziellen Foren sind voll von werblichen Beiträgen, die vorgeben, verschiedene Erkennungssysteme in Ranglisten einzuordnen. Viele stellen pauschale numerische Behauptungen auf – etwa, dass eine Plattform grundsätzlich dreißig Prozent höher liege als eine andere, dass ein bestimmtes Tool ausnahmslos jede Übersetzung markiere oder dass ein bestimmter Dienst das einzig verlässliche System sei.

Solche Aussagen stützen sich so gut wie nie auf technische Primärdokumentationen, peer-reviewte Methoden oder kontrollierte Stichproben. In den meisten Fällen stammen sie von Drittanbietern, Ghostwriting-Agenturen oder automatisierten Paraphrasierungsdiensten, die verunsicherte Studierende zu kostenpflichtigen Vorab-Tests oder kommerzieller Umschreibsoftware leiten wollen.

Recherchen im Bildungsjournalismus und investigative Berichte haben wiederholt gezeigt, dass kommerzielle KI-Erkennungstools über verschiedene Testläufe und Plattformen hinweg oft instabile Ergebnisse liefern. Sie schüren damit vor allem Verunsicherung, statt einen verlässlichen wissenschaftlichen Maßstab zu bieten. Studierende, die ihre Entwürfe über verschiedene nicht autorisierte Drittanbieterdienste testen, geraten oft in eine Marketing-Spirale, in der angebliche plattformübergreifende „Ranglisten“ vor allem dazu dienen, ungeprüfte Dienstleistungen oder zusätzliche Prüfguthaben zu verkaufen.

Da es keinen umfassenden, kontrollierten empirischen Benchmark gibt, der alle Variablen über diese proprietären Plattformen hinweg konstant hält, ist jede Behauptung, ein bestimmtes Tool stelle den „wahren“ Standard dar, reine Marketing-Positionierung und keine wissenschaftliche Tatsache.

Entscheidungs-Checkliste: Was zu tun ist, wenn die Werte voneinander abweichen

Wenn Sie auf widersprüchliche Ergebnisse verschiedener Erkennungsplattformen stoßen: Bewahren Sie Ruhe und fangen Sie nicht an, Ihren Text wahllos umzuschreiben. Gehen Sie stattdessen diese pragmatische Checkliste durch:

  1. Klären Sie verbindlich, welche Erkennungsplattform Ihre Hochschule oder Institution offiziell nutzt. Universitäten und Fakultäten bewerten Arbeiten niemals anhand des Durchschnittswerts verschiedener kommerzieller Tools. Da institutionelle Richtlinien es einzelnen Fachbereichen oft freistellen, eigene Tools zur Erkennung von KI-generiertem Text zu wählen, sollten Sie die offiziellen Vorgaben Ihres Instituts oder Prüfungsamts prüfen: Welches Tool wird konkret eingesetzt, wie läuft die Einreichung ab und werden externe Vorab-Prüfungen überhaupt anerkannt?
  2. Lesen Sie die tatsächlichen Richtlinien und Verfahrensregeln Ihrer Institution genau. Prüfen Sie, ob Ihre Hochschule den KI-Wert lediglich als ersten Verdachtsmoment oder als formelles Beweismittel einstuft. Viele Prüfungsordnungen legen ausdrücklich fest, dass ein automatisierter Prozentwert niemals die alleinige Grundlage für den Vorwurf wissenschaftlichen Fehlverhaltens sein darf. Oft sind vor weiteren Schritten eine fachliche Begutachtung, die Stellungnahme der Betreuungsperson oder eine Anhörung zwingend vorgeschrieben.
  3. Sichern Sie den vollständigen Entstehungsprozess und lückenlose Belege. Die wirksamste Verteidigung gegen eine unberechtigte Markierung ist der nachvollziehbare Nachweis Ihrer eigenständigen Arbeit. Dokumentieren und sichern Sie: Dateiversionen mit Zeitstempeln und Versionsverläufen (z. B. in Word, WPS oder Ihrem Versionskontrollsystem).; Frühe Gliederungsentwürfe, Laborbücher, Rohdaten aus Experimenten und Interviewtranskripte.; Bibliotheken Ihres Literaturverwaltungsprogramms, die den Rechercheverlauf belegen.; Den originalen, ungekürzten PDF-Bericht der offiziellen Prüfung inklusive Zeitstempeln und detaillierter Übersicht der markierten Textpassagen.
  4. Prüfen Sie die institutionellen Vorgaben für Hilfsmittel, statt blind Zahlen hinterherzujagen. Ob Paraphrasier-, Umschreib- oder sogenannte Humanizer-Tools zulässig sind, ist nicht pauschal geregelt – was erlaubt ist, hängt allein von Ihrer jeweiligen Institution, dem Studiengang und den spezifischen Richtlinien für die Arbeit ab. Autoren sollten stets die Richtlinien zur guten wissenschaftlichen Praxis ihrer Universität konsultieren, um das zulässige Maß an redaktioneller Unterstützung zu klären. Zudem kann kein Tool und keine Umschreibemethode jemals ein bestimmtes Detektorergebnis oder eine Verringerung des Werts versprechen oder garantieren. Das blinde Vertrauen auf automatisierte Wortersetzungen kann zudem Sachfehler einführen, wissenschaftliche Fachbegriffe verfälschen und Zitate beschädigen, was der wissenschaftlichen Qualität Ihres Manuskripts bei der Begutachtung ernsthaft schaden kann.

Häufig gestellte Fragen

Kann ich ein niedriges Ergebnis von CNKI oder Turnitin nutzen, um gegen einen hohen Wert bei VIP Einspruch einzulegen (oder umgekehrt)? In der Regel nicht. Prüfungsausschüsse bewerten Arbeiten ausschließlich in der von ihnen offiziell vorgegebenen Software-Umgebung. Ein inoffizieller Prüfbericht eines anderen kommerziellen Tools besitzt kaum Beweiskraft, da den Institutionen bewusst ist, dass unterschiedliche Detektoren mit nicht vergleichbaren Metriken und Schwellenwerten arbeiten. Einsprüche lassen sich am besten durch Belege des tatsächlichen Schreibprozesses stützen – etwa durch Versionsverläufe, frühe Entwürfe und Quellnotizen – und nicht durch den Bericht eines konkurrierenden Anbieters.

Bleibt der KI-Erkennungswert gleich, wenn ich eine chinesische Arbeit ins Englische übersetze? Nein. Maschinelle Übersetzung verändert Token-Sequenzen, Syntax und Satzlängen grundlegend. Durch das Übersetzen ändert sich der Sprachbereich vollständig: Die Analyse wechselt von Modellen, die auf chinesische Texte kalibriert sind, zu solchen für englische Texte. Ein Wert von 5 % auf Chinesisch lässt keinerlei Rückschlüsse auf einen Wert von 5 % auf Englisch zu.

Sollte ich vor der Abgabe für Vorab-Prüfungen bei mehreren Drittanbietern bezahlen? Das ist nicht ratsam. Abgesehen von den beträchtlichen Kosten riskieren Sie beim Hochladen unveröffentlichter Forschungsarbeiten auf nicht autorisierten Plattformen, dass Ihre Texte abgefangen werden, Metadaten nach außen dringen oder die Arbeit ungewollt in internen Repositorien gespeichert wird.

Bedeutet ein KI-Wert von 0 %, dass meine Arbeit garantiert ohne Nachfragen akzeptiert wird? Nein. Ein Wert von 0 % bedeutet lediglich, dass der jeweilige Klassifikator in den analysierten Abschnitten dieser spezifischen Datei keine statistischen Auffälligkeiten oberhalb seines Schwellenwerts gefunden hat. Dies ist weder eine Bestätigung der Urheberschaft noch ein Beleg für inhaltliche Richtigkeit oder wissenschaftliche Qualität. Akademische Integrität bemisst sich an wissenschaftlicher Substanz und echter Autorschaft, nicht an einem automatisierten Prozentwert.

Quellen und Referenzen

  • Turnitin-Leitfaden zur Nutzung des AI Writing Report: https://guides.turnitin.com/hc/en-us/articles/22774058814093-Using-the-AI-Writing-Report
  • Turnitin-Blog zur Erkennung von KI-generierten Texten: https://www.turnitin.com/blog/ai-writing-detection-what-academic-leaders-need-to-know
  • AIGC-Erkennungsportal von China National Knowledge Infrastructure (CNKI): https://aigc.cnki.net/
  • Plagiats- und Manuskriptprüfungsportal von VIP Information (CQVIP): http://vpcs.cqvip.com/

WEITERLESEN