Die Integrity Flags im Similarity Report: versteckter Text und ersetzte Zeichen

Der Similarity Report hat einen eigenen Reiter „Flags", der getrennt vom Prozentwert ist. Er markiert zwei dokumentierte Muster: versteckten Text — weiße Zeichen auf weißem Grund, unsichtbar gemachte Anführungszeichen — und ersetzte Zeichen, bei denen Buchstaben gegen ähnlich aussehende Zeichen aus anderen Alphabeten getauscht werden. Die Dokumentation sagt, dass solche Zeichen vor dem Scannen automatisch zurückgetauscht werden; die Ähnlichkeitsprüfung findet also trotzdem statt. Ein Flag ist ausdrücklich kein Befund über ein Fehlverhalten, setzt aber eine rote Markierung auf Ihre Einreichung, damit ein Mensch dort hinsieht.

Die Anleitung beschreibt es in einem Satz: „Turnitin's algorithms look deeply at a document for any inconsistencies that would set it apart from a normal submission. If we notice something strange, we Flag it for you to review." (Die Algorithmen von Turnitin durchsuchen ein Dokument gründlich nach Auffälligkeiten, die es von einer normalen Einreichung unterscheiden; wenn ihnen etwas Ungewöhnliches auffällt, markieren sie es, damit Sie es prüfen können.)

Wird etwas erkannt, erscheint neben dem Reiter „Flags" über der Einreichung eine Zahl: 1, wenn ein Flag-Typ vorliegt, 2, wenn beide vorliegen. Öffnen Sie den Reiter, erscheint ein Bereich „Integrity Flags for Review", und im Dokument selbst „a red flag with a number inside indicating the flag type and red boxes around all suspicious text related to that flag." (eine rote Flagge mit einer Zahl darin, die den Flag-Typ angibt, und rote Rahmen um jeden verdächtigen Text, der zu diesem Flag gehört.)

Die Einschränkung steht direkt in der Quelle, und sie wirkt in beide Richtungen: „A flag is not necessarily an indicator of a problem. However, we recommend you focus your attention there for further review." (Ein Flag ist nicht zwangsläufig ein Hinweis auf ein Problem. Wir empfehlen Ihnen jedoch, Ihre Aufmerksamkeit dorthin zu richten, um genauer zu prüfen.)

Es ist also keine Beschuldigung. Es ist ein roter Rahmen um einen Teil Ihres Manuskripts, verbunden mit der Anweisung an die prüfende Person, sich genau diesen Teil genauer anzusehen.

Die Dokumentation ist ungewöhnlich direkt, was die Herkunft angeht: „Paper mills and authors looking to hinder similarity matching abuse text manipulation techniques by trying to pass plagiarized content off as genuine. These techniques are commonly found on YouTube and social media platforms as ways of 'cheating Turnitin'." (Paper-Mills und Autoren, die die Ähnlichkeitsprüfung behindern wollen, missbrauchen Techniken der Textmanipulation, um plagiierten Inhalt als eigenen auszugeben. Solche Techniken kursieren auf YouTube und in sozialen Medien als Wege, Turnitin auszutricksen.)

Zwei Beispiele werden genannt.

Unsichtbare Anführungszeichen. Anführungszeichen, die in der Datei vorhanden, in der Darstellung aber unsichtbar sind. Die dokumentierte Folge ist konkret: „could influence the amount of quoted material recognized in a document. When a user excludes well-referenced matches using the Exclude Quotes functionality, in a manipulated document this would also hide plagiarized content." (sie könnten die Menge des in einem Dokument erkannten Zitatmaterials beeinflussen; und wenn ein Nutzer gut belegte Übereinstimmungen mit der Funktion Exclude Quotes ausschließt, würde das in einem manipulierten Dokument auch plagiierten Inhalt verbergen.)

Weißer Text auf weißem Grund. „A user may set the color of a block to text to white rendering it invisible on the white background of the paper. This can be to manipulate the word count or break up plagiarized text with hidden characters." (Ein Nutzer kann die Farbe eines Textblocks auf Weiß setzen, sodass er auf dem weißen Hintergrund des Papiers unsichtbar wird. Das kann dazu dienen, die Wortzahl zu manipulieren oder plagiierten Text mit versteckten Zeichen aufzubrechen.)

Beachten Sie die zweite Hälfte dieses Satzes. Versteckte Zeichen, die Text aufbrechen, damit eine Abgleichs-Engine keine Wortfolge mehr erkennt. Die Anleitung sagt nicht, an welcher Stelle im Text diese Zeichen sitzen, und wir werden das nicht für sie ergänzen. Was sie sagt: Die Software sucht danach; sie übersieht es nicht.

Das ist der Abschnitt, den Sie genau lesen sollten, denn es ist die Technik, die eher in einem Werkzeug steckt als von einem Menschen getippt wird.

„Some characters in different alphabets can look similar enough that to the naked eye, it is difficult, if not impossible, to tell them apart." (Manche Zeichen aus verschiedenen Alphabeten sehen sich so ähnlich, dass man sie mit bloßem Auge kaum oder gar nicht unterscheiden kann.) Ein kyrillisches Zeichen, das genauso aussieht wie ein lateinisches und mitten in ein Wort gesetzt wird, zerbricht die Zeichenkette, nach der eine Abgleichs-Engine sucht, während die Seite normal aussieht.

Die dokumentierte Reaktion hat zwei Teile, und der erste ist der, den niemand erwähnt:

„Turnitin automatically swaps these characters out when scanning a submission so they will not affect the Similarity Report. However, by replacing characters, the intent is to try and interrupt a similarity match." (Turnitin tauscht diese Zeichen beim Scannen einer Einreichung automatisch aus, damit sie den Similarity Report nicht beeinflussen. Mit dem Ersetzen von Zeichen ist jedoch die Absicht verbunden, eine Ähnlichkeitsübereinstimmung zu stören.)

Die Ersetzung wird also vor dem Vergleich rückgängig gemacht — die Übereinstimmung wird trotzdem gefunden — und der Versuch wird als Flag gemeldet. Die Technik verringert die Zahl nicht, auf die sie zielte, und fügt eine Markierung hinzu, die vorher nicht da war.

Das kann man selten mit einem Beleg sagen statt mit einer Meinung: eine dokumentierte Umgehungstechnik, von der dokumentiert ist, dass sie nicht funktioniert.

Die wenigsten Autoren setzen sich hin und fügen in jedes dritte Wort ein kyrillisches 'о' ein. Ein Stück Software tut das aber, unsichtbar, in einer Sekunde, über ein ganzes Manuskript — und Sie werden es nicht sehen, weil der ganze Sinn der Technik darin besteht, dass es identisch aussieht.

Damit ist das eine Frage, die Sie stellen sollten, bevor Sie eine Datei an irgendetwas weitergeben: Enthält das, was zurückkommt, Zeichen, die in dem nicht enthalten waren, was hineinging?

Sie können das ohne besonderes Werkzeug prüfen. Schließen Sie aber zuerst die Variante der Prüfung aus, die naheliegt und nicht funktioniert.

Zu zählen, wie oft ein häufiger Buchstabe vorkommt, sagt Ihnen nichts. Umschreiben macht Texte eher länger, und die Buchstaben nehmen mit. In unseren eigenen Vorher-Nachher-Dateien stieg das einfache lateinische „a" von 4,631 auf 5,092 und das „e" von 6,970 auf 8,005, ohne dass irgendwo ein Zeichen ersetzt worden wäre. Buchstaben zählen, mehr davon finden — und alles, was Sie gelernt haben, ist, dass das Dokument länger geworden ist.

Vergleichen Sie Bestandslisten statt Anzahlen. Exportieren Sie den Klartext der Datei, die Sie geschickt haben, und den Klartext der Datei, die Sie zurückbekommen haben, listen Sie die jeweils vorkommenden unterschiedlichen Zeichen auf und suchen Sie nach allem, was in der zweiten Liste steht und in der ersten fehlt. Kyrillische und griechische Buchstaben, die lateinisch aussehen. Breitenlose Leerzeichen. Weiche Trennstriche. Dass sich Anzahlen ändern, ist normal. Dass ein Zeichen auftaucht, das nie in Ihrer Datei war, ist es nicht.

Und zwei strukturelle Punkte dazu, wer die Folge trägt. Das Flag landet auf der Einreichung, und darauf steht Ihr Name. Und das Werkzeug, das die Zeichen eingefügt hat, ist nicht im Raum, wenn der Bericht gelesen wird.

Wir gehören in die Kategorie, in der diese Technik zu Hause ist; das Ehrliche ist also, es ausdrücklich zu sagen, statt es ungesagt zu lassen.

Das Tool HumanPen schreibt Sätze um. Es fügt keine unsichtbaren Zeichen ein, es tauscht keine Buchstaben gegen ähnlich aussehende aus anderen Alphabeten, und es färbt keinen Text weiß. Es hätte auch keinen Sinn: Die Dokumentation weiter oben sagt, dass die Ersetzung vor dem Abgleich rückgängig gemacht und auf dem Weg dorthin markiert wird; das Einzige, was eine solche Technik verlässlich hervorbringt, ist ein roter Rahmen auf Ihrem Manuskript.

Wir haben den Bestandsvergleich vor der Veröffentlichung auf unseren eigenen Ausgaben durchgeführt, an vier Vorher-Nachher-Paaren. Die Menge der unterschiedlichen Zeichen in jeder Ausgabe war jedes Mal eine Teilmenge der Menge in der Eingabe. Nichts Neues, kein Kyrillisch, kein Griechisch, nichts Breitenloses. Die Zahl der Nicht-ASCII-Zeichen ging eher nach unten als nach oben: Gedankenstriche von 58 auf 13 in einer Datei, typografische Apostrophe von 41 auf 6. Wir haben außerdem geprüft, dass der Vergleich sieht, was er suchen soll, indem wir ein kyrillisches „о" und ein breitenloses Leerzeichen in eine Kopie der Ausgabe gesetzt und ihn erneut ausgeführt haben; beide wurden aufgelistet.

Das sind unsere Dateien, und wir veröffentlichen den Korpus nicht; nehmen Sie die Zahlen also als unsere und das Verfahren als Ihres. Führen Sie es an Ihrem eigenen Paar durch. Auch an allem, was wir Ihnen zurückgeben.

Bedeutet ein Flag, dass mir etwas vorgeworfen wurde? Nein. Die Dokumentation sagt, dass ein Flag „is not necessarily an indicator of a problem" (nicht zwangsläufig ein Hinweis auf ein Problem ist), und empfiehlt zugleich, dass eine prüfende Person ihre Aufmerksamkeit dorthin richtet. Es ist eine Aufforderung hinzusehen, kein Befund.

Senken ähnlich aussehende Zeichen den Ähnlichkeitswert? Nach der Dokumentation nicht: Sie sagt, dass diese Zeichen beim Scannen einer Einreichung automatisch ausgetauscht werden, damit sie den Similarity Report nicht beeinflussen. Der Versuch wird außerdem als Flag gemeldet.

Wie viele Flag-Typen gibt es? Zwei sind dokumentiert — versteckter Text und ersetzte Zeichen —, und der Reiter zeigt eine 1 oder eine 2, je nachdem, wie viele Typen erkannt wurden.

Kann ich meine eigene Datei vor der Einreichung darauf prüfen? Nicht über den Bericht, der auf der Seite der prüfenden Person erzeugt wird. Sie können die Datei selbst untersuchen. Listen Sie die unterschiedlichen Zeichen in der Version, die Sie herausgegeben haben, und in der Version, die zurückgekommen ist, und suchen Sie nach jedem Zeichen, das in der zweiten Liste steht und in der ersten fehlt. Zählen Sie nicht stattdessen Buchstaben: Umschreiben macht Texte länger, deshalb steigen Buchstabenzahlen von selbst. Prüfen Sie außerdem auf Text, der weiß gesetzt ist oder in einer Farbe, die dem Hintergrund entspricht.