Warum korrekt zitierte und belegte Textstellen trotzdem im Similarity Report auftauchen

Jeder Treffer wird einer von vier Gruppen zugeordnet, und zwar danach, ob die Software Anführungszeichen und einen Verweis im Text daran erkannt hat: nicht belegt und nicht in Anführungszeichen, fehlende Anführungszeichen, fehlender Verweis, oder belegt und in Anführungszeichen. Diese Erkennung ist ein Machine-Learning-Modell mit veröffentlichten Grenzen: Es ist auf Englisch trainiert, seine Verweiserkennung deckt vier namentlich genannte Formate ab, es erkennt sieben bestimmte Formen von Anführungszeichen, und ein Verweis, der sehr weit weg vom Treffertext steht, kann durchrutschen. Eine korrekt zugeordnete Passage in der falschen Form landet in der falschen Gruppe.

Der Ähnlichkeitswert insgesamt hat eine Definition, die man im Kopf behalten kann: übereinstimmende Wörter geteilt durch alle Wörter im Dokument. Die Formel gewichtet nichts und rechnet nichts ab, nur weil eine Stelle zugeordnet ist.

Was die Zahl tatsächlich bewegt, ist ein völlig anderer Mechanismus – und den stellen nicht Sie ein. Dieselbe Hilfeseite hat einen Leitfaden zu Ausschlussfiltern und listet fünf davon: exclude bibliography (Literaturverzeichnis ausschließen), exclude quoted text (zitierten Text ausschließen), exclude cited text (belegten Text ausschließen), exclude small matches (kleine Treffer ausschließen), exclude small sources (kleine Quellen ausschließen). Worauf es hier am meisten ankommt, ist der zweite. Er „ignores text enclosed in quotation marks or formatted as block quotes, preventing properly quoted material from appearing as matches“ (ignoriert Text, der in Anführungszeichen steht oder als Blockzitat formatiert ist, und verhindert damit, dass korrekt zitiertes Material als Treffer erscheint), und bei einer .doc- oder .docx-Datei gilt das auch für eingerückte Blöcke.

Das ist schon die halbe Antwort auf die Frage im Titel. Manchmal erscheint ein korrekt zitierter Absatz, weil niemand diesen Filter eingeschaltet hat. Ob er eingeschaltet war, entscheidet, wer die Prüfung durchgeführt hat – und auf der Zahl, die man Ihnen schickt, steht das nicht.

Der Nenner lässt sich festnageln, und das lohnt sich, denn der AI-Writing-Indikator auf derselben Plattform benutzt nicht diesen. Sein Prozentwert wird über die dafür in Frage kommende Prosa berechnet und nicht über Ihre ganze Datei – deshalb können diese Zahl und ihre Markierungen zueinander in einem schiefen Verhältnis stehen. Zwei Zahlen, zwei Nenner. Wir haben die beiden in einem Similarity-Wert neben einem AI-Writing-Wert gegenübergestellt.

Eine Schwelle, die man vor allem anderen kennen sollte: Damit überhaupt ein Similarity Report entsteht, braucht eine Einreichung mindestens 20 Wörter.

Und der einordnende Satz, mit dem die Dokumentation aufmacht und den man leicht überliest: „Highlighted matches are instances of text similarity; they do not always indicate plagiarism. The match could be a quote or cited material listed in a bibliography.“ (Markierte Treffer sind Fälle von Textähnlichkeit; sie weisen nicht immer auf ein Plagiat hin. Der Treffer könnte ein Zitat sein oder belegtes Material, das in einem Literaturverzeichnis aufgeführt ist.)

Match Groups zerlegen die Gesamtähnlichkeit danach, wie der übereinstimmende Text zugeordnet war. In den Worten der Dokumentation:

• Not Cited or Quoted (weder belegt noch in Anführungszeichen) – Treffer, „that are not written as a quotation or has no citation to its original source“ (die nicht als Zitat geschrieben sind oder keinen Verweis auf die Originalquelle haben).
• Missing Quotations (fehlende Anführungszeichen) – „This text is cited, but the match is so exact that it may also require quotation marks.“ (Dieser Text ist belegt, aber die Übereinstimmung ist so exakt, dass womöglich auch Anführungszeichen nötig sind.)
• Missing Citation (fehlender Verweis) – „This text is written as a quote, but lacks a citation to its original source.“ (Dieser Text ist als Zitat geschrieben, ihm fehlt aber der Verweis auf die Originalquelle.)
• Cited and Quoted (belegt und in Anführungszeichen) – „This text contains a quotation and is cited to a source.“ (Dieser Text enthält ein Zitat und ist mit einem Verweis auf eine Quelle belegt.)

Der angegebene Zweck ist, dass eine Prüferin oder ein Prüfer „distinguish between integrity issues, teachable moments, and properly-included source text“ (zwischen Integritätsproblemen, Lernanlässen und korrekt eingebundenem Quelltext unterscheiden) kann. Das heißt: Die Gruppe, in der ein Treffer landet, tut echte Arbeit daran, wie ein Mensch Ihr Manuskript liest – mehr Arbeit, könnte man sagen, als die Prozentzahl ganz oben.

Die praktische Frage lautet also nicht mehr „warum gibt es diesen Treffer“, sondern „in welcher Gruppe ist dieser Treffer gelandet – und ist das die richtige Gruppe“.

Das ist der Teil, der dokumentiert ist und fast nirgendwo sonst wiederholt wird.

Die Erkennung von Verweisen und Anführungszeichen ist ein trainiertes Modell, keine Regel: Die Anleitung sagt, dass Machine-Learning-Technologie eingesetzt wird, „to recognize in-text citations and quotation marks associated with matched text“ (um Verweise im Text und Anführungszeichen zu erkennen, die zum übereinstimmenden Text gehören). Und der Anbieter beziffert die eigene Fehlerquote in klaren Worten: „Since there are innumerable ways to include in-text citations and quotation marks, the Similarity Report won't get it right every time.“ (Da es unzählige Arten gibt, Verweise im Text und Anführungszeichen zu setzen, liegt der Similarity Report nicht jedes Mal richtig.)

Daraus folgen drei dokumentierte Grenzen.

Es gilt nur für Englisch. „The technology that powers Match Groups is trained on English content, and this functionality is currently only available for submissions in English.“ (Die Technik hinter Match Groups ist auf englischsprachige Inhalte trainiert, und diese Funktion steht derzeit nur für Einreichungen auf Englisch zur Verfügung.)

Das Verweistraining deckt vier Formate ab. „Citation recognition models have been trained on citations in certain formats: APA, MLA, Turabian, and IEEE numbered citations and references. If a citation is included for a match but is not in one of these formats, the report may--but is less likely to--recognize those as citations.“ (Die Modelle zur Verweiserkennung wurden auf Verweise in bestimmten Formaten trainiert: APA, MLA, Turabian sowie nummerierte IEEE-Verweise und IEEE-Literaturangaben. Wenn zu einem Treffer ein Verweis vorhanden ist, der nicht in einem dieser Formate vorliegt, erkennt der Bericht ihn womöglich – aber weniger wahrscheinlich – als Verweis.)

Lesen Sie diese Liste gegen Ihr eigenes Fach. Vancouver, Chicago Author-Date, Harvard und dessen viele hauseigene Varianten stehen nicht darauf. Das heißt nicht, dass sie nie erkannt werden – die Formulierung lautet „less likely“ (weniger wahrscheinlich) –, aber wenn Sie in einem Stil schreiben, der nicht zu diesen vieren gehört, ist dokumentiert, dass die Chancen sinken, dass Ihr zugeordnetes Zitat auch als zugeordnet gelesen wird. Welchem Stil Sie tatsächlich unterworfen sind, ist ein eigenes Durcheinander; wir haben das in welcher Harvard-Zitierstil Ihrer ist und Zitierstil nach Fachrichtung wählen durchgegangen.

Der Abstand zählt. „Citations may not be recognized if they are placed very far from the matched text.“ (Verweise werden womöglich nicht erkannt, wenn sie sehr weit weg vom übereinstimmenden Text stehen.) Ein Blockzitat, dessen Verweis erst am Ende des folgenden Absatzes steht, ist genau dieser Fall.

Sieben Formen, auf der Seite zu Match Groups ausdrücklich aufgelistet:

• Gerade doppelte Anführungszeichen: "…"
• Geschwungene einfache Anführungszeichen: ‘…’
• Guillemets: «…»
• Umgekehrte Guillemets: »…«
• Unten-oben-doppelte Anführungszeichen: „…“
• Weiße Eckklammern: 『…』
• Eckklammern: 「…」

Übernehmen Sie diese Liste sorgfältig, denn der Eintrag für doppelte Anführungszeichen ist die gerade Form und der für einfache Anführungszeichen das geschwungene Paar. Und der Leitfaden zu Ausschlussfiltern auf derselben Hilfeseite druckt wieder eine andere Liste: acht Einträge, mit geraden statt geschwungenen einfachen Anführungszeichen, dazu 《…》 und 〈…〉, und dafür 「…」 gestrichen. Zwei veröffentlichte Listen auf einer einzigen Hilfeseite, zehn verschiedene Formen zwischen ihnen, und keine der beiden Seiten erwähnt die andere.

Machen Sie daraus keine Regel, welche Form Sie benutzen sollen. Machen Sie daraus die Regel, dass zwischen der Fassung, die Sie Korrektur gelesen haben, und der Datei, die Sie hochladen, nichts Ihre Anführungszeichen verändert.

Und ein Fehlermodus wird ausdrücklich genannt: „Quotation marks are not recognized if they are separated from the text by a space (for example, " this improperly quoted text").“ (Anführungszeichen werden nicht erkannt, wenn sie durch ein Leerzeichen vom Text getrennt sind – zum Beispiel: " dieser fehlerhaft in Anführungszeichen gesetzte Text".)

Das ist das am leichtesten Nachprüfbare in diesem ganzen Artikel. Ein einzelnes Leerzeichen nach einem öffnenden Anführungszeichen – so eines, das beim Herauskopieren aus einem PDF überlebt oder entsteht, wenn ein Absatz neu umbrochen wird – reicht aus, um einen Treffer von Cited and Quoted nach Missing Quotations zu verschieben.

Wo Anführungszeichen nicht erkannt werden, fällt der Treffer in „Missing Quotations“ (fehlende Anführungszeichen) oder in „Not Cited or Quoted“ (weder belegt noch in Anführungszeichen), je nachdem, ob ein Verweis erkannt wurde. Die beiden Fehler verstärken sich gegenseitig.

Wenn dieselben Wörter mit mehr als einer Quelle übereinstimmen, sucht der Bericht eine aus, die er zuerst zeigt – und die Rangfolge ist veröffentlicht: Internet, dann Publications, dann Submitted Works.

Diese Reihenfolge kann widersinnig wirken, wenn man die eigene Arbeit vor sich hat. Ein Satz, den Sie völlig korrekt aus einem veröffentlichten Paper übernommen haben, kann auf der Karte einer Website zugeschrieben werden, die dieses Paper wiedergegeben hat. Es gibt ein Steuerelement „Show overlapping sources“ (überlappende Quellen anzeigen), das den Rest offenlegt, und auf jeder einzelnen Karte die Aktion View other sources (andere Quellen anzeigen).

Gut zu wissen, bevor Sie sich mit einem Treffer anlegen: Die auf der Karte genannte Quelle ist die stärkste Übereinstimmung, nicht notwendigerweise die Quelle, die Sie benutzt haben.

Nichts davon erfordert Zugang zum Bericht. Sie können es in der Datei tun, die Sie gerade einreichen wollen.

1. Finden Sie jedes direkte Zitat und prüfen Sie, ob das öffnende Zeichen direkt am ersten Zeichen anliegt, ohne Leerzeichen dazwischen. Suchen Sie nach einem Anführungszeichen, auf das ein Leerzeichen folgt.
2. Prüfen Sie die Zeichenformen – und prüfen Sie sie nach jeder Konvertierung erneut. Ein Umweg über eine Vorlage, ein PDF oder den Editor eines Co-Autors tauscht gerade gegen geschwungene Zeichen aus, ohne Sie zu fragen. In einem übersetzten Manuskript können Formen vorkommen, die auf keiner der beiden veröffentlichten Listen stehen.
3. Rücken Sie Verweise näher heran. Wenn der Verweis zu einem Zitat am Ende des nächsten Satzes oder Absatzes steht, holen Sie ihn direkt neben das zitierte Material.
4. Halten Sie Ihren Zitierstil fest. Wenn er nicht APA, MLA, Turabian oder nummeriertes IEEE ist, rechnen Sie mit einer weniger verlässlichen Erkennung, und seien Sie darauf vorbereitet, einen Treffer zu erklären, statt darauf zu vertrauen, dass der Bericht ihn für Sie einordnet.
5. Prüfen Sie bei allem, was trotzdem noch übereinstimmt, die Quellenkarte statt der Markierungsfarbe, denn die genannte Quelle ist die stärkste Übereinstimmung und muss nicht Ihre tatsächliche Quelle sein.

Die Ähnlichkeitsseite eines Berichts ist nicht unser Gebiet, und Umschreiben ist nicht das, was sie behebt. Wenn eine Passage übereinstimmt, weil sie ein Zitat ist, lautet die Antwort Zuschreibung. Die Wörter eines Zitats zu verändern, macht daraus nur ein schlechteres Zitat.

Das Tool HumanPen arbeitet am anderen Indikator. Wenn ein Manuskript mit einem AI-Writing-Prozentwert und bestimmten markierten Passagen zurückkommt, ist es der Import dieses Berichts, der angibt, welche Absätze geöffnet werden.

Wenn auf Ihrem Bericht beide Zahlen stehen, sind das zwei getrennte Probleme mit zwei getrennten Lösungen – und sie als eines zu behandeln, ist der Weg, auf dem Menschen Zitate umschreiben, bei denen nur ein Paar Anführungszeichen verschoben werden musste.

Mein Zitat ist korrekt belegt und erscheint trotzdem als Treffer. Ist das falsch? Nicht notwendigerweise. Die Dokumentation stellt fest, dass markierte Treffer Fälle von Textähnlichkeit sind und nicht immer auf ein Plagiat hinweisen, und es gibt einen eigenen Ausschlussfilter für zitierten Text, den jemand einschalten muss. Wenn er aus ist, ist zu erwarten, dass korrekt zitiertes Material übereinstimmt. Worauf es dann ankommt, ist, in welche der vier Treffergruppen es fällt.

Versteht der Bericht meinen Zitierstil? Die Verweiserkennung ist dokumentiert als trainiert auf die Formate APA, MLA, Turabian und nummeriertes IEEE. Andere Formate können trotzdem erkannt werden, aber die Anleitung sagt, dass es weniger wahrscheinlich ist.

Warum haben meine Anführungszeichen nicht gezählt? Die erkannten Formen sind aufgelistet, und ein Fehler wird ausdrücklich genannt: Zeichen, die durch ein Leerzeichen vom Text getrennt sind, werden nicht erkannt. Prüfen Sie, ob unmittelbar nach einem öffnenden Anführungszeichen ein Leerzeichen steht.

Gilt das alles auch für ein Manuskript, das nicht auf Englisch geschrieben ist? Match Groups sind dokumentiert als auf englischsprachige Inhalte trainiert und nur für Einreichungen auf Englisch verfügbar.