Den Aufsatz mit Notion oder QuillBot aufpoliert – und jetzt gilt er als KI-Text

Wurde Ihr Aufsatz nach dem Durchlauf durch eine Grammatikprüfung als KI markiert, lautet die Frage nicht, ob das Werkzeug allgemein „sicher" ist. Sie lautet: welche Funktion haben Sie benutzt? Die FAQ von Turnitin beantwortet das für ein Produkt direkt: Die Korrekturen von Grammarly an Rechtschreibung, Grammatik und Zeichensetzung werden „in most cases," (in den meisten Fällen) nicht markiert, während Inhalte aus den generativen Funktionen von Grammarly – Entwurfserstellung, Umformulieren, Zusammenfassen und weitere – „will likely be flagged as AI-generated." (wahrscheinlich als KI-generiert markiert werden). Für Notion, QuillBot und andere Werkzeuge veröffentlicht Turnitin keine Liste je Werkzeug. Die FAQ sagt, der Detektor sei darauf trainiert und getestet worden, führende Umformulierungs- und Umgehungswerkzeuge zu erkennen, könne aber nicht offenlegen, welche. Die Grenze ist grundsätzlich klar, auch wenn die Werkzeugliste es nicht ist: korrigierende Eingriffe und generatives Umschreiben sind zwei verschiedene Kategorien, und der Detektor liest sie unterschiedlich.

Die FAQ enthält eine ausführliche Antwort speziell zu Grammarly. Die entscheidende Passage ist lang, und jeder Halbsatz zählt:

„No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector." (Nein. Unser Detektor ist nicht darauf ausgerichtet, von Grammarly erzeugte Änderungen an Rechtschreibung, Grammatik und Zeichensetzung zu erfassen, sondern andere KI-Inhalte, die von LLMs wie GPT-3.5 geschrieben wurden. Nach Tests, die wir mit von Menschen geschriebenen Dokumenten ohne KI-Inhalte durchgeführt haben, wurden Änderungen durch Grammarly (kostenlos & Premium) und/oder andere Grammatikprüfungen in den meisten Fällen nicht als KI-geschrieben markiert. Bitte beachten Sie, dass dies keine Inhalte einschließt, die von den generativen KI-Funktionen von Grammarly stammen – Entwurfserstellung, Umformulieren, Zusammenfassen und weitere. Mit diesen Funktionen erzeugte Inhalte werden von unserem Detektor wahrscheinlich als KI-generiert markiert.)

Lesen Sie diesen Satz in zwei Hälften. Die erste Hälfte ist eine Ausnahme: Rechtschreib-, Grammatik- und Zeichensetzungsfehler sind nicht das, worauf der Detektor ausgerichtet ist, und in den getesteten Fällen wurden sie nicht markiert. Die Einschränkung „in most cases" (in den meisten Fällen) leistet hier echte Arbeit, denn sie bedeutet, dass die Ausnahme keine Garantie ist. Die zweite Hälfte ist die Grenze: Generative Funktionen sind eine andere Kategorie, und Inhalte daraus werden wahrscheinlich markiert. Den gesamten Absatz haben wir in Erkennt Turnitin Grammarly als KI-Schreibweise? auseinandergenommen.

Grammarly ist das einzige Werkzeug, das die FAQ von Turnitin beim Namen nennt. Für Notion, QuillBot und alles andere gibt es keine veröffentlichte Aussage. Was die FAQ sagt, ist Folgendes:

„Our AI writing detector has been trained and tested to detect leading paraphraser and bypasser tools. However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools." (Unser Detektor für KI-Schreibweise wurde darauf trainiert und getestet, führende Umformulierungs- und Umgehungswerkzeuge zu erkennen. Um jedoch die Integrität unserer Lösung und ihre Wirksamkeit für die Wahrung der akademischen Redlichkeit zu schützen, können wir die Namen dieser Werkzeuge nicht offenlegen.)

Wir können und werden Ihnen nicht sagen, dass ein bestimmtes Werkzeug sicher oder unsicher ist, denn Turnitin veröffentlicht die Liste nicht, und wir machen keine Aussagen darüber, was erkannt wird. Was wir sagen können: Die Grammarly-FAQ steckt den Rahmen ab – korrigierende Eingriffe (Rechtschreibung, Grammatik, Zeichensetzung) auf der einen Seite, generative Vorgänge (Entwerfen, Umformulieren, Zusammenfassen) auf der anderen. Wenn das von Ihnen genutzte Werkzeug beide Arten von Funktionen hat, zählt der geklickte Knopf mehr als die geöffnete App. Aus demselben Grund hat auch Erkennt Turnitin KI-Humanizer? keine Antwort in Form einer Werkzeugliste.

Es gibt einen Haken. Die FAQ führt Text, der „paraphrased without developing new ideas" (umformuliert wurde, ohne neue Gedanken zu entwickeln), in der Liste der Inhalte, auf die Fehlalarme zutreffen können. Der vollständige Wortlaut:

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Manchmal können Fehlalarme – also dass von Menschen geschriebener Text irrtümlich als KI-generiert markiert wird – Inhalte ohne große strukturelle Abwechslung betreffen, Texte, die sich wörtlich wiederholen, oder Texte, die umformuliert wurden, ohne neue Gedanken zu entwickeln.)

Und der folgende Satz: „If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Zeigt unser Indikator bei einem solchen Text einen höheren Anteil an KI-Schreibweise an, empfehlen wir Ihnen, dies bei der Betrachtung des ausgewiesenen Prozentwerts zu berücksichtigen.)

Das heißt: Ein Umformulierungswerkzeug kann ein doppeltes Problem schaffen. Erstens: Gehört es zu den Werkzeugen, auf deren Erkennung Turnitin trainiert wurde, kann seine Ausgabe direkt markiert werden. Zweitens: Selbst wenn keine Spur eines bestimmten Werkzeugs erkannt wird, kann der entstandene Text dem Profil entsprechen, um das sich Fehlalarme häufen: gleichförmige Struktur, wörtliche Wiederholungen oder eine Umformulierung, die Wörter umstellt, ohne Substanz hinzuzufügen. Das erste Risiko ist Erkennung. Das zweite ist Ähnlichkeit.

Was zusätzlich verwirrt: Der KI-Wert und der Ähnlichkeitswert sind unabhängig. Turnitin stellt fest: „The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (Der Similarity-Wert und der Prozentwert der KI-Schreiberkennung sind vollständig unabhängig und beeinflussen sich nicht gegenseitig.) Ein Umformulierungswerkzeug kann Ihren Ähnlichkeitswert senken, weil der Text nicht mehr Wort für Wort mit vorhandenen Quellen übereinstimmt, und gleichzeitig Ihren KI-Wert erhöhen, weil die Ausgabe nun KI-generiertem oder umformuliertem Text ähnelt. Diese beiden Bewegungen widersprechen sich nicht. Sie stammen von zwei getrennten Systemen, die unterschiedliche Signale lesen.

Dieses Muster ist uns oft genug begegnet, dass wir einen eigenen Artikel darüber geschrieben haben: Was passiert, wenn Umformulieren die Ähnlichkeit senkt, aber den KI-Wert erhöht.

Zusammenfassung des bisher Gesagten:

• Die Korrekturen von Grammarly an Rechtschreibung, Grammatik und Zeichensetzung werden „in most cases," (in den meisten Fällen) nicht markiert, die generativen Funktionen – Umformulieren, Zusammenfassen, Entwerfen – dagegen wahrscheinlich schon.
• Turnitin legt nicht offen, welche anderen Werkzeuge es erkennt; niemand kann Ihnen also eine geprüfte „Liste sicherer Werkzeuge" geben.
• Die benutzte Funktion zählt mehr als der Name der App: korrigierende Eingriffe und generatives Umschreiben sind verschiedene Kategorien.
• Umformulierter Text ohne neue Gedanken steht auf der eigenen Liste von Turnitin für fehlalarmgefährdete Inhalte.
• Der KI-Wert und der Ähnlichkeitswert sind unabhängig, ein Umformulierungswerkzeug kann also den einen senken und den anderen erhöhen.

Ist Ihr Aufsatz bereits markiert, lautet die weiterführende Frage nicht „war das Werkzeug schuld", sondern „which passages are flagged and why." (welche Passagen markiert sind und warum). Importieren Sie Ihren Turnitin-Bericht und arbeiten Sie an genau den Passagen, die markiert wurden. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.