Poster-Präsentationen und KI-Erkennung: Warum die Werte unzuverlässig werden

Poster werden anders geschrieben als Aufsätze oder Zeitschriftenartikel. Sie basieren auf Aufzählungspunkten, kurzen Phrasen und visuellen Elementen. Die Turnitin-Dokumentation besagt, dass das Modell nur qualifizierende Prosasätze analysiert und KI in Nicht-Prosa-Formaten nicht zuverlässig erkennt. Wenn ein Poster als Dokument eingereicht wird, kann der Prozentsatz einen kleinen Teil der Prosa widerspiegeln, während die Hervorhebungen fast nichts zeigen. Die Diskrepanz zwischen beiden ist ein bekanntes Verhalten, kein Fehler.

Die FAQ ist eindeutig darüber, was als qualifizierender Text zählt:

„This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (Dieser qualifizierende Text umfasst nur Prosasätze, das heißt, wir analysieren ausschließlich Textblöcke, die in standardmäßigen grammatikalischen Sätzen verfasst sind, und schließen andere Schreibarten wie Listen, Aufzählungspunkte (kurze Nicht-Satz-Strukturen) oder andere Nicht-Satz-Strukturen aus.)"

Die FAQ stellt außerdem fest:

„The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures). (Das Modell erkennt KI-generierten Text in Form von Nicht-Prosa oder Code nicht zuverlässig, ebenso wenig wie Kurzform-/unkonventionelles Schreiben wie Aufzählungspunkte (kurze Nicht-Satz-Strukturen).)"

Der nächste Satz erläutert die Konsequenz:

„This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (Das bedeutet, dass ein Dokument mit mehreren verschiedenen Schreibarten zu einer Diskrepanz zwischen Prozentsatz und Hervorhebungen führen würde.)"

Bei einem Poster ist diese Diskrepanz extrem. Der Großteil des Texts auf einem Poster besteht aus Aufzählungspunkten oder kurzen Beschriftungen. Wenn Sie ein Poster als Dokument einreichen und einen hohen KI-Prozentsatz erhalten, kann dieser Prozentsatz auf nur wenigen qualifizierenden Prosa-Absätzen basieren, während die Aufzählungspunkte, die den Großteil des Posters ausmachen, für den Detektor unsichtbar bleiben.

Turnitins Hilfeartikel Using the AI Writing Report sagt, die Grenzen des Modells reichen weiter als die Liste in der FAQ:

„The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies. (Das Modell erkennt KI-generierten Text in Form von Nicht-Prosa wie Lyrik, Skripten oder Code nicht zuverlässig, ebenso wenig wie Kurzform-/unkonventionelles Schreiben wie Aufzählungspunkte, Tabellen oder annotierte Bibliografien.)"

Der nächste Satz aus diesem Artikel:

„This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (Das bedeutet, dass ein Dokument mit mehreren verschiedenen Schreibarten zu einer Diskrepanz zwischen Prozentsatz und Hervorhebungen führen würde.)"

Poster verwenden häufig Tabellen für Ergebnisse, Vergleiche und Zeitachsen. Wenn Tabellen als nicht zuverlässig erkennbar eingestuft sind, fällt ein erheblicher Teil des Posterinhalts außerhalb der zuverlässigen Abdeckung des Modells. Der angezeigte Prozentsatz wird möglicherweise aus den wenigen Prosa-Absätzen berechnet, die zwischen Tabellen und Aufzählungslisten eingeklemmt sind.

Es gibt ein wichtiges Update aus dem August 2023. Ein Release-Hinweis besagt:

„We are now able to process long-form prose text in tables. (Wir sind nun in der Lage, Langform-Prosatext in Tabellen zu verarbeiten.)"

Der nächste Satz lautet:

„Resubmit to reprocess existing submissions that contain tables. (Reichen Sie erneut ein, um bestehende Einsendungen mit Tabellen neu zu verarbeiten.)"

Das bedeutet, dass Tabellen mit langen Prosasätzen (vollständige grammatikalische Sätze innerhalb von Tabellenzellen) nun verarbeitet werden. Kurze Beschriftungen, Zahlen und Dateneinträge in Tabellen sind weiterhin Nicht-Prosa und bleiben außerhalb der Modellanalyse. Für Poster ist dies eine teilweise Verbesserung. Eine Ergebnistabelle mit vollständigen Sätzen in jeder Zelle würde nun analysiert. Eine Tabelle mit bloßen Zahlen und kurzen Beschriftungen hingegen nicht.

Die FAQ beschreibt, wie Einsendungen verarbeitet werden:

„When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. (Wenn eine Arbeit bei Turnitin eingereicht wird, werden Sätze aus der Einsendung extrahiert und für die Vorhersageanalyse in überlappende Abschnitte segmentiert. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der die Wahrscheinlichkeit angibt, dass der Text eher menschlich oder KI-generiert ist. Jeder qualifizierende Satz innerhalb dieser Abschnitte erbt den Score des Abschnitts.)"

Nur qualifizierende Prosasätze werden extrahiert. Die Aggregation erzeugt dann den Score auf Dokumentebene:

„These sentence scores are further aggregated and used to compute the overall document AI writing score. (Diese Satz-Scores werden weiter aggregiert und zur Berechnung des gesamten KI-Schreib-Scores des Dokuments verwendet.)"

Bei einem Poster kann der Extraktionsschritt sehr wenige Sätze erfassen. Die wenigen Prosa-Absätze auf einem Poster könnten das Abstract, eine kurze Einleitung und eine Schlussbemerkung sein. Alles andere sind Aufzählungspunkte und Tabelleneinträge. Der Score wird aus dieser kleinen Menge an Prosa berechnet, was bedeutet, dass er eine enge Stichprobe widerspiegelt. So lesen Sie einen Turnitin-KI-Schreibbericht setzt an derselben Lücke zwischen Zahl und Seite an.

Als Dokument eingereichte Poster sind kurz. Die FAQ warnt davor:

„In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (In kürzeren Dokumenten mit nur wenigen hundert Wörtern fällt die Vorhersage meist „alles oder nichts" aus, da wir auf einem einzelnen Segment ohne Überlappungsmöglichkeit vorhersagen.)"

Der nächste Satz:

„This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated. (Das bedeutet, dass ein Text, der eine Mischung aus KI-generiertem und originalem Inhalt ist, als vollständig KI-generiert markiert werden könnte.)"

Ein Poster mit nur 300 oder 400 Wörtern qualifizierender Prosa fällt genau in diesen Bereich. Bei so wenigen Segmenten gibt es keinen Ausgleichseffekt. Ein einzelnes Segment mit hohem Score kann das gesamte Dokument als KI-generiert einstufen. Der darauffolgende Satz der FAQ über die Diskrepanz zwischen Prozentsatz und Hervorhebungen wird hier sehr deutlich. Sie sehen möglicherweise einen hohen Prozentsatz, aber fast keinen hervorgehobenen Text auf dem Poster selbst – das ist einer der Fälle in warum Ihr KI-Schreibscore fehlt, inkonsistent ist oder sich nicht herunterladen lässt.

Die FAQ beschreibt, was tendenziell falsch Positive auslöst:

„Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. (Manchmal können falsch Positive – also das fälschliche Markieren von menschlich geschriebenem Text als KI-generiert – Inhalte ohne große strukturelle Variation umfassen, Text, der sich wörtlich selbst wiederholt, oder Text, der paraphrasiert wurde, ohne neue Ideen zu entwickeln.)"

Poster-Prosa neigt zur Wiederholung. Dieselben Kernergebnisse erscheinen im Abstract, im Ergebnisteil und in der Schlussfolgerung. Die Sprache ist komprimiert und einheitlich, da der Platz begrenzt ist – und Einheitlichkeit kommt dem nahe, was was KI-Detektoren messen zufolge der Klassifikator erfasst. Die FAQ fährt fort:

„If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. (Wenn unser Indikator einen höheren Anteil an KI-Schreiben in solchem Text anzeigt, empfehlen wir Ihnen, dies bei der Betrachtung des angezeigten Prozentsatzes zu berücksichtigen.)"

Für Poster ist dieser Rat doppelt relevant. Die Prosa ist kurz, repetitiv und strukturell einheitlich. Alle drei Faktoren verstärken das Risiko eines irreführenden Scores.

Wenn Ihre Poster-Präsentation einen Turnitin-KI-Score erhalten hat, sollten Sie Folgendes beachten:

• Aufzählungspunkte und kurze Beschriftungen sind kein qualifizierender Text. Der Score spiegelt sie nicht wider.
• Ein Turnitin-Hilfartikel besagt, dass auch Tabellen nicht zuverlässig erkannt werden, wobei Langform-Prosa in Tabellen seit August 2023 verarbeitet wird.
• Die Diskrepanz zwischen Prozentsatz und Hervorhebungen ist bei Dokumenten mit gemischten Formaten ein erwartetes Verhalten.
• Kurze qualifizierende Prosa löst „Alles-oder-Nichts"-Vorhersagen mit minimaler Segmentüberlappung aus.
• Poster-Prosa ist repetitiv und einheitlich, was dem Profil falsch Positiver entspricht, das die FAQ beschreibt.
• Ein hoher Prozentsatz mit wenigen Hervorhebungen sollte mit Vorsicht behandelt werden, nicht als endgültiges Urteil.

Wenn Sie die markierten Passagen bearbeiten möchten, importieren Sie Ihren Turnitin-Bericht und arbeiten Sie sie nacheinander durch. Berechtigte Passagen können kostenlos erneut ausgeführt werden.