Erkennt Turnitin Perplexity AI? Was die Dokumentation dazu sagt

Die FAQ von Turnitin veröffentlicht eine Liste der KI-Schreibmodelle, deren Inhalte sie erkennen kann, darunter GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok und o1-mini. Die Liste endet mit „and tools based on these LLMs as well." (und Werkzeuge, die ebenfalls auf diesen LLMs basieren.) Die FAQ stellt außerdem fest: „We will continue to expand our detection capabilities to other models in the future." (Wir werden unsere Erkennungsfähigkeiten künftig auch auf weitere Modelle ausweiten.) Perplexity AI ist ein Suchwerkzeug, das Text mithilfe zugrunde liegender Sprachmodelle erzeugen kann. Ob der Detektor von Turnitin Inhalte aus Perplexity markiert, hängt davon ab, welches zugrunde liegende Modell den Text erzeugt hat und ob dieses Modell oder die betreffende Modellfamilie auf der Erkennungsliste steht. Die FAQ räumt ein, dass die Erkennungsfähigkeiten nicht unveränderlich sind: „As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage." (Wenn wir unser Modell weiterentwickeln und verbessern, um neuere LLMs besser zu erkennen, werden sich voraussichtlich auch unsere Erkennungsfähigkeiten ändern, was sich auf den KI-Prozentwert auswirkt.)

Die FAQ nennt eine Liste von Modellen, deren Inhalte sie erkennen kann. Der einleitende Satz verwendet die Wendung „Inhalte daraus erkennen kann", auf die eine kommagetrennte Liste folgt. Darin stehen die großen LLM-Familien: GPT, Gemini, Claude, LLaMA, Mistral, Deepseek, Nova, Grok und o1-mini. Die Liste schließt mit den Worten:

„and tools based on these LLMs as well." (Und Werkzeuge, die ebenfalls auf diesen LLMs basieren.)

Der nächste Satz: „We will continue to expand our detection capabilities to other models in the future." (Wir werden unsere Erkennungsfähigkeiten künftig auch auf weitere Modelle ausweiten.)

Das heißt: Die Liste deckt nicht nur die namentlich genannten Modelle ab, sondern auch Werkzeuge, die darauf aufbauen. Leitet ein Werkzeug wie Perplexity AI seine Texterzeugung über eine der aufgeführten LLM-Familien, kann das Ergebnis unter die Klausel „Werkzeuge, die auf diesen LLMs basieren" fallen. Erkennt Turnitin Claude, Copilot oder Gemini? geht die namentlich genannten Einträge einzeln durch.

Das Erkennungsmodell verarbeitet Text, indem es ihn in überlappende Abschnitte zerlegt und Wahrscheinlichkeitswerte vergibt:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Wird eine Arbeit bei Turnitin eingereicht, werden die Sätze der Einreichung entnommen und für die Vorhersageanalyse in überlappende Abschnitte unterteilt. Jeder Abschnitt wird vom KI-Erkennungsmodell klassifiziert und erhält einen Wert zwischen 0 und 1, der angibt, wie wahrscheinlich der Text von einem Menschen oder von einer KI stammt.)

Das Modell ist nicht darauf programmiert, Burstiness oder Perplexität als benannte Metriken zu bewerten: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Unser Modell ist nicht ausdrücklich darauf programmiert, bestimmte Signale wie 'burstiness,' 'perplexity,' oder andere einzelne Metriken zu bewerten, die in öffentlichen Diskussionen gelegentlich genannt werden.) Der nächste Satz: "Instead, it learns statistical patterns from our training data." (Stattdessen lernt es statistische Muster aus unseren Trainingsdaten.) Dieselbe FAQ stellt fest: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Unsere Klassifikatoren sind darauf trainiert, diese Unterschiede in der Wortwahrscheinlichkeit zu erkennen, und kennen die für menschliche Schreibende typischen Folgen von Wortwahrscheinlichkeiten gut.) Der Detektor bewertet also Wortwahrscheinlichkeitsmuster, die er aus den Trainingsdaten gelernt hat, und keine oberflächlichen Metriken. Die Namenskollision sollte man für sich klären: Nutzt Turnitin Perplexität und Burstiness?

Die FAQ sagt ausdrücklich, dass die Erkennung nicht festgeschrieben ist:

"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage." (Wenn wir unser Modell weiterentwickeln und verbessern, um neuere LLMs besser zu erkennen, werden sich voraussichtlich auch unsere Erkennungsfähigkeiten ändern, was sich auf den KI-Prozentwert auswirkt.)

Der nächste Satz: "However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (Für ein bereits eingereichtes Dokument ändert sich der KI-Prozentwert jedoch nur dann, wenn es erneut eingereicht und verarbeitet wird.)

Das heißt: Das Erkennungsmodell wird laufend aktualisiert, um neuere LLMs zu erfassen. Nutzt Perplexity AI oder ein anderes Werkzeug ein Modell, das noch nicht auf der Liste steht, kann eine Lücke bleiben, bis das nächste Update des Erkennungsmodells kommt. Bereits benotete Dokumente werden nicht automatisch neu bewertet.

Die FAQ räumt einen Zielkonflikt ein:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document." (Um diese niedrige Falsch-Positiv-Rate von 1 % zu halten, besteht die Möglichkeit, dass uns in einem Dokument mancher KI-geschriebener Text entgeht.)

Der Detektor ist darauf ausgelegt, falsch positive Treffer zu vermeiden, selbst um den Preis, manchen KI-Text zu übersehen. Ein Werkzeug, dessen Text in den Wortwahrscheinlichkeiten näher am menschlichen Schreiben liegt, wäre schwerer zu erkennen, zumindest bis das Erkennungsmodell aktualisiert wird. Das Versprechen, "continue to expand our detection capabilities" (unsere Erkennungsfähigkeiten weiter auszuweiten), ist das Gegengewicht, aber zwischen dem Erscheinen eines neuen Werkzeugs und der Erkennungsabdeckung liegt zwangsläufig eine Verzögerung. Dieselbe Verzögerung steckt auch hinter der Frage, ob Turnitin KI-Humanizer erkennt.

Zusammenfassend zu dem, was wir behandelt haben:

• Turnitin veröffentlicht eine Liste der Modelle, deren Inhalte es erkennen kann, darunter GPT, Gemini, Claude und andere.
• Die Liste deckt "tools based on these LLMs as well," (ebenso Werkzeuge, die auf diesen LLMs basieren,) ab, sodass Werkzeuge, die über aufgeführte Modelle laufen, erkennbar sein können.
• Die FAQ verspricht, die Erkennung künftig auf weitere Modelle auszuweiten.
• Die Erkennungsfähigkeiten ändern sich mit der Zeit, wenn das Modell aktualisiert wird.
• Der Detektor nimmt dafür, dass die Falsch-Positiv-Rate niedrig bleibt, übersehenen KI-Text in Kauf.
• Bereits benotete Dokumente werden nicht automatisch neu bewertet, wenn sich das Modell ändert.

Wenn Sie einen KI-Bericht von Turnitin erhalten haben und die markierten Passagen angehen möchten, importieren Sie den Bericht und arbeiten Sie daran. Passagen, die die Voraussetzungen erfüllen, können kostenlos erneut durchlaufen werden.