Perché le bibliografie annotate ottengono punteggi IA inaffidabili in Turnitin

Un articolo di assistenza di Turnitin segnala limiti noti del modello con alcuni formati:

«The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.» (Il modello non rileva in modo affidabile il testo generato dall’IA in forma non narrativa, come poesia, copioni o codice, e non rileva nemmeno la scrittura breve o non convenzionale, come elenchi puntati, tabelle o bibliografie annotate.)

La frase successiva: «This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.» (Significa che un documento contenente diversi tipi di scrittura produrrebbe uno scarto tra la percentuale e le evidenziazioni.)

Le bibliografie annotate sono citate esplicitamente in questo elenco. Il modello non rileva in modo affidabile il testo generato dall’IA in questo formato. È un limite di copertura riconosciuto nell’articolo di assistenza, non un problema di configurazione da parte tua. Se la tua bibliografia annotata riceve un punteggio IA alto, quel punteggio arriva da un modello che lavora fuori dal suo intervallo di copertura affidabile.

La bibliografia non è soltanto inaffidabile: è esclusa del tutto dall’elaborazione. Una nota di rilascio del 2023 lo afferma:

«We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.» (Abbiamo corretto un bug che occasionalmente evidenziava scrittura IA all’interno dei riferimenti elencati in una bibliografia. Ora le bibliografie sono escluse durante l’elaborazione del report sulla scrittura IA.)

La frase successiva: «Resubmit to reprocess existing submissions that contain highlighted reference sections.» (Invia di nuovo per rielaborare gli invii esistenti che contengono sezioni di riferimenti evidenziate.)

Significa che le voci bibliografiche, cioè le citazioni stesse, non vengono analizzate. Se hai inviato un documento prima di questa correzione e hai visto evidenziazioni nel tuo elenco di riferimenti, un nuovo invio rielaborerebbe il documento senza la bibliografia. Perché Turnitin segnala i miei riferimenti e le mie citazioni ripercorre fin dove arrivano davvero le esclusioni. La stessa nota di rilascio affrontava anche il contenuto delle tabelle:

«We are now able to process long-form prose text in tables.» (Ora riusciamo a elaborare testo in prosa di ampia estensione all’interno delle tabelle.)

La frase successiva: «Resubmit to reprocess existing submissions that contain tables.» (Invia di nuovo per rielaborare gli invii esistenti che contengono tabelle.)

Nelle bibliografie annotate le voci delle citazioni sono escluse. I paragrafi di annotazione, cioè la prosa che scrivi su ogni fonte, sono il testo idoneo che viene elaborato. Il punteggio che vedi riflette solo la prosa delle annotazioni, non le citazioni.

Il rilevatore elabora solo testo idoneo. La pagina delle domande frequenti di Turnitin «AI writing detection capabilities» (funzionalità di rilevamento della scrittura IA) lo spiega:

«This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.» (Questo testo idoneo comprende solo frasi in prosa, il che significa che analizziamo unicamente blocchi di testo scritti con frasi grammaticali standard e non includiamo altri tipi di scrittura come elenchi, punti elenco, cioè brevi strutture che non sono frasi, o altre strutture che non sono frasi.)

La frase successiva: «This percentage is not necessarily the percentage of the entire submission.» (Questa percentuale non è necessariamente la percentuale dell’intero invio.)

Per le bibliografie annotate questo crea una dinamica precisa. Le voci bibliografiche, con le loro citazioni formattate, i rientri sporgenti e i link DOI, sono escluse. I paragrafi di annotazione sono frasi in prosa, quindi sono testo idoneo. La percentuale nel report riguarda solo la prosa delle annotazioni. Se le tue annotazioni sono 300 parole su un documento di 1000 parole, la percentuale copre quelle 300 parole, non tutto il documento. Questo scarto tra la percentuale e la lunghezza del documento è la prima cosa da controllare quando leggi un report sulla scrittura IA di Turnitin.

La pagina delle domande frequenti di Turnitin «AI writing detection capabilities» (funzionalità di rilevamento della scrittura IA) formula il limite in forma più breve:

«The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures).» (Il modello non rileva in modo affidabile il testo generato dall’IA in forma non narrativa o sotto forma di codice, e non rileva nemmeno la scrittura breve o non convenzionale, come i punti elenco, cioè brevi strutture che non sono frasi.)

La frase successiva: «This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.» (Significa che un documento contenente diversi tipi di scrittura produrrebbe uno scarto tra la percentuale e le evidenziazioni.)

Una bibliografia annotata è esattamente questo tipo di documento misto. Lo scarto tra la percentuale e le evidenziazioni è un comportamento noto.

La pipeline di rilevamento suddivide il testo idoneo in sezioni sovrapposte:

«When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.» (Quando un elaborato viene inviato a Turnitin, le frasi dell’invio vengono estratte e suddivise in sezioni sovrapposte per l’analisi predittiva. Ogni sezione viene classificata dal modello di rilevamento dell’IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia opera di una persona o sia stato generato dall’IA. Ogni frase idonea contenuta in queste sezioni eredita il punteggio della sezione. Poiché le sezioni si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi riuniti in un punteggio unico. Questi punteggi delle frasi vengono ulteriormente aggregati e servono a calcolare il punteggio complessivo di scrittura IA del documento.)

Nelle bibliografie annotate solo le frasi in prosa delle annotazioni passano da questa pipeline: le voci delle citazioni non vi entrano mai. I punteggi delle sezioni riflettono la valutazione di probabilità del solo testo delle annotazioni. La percentuale complessiva è un’aggregazione di quei punteggi di frase che derivano unicamente dalle annotazioni.

La prosa delle annotazioni tende a seguire una formula prevedibile: riassumi la fonte, ne valuti l’attendibilità e ne descrivi la pertinenza. Questa ripetizione corrisponde agli schemi che la documentazione associa ai falsi positivi:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (A volte i falsi positivi, cioè segnalare per errore come generato dall’IA un testo scritto da una persona, possono riguardare contenuti con poca varietà strutturale, testi che si ripetono letteralmente o testi riformulati senza sviluppare idee nuove.)

La frase successiva: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in un testo di questo tipo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

Le annotazioni hanno spesso poca varietà strutturale perché la formula riassunto – valutazione – pertinenza si ripete in tutte le voci. Le formulazioni si ripetono perché gli studenti usano verbi simili ("argues", "claims", "demonstrates") in annotazioni diverse. Le idee sono riformulate a partire dalla fonte senza sviluppare argomentazioni nuove, e la riformulazione da sola tende già a spingere il numero nella direzione sbagliata, come spiega perché la riformulazione fa salire il tuo punteggio IA su Turnitin. La guida di Turnitin stessa dice di valutare la percentuale con attenzione invece di prenderla per buona così com’è, quando il testo corrisponde a questi schemi.

Per riassumere quello che abbiamo visto:

• Un articolo di assistenza di Turnitin dice che il modello non rileva in modo affidabile il testo generato dall’IA nelle bibliografie annotate.
• Le bibliografie sono escluse dall’elaborazione. Viene analizzata solo la prosa delle annotazioni.
• La percentuale riguarda solo la prosa delle annotazioni, non l’intero invio.
• La prosa delle annotazioni tende a corrispondere agli schemi dei falsi positivi: poca varietà strutturale, formulazioni ripetitive e idee riformulate.
• Turnitin consiglia: «If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.» (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in un testo di questo tipo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)
• Se avevi un invio più vecchio con riferimenti evidenziati, un nuovo invio rielaborerà il documento senza la bibliografia.

Se ricevi un report IA di Turnitin su una bibliografia annotata e vuoi intervenire sui passaggi segnalati, importa il report e lavoraci. I passaggi che rispettano i requisiti possono essere rielaborati gratuitamente.