Perché Turnitin segnala i miei riferimenti?

Nei report Turnitin attuali, gli elenchi di riferimenti e le bibliografie non dovrebbero ricevere alcuna segnalazione di scrittura IA. Il modello di rilevamento della scrittura IA esclude le bibliografie dall’analisi. Se i tuoi riferimenti mostrano evidenziazioni in un report che hai davanti in questo momento, ci sono tre spiegazioni realistiche e nessuna di queste è «Turnitin ha rilevato IA nella tua lista di riferimenti». Le tre sono: il report è obsoleto (precedente ad agosto 2023), le evidenziazioni sono corrispondenze di similarità e non segnalazioni IA, oppure il testo segnalato in realtà è prosa adiacente ai tuoi riferimenti e viene analizzato come prosa dal modello.

Le vedremo tutte e tre. Ma il punto di partenza è il cambiamento che Turnitin ha fatto e la frase che ti ha chiesto di seguire.

Nei primi mesi dopo il lancio del rilevamento della scrittura IA da parte di Turnitin, nell’aprile 2023, le bibliografie non erano escluse dall’analisi. Un bug evidenziava occasionalmente scrittura IA all’interno dei riferimenti elencati in una bibliografia. Lo sappiamo perché Turnitin lo ha documentato nelle sue note di rilascio del modello di rilevamento della scrittura IA:

«We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.» (Abbiamo corretto un bug che occasionalmente evidenziava scrittura IA all’interno dei riferimenti elencati in una bibliografia. Le bibliografie ora sono escluse quando viene elaborato il report sulla scrittura IA.)

La frase successiva, sulla stessa riga delle note di rilascio, è:

«Resubmit to reprocess existing submissions that contain highlighted reference sections.» (Invia di nuovo gli elaborati già consegnati che contengono sezioni di riferimenti evidenziate, per farli rielaborare.)

Proprio questa seconda frase è quella che la maggior parte degli studenti non nota. La correzione non si applica ai report già generati. Se il tuo docente ha generato un report prima del rilascio di agosto 2023 e non ha mai reinviato l’elaborato, è il vecchio report quello che resta nella casella di posta, con le evidenziazioni sulla tua bibliografia. Il report non si aggiorna da solo.

Nelle stesse note di rilascio c’è anche una modifica correlata alle tabelle. Prima di agosto 2023 la prosa di una certa estensione all’interno delle tabelle non veniva elaborata. Le note di rilascio di Turnitin dicono: «We are now able to process long-form prose text in tables.» (Ora siamo in grado di elaborare testi in prosa di lunga estensione all’interno delle tabelle.) E di nuovo, la frase successiva è: «Resubmit to reprocess existing submissions that contain tables.» (Invia di nuovo gli elaborati già consegnati che contengono tabelle, per farli rielaborare.)

Se il tuo elaborato contiene tabelle e il tuo report è precedente ad agosto 2023, vale lo stesso consiglio. La correzione è stata rilasciata, ma ha effetto solo sui report generati dopo la correzione stessa.

C’è una seconda confusione che produce lamentele del tipo «Turnitin ha segnalato i miei riferimenti». È la più comune che vediamo.

Turnitin produce due report diversi. Uno è l’AI Writing Report. L’altro è il Similarity Report. Sono separati, e leggere i due punteggi come se fossero la stessa cosa è l’errore che sta alla base della maggior parte di queste lamentele. Il Similarity Report mostra dove il tuo testo corrisponde al testo di altre fonti. L’AI Writing Report mostra dove il modello ritiene che il testo sia generato dall’IA. Dalle FAQ sulle capacità di rilevamento della scrittura IA di Turnitin:

«The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.» (Il punteggio di similarità e la percentuale di rilevamento della scrittura IA sono completamente indipendenti e non si influenzano a vicenda.)

E dalla stessa FAQ, una riga più in basso:

«AI writing highlights are not visible in the Similarity Report.» (Le evidenziazioni di scrittura IA non sono visibili nel Similarity Report.)

Vale anche il contrario: le evidenziazioni di similarità non sono visibili nell’AI Writing Report.

Gli elenchi di riferimenti sono una delle cose che producono più corrispondenze di similarità. Hai citato articoli pubblicati. Altri studenti hanno citato gli stessi articoli pubblicati. I titoli, i nomi degli autori, i nomi delle riviste e i DOI sono tutte stringhe identiche. Quando i tuoi riferimenti compaiono con del testo evidenziato, la prima cosa da controllare è quale report stai guardando. Perché il tuo testo tra virgolette e citato continua a comparire nel Similarity Report tratta lo stesso effetto sulle citazioni. Se si tratta del Similarity Report, le evidenziazioni non sono segnalazioni IA: sono testo che corrisponde. La fonte simile può essere un altro elaborato di uno studente, un articolo pubblicato o un sito web. Niente di tutto questo ha a che fare con il rilevamento della scrittura IA.

C’è un terzo meccanismo che vale la pena capire. Il modello IA di Turnitin non analizza ogni parola della tua consegna. Analizza ciò che le FAQ chiamano «qualifying text» (testo idoneo):

«This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.» (Questo testo idoneo include solo frasi in prosa, vale a dire che analizziamo esclusivamente blocchi di testo scritti in frasi grammaticalmente standard e che non includono altri tipi di scrittura come elenchi, punti elenco (strutture brevi che non sono frasi) o altre strutture che non sono frasi.)

La frase successiva in quella pagina è:

«This percentage is not necessarily the percentage of the entire submission.» (Questa percentuale non è necessariamente la percentuale dell’intera consegna.)

In pratica, per una sezione di riferimenti questo significa che un elenco di voci bibliografiche, anche se formattato come prosa, potrebbe non essere affatto trattato come testo idoneo dal modello. Le voci sono brevi. Molte non sono frasi complete. Il modello è costruito per leggere la prosa. Un elenco di riferimenti formattato somiglia più a un elenco strutturato che a un paragrafo.

È anche il motivo per cui la percentuale che vedi sull’AI Writing Report e la quantità di testo evidenziato possono sembrare non tornare. Un documento con una bibliografia lunga, un elenco di figure e un indice ha una parte consistente di testo non idoneo. La percentuale è calcolata sulla prosa che il modello legge effettivamente. Le evidenziazioni vengono messe sui segmenti di prosa che hanno superato la soglia del modello. Se la tua bibliografia ha 40 voci e vengono segnalati solo due paragrafi tuoi, il «2%» nel report è il 2% della prosa idonea, non il 2% dell’intero documento.

Se stai guardando un report in questo momento e i tuoi riferimenti sembrano segnalati, ecco cosa controllare, in ordine.

Prima cosa, controlla la data in cui il tuo report è stato generato. Se il report è precedente ad agosto 2023, è stato prodotto prima che arrivasse la correzione sulle bibliografie. Nel modello attuale non c’è nulla che non va: il report è solo obsoleto. La soluzione è chiedere al tuo docente di inviare di nuovo l’elaborato. Spesso basta citare la nota di rilascio. La nota si trova nella pagina di documentazione di Turnitin e dice «resubmit to reprocess existing submissions that contain highlighted reference sections.» (invia di nuovo gli elaborati già consegnati che contengono sezioni di riferimenti evidenziate, per farli rielaborare).

Seconda cosa, controlla quale report stai guardando. Se le evidenziazioni sono nel Similarity Report e non nell’AI Writing Report, si tratta di corrispondenze di similarità, non di segnalazioni IA. Che il tuo elenco di riferimenti corrisponda all’elenco di riferimenti di un altro elaborato è un comportamento previsto, per un controllo di similarità. Non dice nulla sulla paternità IA. Le evidenziazioni di scrittura IA «are not visible in the Similarity Report,» (non sono visibili nel Similarity Report), e le evidenziazioni di similarità non sono visibili nell’AI Writing Report. Le due cose sono separate.

Terza cosa, controlla il testo subito intorno ai tuoi riferimenti. Se il testo segnalato è una o due frasi di prosa appena prima o dopo la tua bibliografia (un ringraziamento, una nota metodologica, un’introduzione alla sezione dei riferimenti), il modello potrebbe leggerlo come prosa. È esattamente quello che il modello deve fare. La segnalazione non riguarda i tuoi riferimenti, ma la prosa che vi sta vicino. Leggi il testo evidenziato in sé, non la sezione in cui si trova. Se poi decidi di rivedere il testo, quella prosa evidenziata è tutto il lavoro: riscrivere solo i paragrafi segnalati da un report Turnitin.

Per completezza: nel 2023 Turnitin ha anche osservato che i falsi positivi erano più frequenti nelle prime e nelle ultime frasi di un documento. Si trattava di quel contenuto di introduzione o conclusione scritto in modo generico. Dalle note di rilascio del 24 maggio 2023:

«Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives.» (Dal lancio, abbiamo osservato una maggiore incidenza di rilevamenti falsi positivi nelle prime o nelle ultime frasi di un documento. Molte volte queste frasi consistono in contenuti di introduzione o conclusione scritti in modo generico. Di conseguenza, abbiamo modificato la nostra logica di rilevamento per contribuire a ridurre questi falsi positivi.)

Questo conta, perché a volte gli studenti trovano online vecchi consigli che dicono «Turnitin segnala introduzioni e conclusioni». Quello era un problema noto, ed è stato un miglioramento del 2023, non uno attuale. Se vedi quel consiglio in un post di un forum del 2023, la correzione è già stata rilasciata. La nota di rilascio lo dice nella sua frase successiva. Per i report attuali non è un problema aperto di cui preoccuparsi.

Il riassunto per chiunque stia guardando in questo momento un elenco di riferimenti segnalato:

1. Controlla la data di generazione del report. I report precedenti ad agosto 2023 vanno inviati di nuovo.
2. Controlla se stai guardando l’AI Writing Report o il Similarity Report. Le segnalazioni di similarità sui riferimenti sono prevedibili. Quelle IA sulle bibliografie no.
3. Se il report è aggiornato e le segnalazioni sono nell’AI Writing Report, leggi il testo effettivamente evidenziato. Probabilmente è prosa vicina ai riferimenti, non i riferimenti stessi.

La correzione di agosto 2023 è documentata nella pagina che abbiamo linkato. Se un docente deve inviare di nuovo l’elaborato, le note di rilascio contengono l’istruzione. «Resubmit to reprocess existing submissions that contain highlighted reference sections.» (Invia di nuovo gli elaborati già consegnati che contengono sezioni di riferimenti evidenziate, per farli rielaborare.)