La tua literature review ha preso un punteggio AI alto? Ecco perché

Le literature review tendono strutturalmente a ricevere punteggi AI alti per ragioni insite nel genere stesso. Una review riassume e sintetizza la ricerca esistente, quindi parafrasa in modo estensivo. Ogni paragrafo ripete ciò che altri ricercatori hanno trovato, spesso con strutture frasali simili perché anche il materiale di origine segue pattern analoghi. Le FAQ di Turnitin elencano tra le caratteristiche soggette a falsi positivi i "contenuti senza molta variazione strutturale" e i "testi parafrasati senza sviluppare nuove idee". Una literature review, per sua natura, può corrispondere a entrambe le descrizioni senza alcun intervento dell'AI. Il punteggio alto potrebbe riflettere il profilo statistico del testo piuttosto che la sua origine. Capire questo non fa sparire il punteggio, ma spiega come mai una literature review scritta interamente da esseri umani possa ricevere una percentuale AI elevata.

Le FAQ di Turnitin dichiarano:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." ("A volte i falsi positivi, ovvero testi scritti da umani erroneamente segnalati come generati da AI, possono includere contenuti senza molta variazione strutturale, testi che si ripetono letteralmente o testi parafrasati senza sviluppare nuove idee.")

Subito dopo aggiungono: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." ("Se il nostro indicatore mostra una quantità maggiore di scrittura AI in questo tipo di testo, vi consigliamo di tenerne conto quando esaminate la percentuale indicata.")

Tre di queste descrizioni si applicano alle literature review per loro stessa natura. "Contenuti senza molta variazione strutturale" descrive una sezione in cui ogni paragrafo segue lo stesso schema: il ricercatore X ha trovato Y, il ricercatore Z ha trovato W, il ricercatore A ha confermato B. "Testi che si ripetono letteralmente" descrive le frasi ricorrenti che collegano i riassunti: "Analogamente", "Al contrario", "Sulla scia di", "In linea con". "Testi parafrasati senza sviluppare nuove idee" descrive ciò che una literature review fa a livello di singola frase. Nella maggior parte del testo stai riformulando risultati, non generando argomentazioni originali. Le FAQ stanno dicendo che questo tipo di testo è esattamente quello che può produrre falsi positivi. E Turnitin consiglia agli educatori di tenerne conto quando leggono il punteggio.

C'è anche un motivo strutturale per cui le literature review producono percentuali più alte rispetto ad altre sezioni. Turnitin analizza solo il "testo qualificato", che le FAQ definiscono come "frasi in prosa, ovvero analizziamo solo blocchi di testo scritti in frasi grammaticalmente standard". Le FAQ continuano: "Questa percentuale non è necessariamente la percentuale dell'intero elaborato."

Una sezione risultati potrebbe contenere tabelle, figure ed equazioni escluse dall'analisi. Una sezione metodologia potrebbe includere elenchi e punti. Ma una literature review è quasi interamente prosa. Ogni paragrafo è testo qualificato. Questo significa che una proporzione maggiore del documento viene valutata e, più segmenti ci sono, più valori di probabilità contribuiscono al punteggio aggregato. Una literature review e una sezione risultati della stessa lunghezza possono produrre percentuali AI diverse in parte perché la review ha più testo qualificato da valutare per il detector. Lo stesso argomento sulla densità spiega perché Turnitin ha segnalato l'intera sezione metodologia è un reclamo così comune.

Le note di rilascio di Turnitin del maggio 2023 descrivono un pattern rilevante per le literature review:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." ("Dal lancio, abbiamo osservato un'incidenza più alta di rilevamenti falsi positivi nelle prime o ultime frasi di un documento. Spesso queste frasi consistono in contenuti di introduzione o conclusione scritti in modo generico. Di conseguenza, abbiamo modificato la nostra logica di rilevamento per aiutare a ridurre questi falsi positivi.")

La frase successiva è: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." ("Abbiamo anche lavorato per rendere più preciso il rilevamento dei confini dei segmenti, il che potrebbe portare in alcuni rari casi a un cambiamento dei confini rispetto a una versione precedente.")

Questo è stato un miglioramento del 2023, non un difetto attuale. Ma il pattern descritto, ovvero contenuti generici di introduzione e conclusione, è esattamente ciò che i paragrafi iniziali e finali di una literature review spesso contengono. Se la tua review inizia con "La ricerca su X è cresciuta significativamente negli ultimi anni" e finisce con "In sintesi, la letteratura suggerisce che...", questi sono il tipo di costruzioni generiche storicamente associate ai falsi positivi. La logica di rilevamento è stata aggiornata per ridurlo, ma il pattern sottostante esiste ancora in molte literature review.

C'è un'altra cosa da capire. Le FAQ di Turnitin dichiarano: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." ("Il punteggio di similarità e la percentuale di rilevamento AI sono completamente indipendenti e non si influenzano a vicenda.")

Una literature review in genere ha un punteggio di similarità da moderato ad alto perché cita e riporta passaggi di ricerca esistente. Questo è normale e non è un problema. Ma alcuni studenti pensano che un punteggio di similarità alto significhi che anche il punteggio AI sarà alto, o che abbassare il punteggio di similarità abbasserà quello AI. Niente di tutto questo è vero. Le due misurazioni sono indipendenti. La tua review può avere un 30% di similarità (da fonti correttamente citate) e un punteggio AI basso, oppure un 5% di similarità e un punteggio AI alto. Lavorare sull'uno non influisce sull'altro; leggere i due punteggi come se fossero la stessa cosa è l'errore che si fa più spesso.

Per riassumere quanto abbiamo visto:

• Le literature review corrispondono al profilo soggetto a falsi positivi di Turnitin: bassa variazione strutturale, ripetizioni e parafrasi senza idee nuove.
• Le literature review sono quasi interamente prosa, quindi c'è più testo qualificato da valutare per il detector.
• I contenuti generici di introduzione e conclusione erano storicamente associati ai falsi positivi (risolto con un aggiornamento del 2023).
• Il punteggio AI e quello di similarità sono indipendenti. Abbassare l'uno non abbassa l'altro.
• Turnitin consiglia agli educatori di tenere in considerazione il tipo di testo quando leggono punteggi AI alti su questi contenuti.

Se hai un report Turnitin che mostra quali passaggi della tua literature review sono stati segnalati, importa il report e lavora su quei passaggi specifici. Il resto della review rimane invariato, e questo conta perché rivedere una literature review senza rompere la catena delle evidenze è la parte che non funziona quando si riscrive in modo troppo ampio. I passaggi idonei possono essere rielaborati gratuitamente.