Perché introduzioni e conclusioni vengono segnalate come AI (e cosa fare)

Introduzioni e conclusioni hanno più probabilità di essere segnalate come AI rispetto ai paragrafi del corpo. Le note di rilascio di Turnitin del maggio 2023 affermano: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (Dal lancio, abbiamo osservato un'incidenza più alta di falsi positivi nelle prime o nelle ultime frasi di un documento. Spesso queste frasi sono costituite da contenuti di introduzione o conclusione scritti in modo generico.) La logica di rilevamento è stata aggiornata per ridurre questi falsi positivi, ma il pattern di scrittura generica e formulaica nelle introduzioni e conclusioni esiste ancora. Se la tua introduzione inizia con un'affermazione generica e la tua conclusione riformula la tesi con un linguaggio prevedibile, quei passaggi possono produrre profili di probabilità lessicale che si sovrappongono al testo generato da AI, anche dopo il miglioramento del 2023.

La nota di rilascio del maggio 2023 descrive il pattern e la risposta:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come "burstiness", "perplexity" o altre metriche individuali talvolta menzionate nelle discussioni pubbliche.)

La frase successiva: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Abbiamo anche lavorato per rendere più precisa la rilevazione dei confini dei segmenti, il che potrebbe portare in alcuni rari casi a un cambio di confini rispetto a una versione precedente.)

Questo è stato un miglioramento del 2023, non la descrizione di un difetto attuale. La logica di rilevamento è stata modificata per aiutare a ridurre i falsi positivi in quelle posizioni. Ma la nota ci dice qualcosa di importante: le prime e ultime frasi di un documento erano intrinsecamente più soggette a falsi positivi. Il miglioramento ha ridotto il problema. Non l'ha eliminato.

La nota di rilascio punta a "introduction or conclusion content written in a generic way" (contenuti di introduzione o conclusione scritti in modo generico). I contenuti generici sono il collante qui. Le introduzioni spesso iniziano con un contesto ampio: "Negli ultimi anni, X è diventato un argomento importante." Le conclusioni spesso riformulano la tesi: "Questo articolo ha dimostrato che X porta a Y." Queste costruzioni sono prevedibili, formulaiche e strutturalmente uniformi. Le FAQ di Turnitin elencano i "content without a lot of structural variation" (contenuti senza molta variazione strutturale) come una caratteristica soggetta a falsi positivi. Le introduzioni e conclusioni generiche sono esattamente questo tipo di contenuto. I pattern di probabilità lessicale in queste sezioni tendono a essere più prevedibili rispetto ai paragrafi del corpo, dove l'argomentazione è più specifica e il linguaggio più varia. La forma generale di questo è perché i rilevatori di AI segnalano saggi ben scritti.

La pipeline di rilevamento funziona segmentando il testo:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (Al contrario, apprende pattern statistici dai nostri dati di addestramento.) (Per evitare possibili falsi positivi, non viene assegnato alcun punteggio o evidenziazione per i punteggi di rilevamento AI compresi tra l'1% e il 19%. Quando viene rilevata la presenza di AI al di sotto della soglia del 20% nel report, questa viene indicata con un asterisco (*%) senza attribuire una percentuale.)

La nota di rilascio menziona anche la "segment boundaries detection" (rilevazione dei confini dei segmenti). Le prime e ultime frasi di un documento si trovano ai margini della struttura dei segmenti. Prima del miglioramento del 2023, queste posizioni avevano un tasso più alto di falsi positivi. Il miglioramento ha reso più precisa la rilevazione dei confini dei segmenti, il che ha aiutato. Ma il contenuto stesso, se scritto in modo generico, può comunque produrre pattern di probabilità lessicale che attivano la classificazione come simile all'AI. Quali siano questi pattern è l'argomento di Turnitin usa perplexity e burstiness.

Le FAQ di Turnitin notano anche:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e sono abili nel riconoscere le sequenze di probabilità delle parole tipiche degli scrittori umani.)

La frase successiva: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che alcuni testi che sono un mix di contenuti generati da AI e originali potrebbero essere segnalati come interamente generati da AI.)

In un saggio breve, l'introduzione e la conclusione possono rappresentare una grande proporzione del testo totale. Se entrambe sono segnalate, il comportamento tutto-o-niente dei documenti brevi significa che l'intero documento potrebbe essere classificato come generato da AI. Questo è un esito estremo ma aiuta a spiegare perché un saggio breve con un'introduzione e una conclusione generiche può ricevere un punteggio sorprendentemente alto. Perché Turnitin dice che il tuo lavoro è 100% AI affronta questo caso estremo dall'inizio alla fine.

Per riassumere quanto abbiamo visto:

• Le note di rilascio di Turnitin del maggio 2023 descrivono un pattern di falsi positivi più alti nelle prime e ultime frasi dei documenti.
• La logica di rilevamento è stata aggiornata nel 2023 per ridurre questo problema, ma il pattern sottostante di scrittura generica nelle introduzioni e conclusioni esiste ancora.
• Le introduzioni e conclusioni generiche condividono la caratteristica di "bassa variazione strutturale" che le FAQ elencano come soggetta a falsi positivi.
• I documenti brevi amplificano il problema perché l'introduzione e la conclusione rappresentano una proporzione maggiore del testo totale.
• Rendere la tua introduzione e conclusione più specifiche, meno formulaiche e più varie nella struttura può aiutare ad affrontare il pattern.

Se hai un rapporto Turnitin che mostra quali passaggi sono stati segnalati, importa il rapporto e lavora su quei passaggi specifici. I passaggi idonei possono essere rielaborati senza costi aggiuntivi.