Presentazioni con poster e rilevamento dell'IA: perché i punteggi diventano inaffidabili

I poster non sono scritti come i saggi o gli articoli accademici. Si basano su elenchi puntati, frasi brevi ed elementi visivi. La documentazione di Turnitin indica che il modello analizza solo le frasi in prosa qualificate e non rileva in modo affidabile l'IA nei formati non in prosa. Quando un poster viene inviato come documento, la percentuale può riflettere una piccola porzione di prosa mentre le evidenziazioni non mostrano quasi nulla. La disparità tra le due è un comportamento noto, non un malfunzionamento.

Le FAQ sono chiare su cosa conta come testo qualificato:

«This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (Questo testo qualificato include solo frasi in prosa, ovvero analizziamo esclusivamente blocchi di testo scritti in frasi grammaticali standard e non includiamo altri tipi di scrittura come elenchi, puntature (strutture brevi non frastiche) o altre strutture non frastiche.)»

Le FAQ inoltre affermano:

«The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures). (Il modello non rileva in modo affidabile il testo generato dall'IA sotto forma di non-prosa o di codice, né rileva la scrittura in forma breve o non convenzionale come le puntature (strutture brevi non frastiche).)»

La frase successiva spiega la conseguenza:

«This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (Ciò significa che un documento contenente diversi tipi di scrittura darebbe come risultato una disparità tra la percentuale e le evidenziazioni.)»

Per un poster, questa disparità è estrema. La maggior parte del testo su un poster è in elenchi puntati o etichette brevi. Se invii un poster come documento e ottieni un'alta percentuale di IA, quella percentuale può basarsi su pochi paragrafi di prosa qualificata, mentre gli elenchi puntati che costituiscono la maggior parte del poster sono invisibili al rilevatore.

L'articolo di assistenza di Turnitin Using the AI Writing Report dice che i limiti del modello vanno oltre l'elenco delle FAQ:

«The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies. (Il modello non rileva in modo affidabile il testo generato dall'IA sotto forma di non-prosa, come poesia, copioni o codice, né rileva la scrittura in forma breve o non convenzionale come puntature, tabelle o bibliografie annotate.)»

La frase successiva di quell'articolo:

«This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (Ciò significa che un documento contenente diversi tipi di scrittura darebbe come risultato una disparità tra la percentuale e le evidenziazioni.)»

I poster usano frequentemente tabelle per risultati, confronti e cronologie. Se le tabelle figurano tra gli elementi non rilevati in modo affidabile, allora una parte significativa del contenuto del poster ricade al di fuori della copertura affidabile del modello. La percentuale che vedi può essere calcolata dai pochi paragrafi di prosa incastrati tra tabelle ed elenchi puntati.

C'è un aggiornamento importante di agosto 2023. Una nota di versione dice:

«We are now able to process long-form prose text in tables. (Ora siamo in grado di elaborare testo in prosa di forma lunga all'interno delle tabelle.)»

La frase successiva è:

«Resubmit to reprocess existing submissions that contain tables. (Reinvia per rielaborare le consegne esistenti che contengono tabelle.)»

Questo significa che le tabelle con frasi in prosa di forma lunga (frasi grammaticali complete all'interno delle celle di tabella) vengono ora elaborate. Le etichette brevi, i numeri e le voci di dati all'interno delle tabelle sono ancora non-prosa e restano al di fuori dell'analisi del modello. Per i poster, questo è un miglioramento parziale. Una tabella di risultati con frasi complete in ogni cella verrebbe ora analizzata. Una tabella con soli numeri ed etichette brevi, no.

Le FAQ descrivono come vengono elaborate le consegne:

«When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. (Quando un elaborato viene inviato a Turnitin, le frasi della consegna vengono estratte e suddivise in sezioni sovrapposte per l'analisi predittiva. Il modello di rilevamento IA classifica ogni segmento e gli assegna un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall'IA. Ogni frase qualificata all'interno di questi segmenti eredita il punteggio del segmento.)»

Vengono estratte solo le frasi in prosa qualificate. L'aggregazione produce quindi il punteggio a livello di documento:

«These sentence scores are further aggregated and used to compute the overall document AI writing score. (Questi punteggi delle frasi vengono ulteriormente aggregati e utilizzati per calcolare il punteggio complessivo di scrittura dell'IA del documento.)»

Per un poster, il passaggio di estrazione può catturare pochissime frasi. I pochi paragrafi di prosa su un poster potrebbero essere il riassunto, una breve introduzione e una considerazione conclusiva. Tutto il resto è elenchi puntati e voci di tabella. Il punteggio viene calcolato da quel piccolo insieme di prosa, il che significa che riflette un campione ristretto. Come leggere un rapporto di scrittura dell'IA di Turnitin parte dalla stessa lacuna tra il numero e la pagina.

I poster inviati come documenti sono brevi. Le FAQ mettono in guardia su questo:

«In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (Nei documenti più brevi in cui ci sono solo poche centinaia di parole, la previsione sarà per lo più «tutto o niente» perché prevediamo su un singolo segmento senza la possibilità di sovrapposizione.)»

La frase successiva:

«This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated. (Ciò significa che parte del testo che è una miscela di contenuto generato dall'IA e originale potrebbe essere segnalato come interamente generato dall'IA.)»

Un poster con solo 300 o 400 parole di prosa qualificata rientra pienamente in questa fascia. Con così pochi segmenti, non c'è effetto di media. Un singolo segmento con un punteggio alto può etichettare l'intero documento come generato dall'IA. La stessa frase successiva delle FAQ sulla disparità tra percentuale ed evidenziazioni diventa qui molto visibile. Potresti vedere un'alta percentuale ma quasi nessun testo evidenziato sul poster stesso, che è uno dei casi di perché il tuo punteggio di scrittura dell'IA manca, è incoerente o non si scarica.

Le FAQ descrivono cosa tende a innescare i falsi positivi:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. (Talvolta i falsi positivi (segnalare erroneamente testo scritto da un umano come generato dall'IA) possono includere contenuto senza molta variazione strutturale, testo che si ripete letteralmente o testo che è stato parafrasato senza sviluppare nuove idee.)»

La prosa dei poster tende a essere ripetitiva. Gli stessi risultati chiave compaiono nel riassunto, nella sezione dei risultati e nella conclusione. Il linguaggio è compresso e uniforme perché lo spazio è limitato, e l'uniformità è vicina a ciò che ciò che misurano i rilevatori di IA indica che il classificatore sta cogliendo. Le FAQ continuano:

«If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. (Se il nostro indicatore mostra una quantità maggiore di scrittura dell'IA in tale testo, ti consigliamo di tenerne conto quando esamini la percentuale indicata.)»

Per i poster, questo consiglio è doppiamente rilevante. La prosa è breve, ripetitiva e strutturalmente uniforme. Tutti e tre i fattori amplificano il rischio di un punteggio fuorviante.

Se la tua presentazione con poster ha ricevuto un punteggio IA di Turnitin, ecco cosa tenere a mente:

• Gli elenchi puntati e le etichette brevi non sono testo qualificato. Il punteggio non li riflette.
• Un articolo di supporto di Turnitin indica che anche le tabelle non vengono rilevate in modo affidabile, sebbene la prosa di forma lunga nelle tabelle venga elaborata da agosto 2023.
• La disparità tra la percentuale e le evidenziazioni è un comportamento previsto per i documenti a formato misto.
• La prosa qualificata breve innesca previsioni di «tutto o niente» con una sovrapposizione minima dei segmenti.
• La prosa dei poster è ripetitiva e uniforme, corrispondendo al profilo di falso positivo descritto dalle FAQ.
• Un'alta percentuale con poche evidenziazioni va trattata con cautela, non come un verdetto definitivo.

Se vuoi affrontare i passaggi segnalati, importa il tuo rapporto Turnitin e lavoraci. I passaggi idonei possono essere rielaborati senza costi.