Rilevamento AIGC per gli articoli in inglese: che cosa significa e come funziona

Il rilevamento AIGC per gli articoli in inglese indica lo stesso procedimento del rilevamento della scrittura IA. Il detector di Turnitin suddivide il testo in segmenti sovrapposti, classifica ogni segmento in base alla probabilità che sia umano o generato dall’IA e aggrega questi punteggi in una percentuale a livello di documento. Il termine «AIGC» (AI-generated content, contenuto generato dall’IA) è diffuso in ambito accademico cinese, ma il meccanismo di rilevamento è lo stesso, qualunque nome gli si dia. Il detector non cerca firme o filigrane di strumenti di IA specifici. Legge schemi statistici nella scelta delle parole, in particolare schemi di probabilità delle parole appresi durante l’addestramento. Il punteggio IA è del tutto indipendente dal punteggio di similarità (plagio), e solo docenti o amministratori possono vedere l’indicatore IA.

Le FAQ di Turnitin descrivono così la procedura di rilevamento:

«When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.» (Quando un elaborato viene inviato a Turnitin, le frasi della consegna vengono estratte e suddivise in sezioni sovrapposte per l’analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento IA e riceve un valore compreso tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall’IA. Ogni frase idonea all’interno di questi segmenti eredita il punteggio del segmento. Poiché i segmenti si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi raggruppati in uno solo. Questi punteggi di frase vengono ulteriormente aggregati e usati per calcolare il punteggio complessivo di scrittura IA del documento.)

Il detector non cerca frasi precise che «sembrino scritte dall’IA». Classifica segmenti di testo con un modello che ha appreso schemi statistici dai dati di addestramento. Ogni segmento riceve una probabilità, e queste probabilità vengono raggruppate e aggregate in una sola percentuale. La percentuale rappresenta la quota di testo idoneo che il modello classifica come probabilmente generato dall’IA.

Due affermazioni tratte dalle FAQ chiariscono l’approccio del modello. Prima: «Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.» (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness', 'perplexity' o altre singole metriche a volte citate nelle discussioni pubbliche.) La frase successiva: «Instead, it learns statistical patterns from our training data.» (Al contrario, apprende schemi statistici dai nostri dati di addestramento.) Seconda: «Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.» (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e padroneggiano le particolari sequenze di probabilità delle parole tipiche di chi scrive.)

Il modello non calcola metriche dichiarate come la burstiness o la perplexity. È però addestrato su dati di probabilità delle parole. Gli schemi che apprende si esprimono nel modo in cui le parole vengono scelte e messe in sequenza, non in caratteristiche di superficie come la variazione della lunghezza delle frasi o la ricchezza del vocabolario. Per questo le modifiche superficiali — cambiare qualche parola o aggiungere raccordi — possono non incidere sul punteggio. Il detector legge caratteristiche statistiche più profonde delle sequenze di parole, ed è questo il tema di che cosa misurano i detector IA oltre perplexity e burstiness.

Le FAQ specificano che cosa conta come testo analizzabile:

«This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.» (Questo testo idoneo comprende solo frasi in prosa, cioè analizziamo unicamente blocchi di testo scritti in frasi grammaticali standard che non includono altri tipi di scrittura come elenchi, punti elenco (strutture brevi che non sono frasi) o altre strutture che non sono frasi.)

La frase successiva: «This percentage is not necessarily the percentage of the entire submission.» (Questa percentuale non è necessariamente la percentuale dell’intera consegna.)

Per gli articoli accademici in inglese questo significa che le tabelle della metodologia, i blocchi di equazioni, le didascalie delle figure e l’elenco dei riferimenti sono in gran parte esclusi dall’analisi IA. La percentuale riguarda solo le parti in prosa del manoscritto. Un articolo ricco di tabelle ed equazioni ha meno testo idoneo, il che significa che la percentuale IA rappresenta una porzione più ridotta del documento rispetto a quanto possa sembrare. Come leggere un report di scrittura IA di Turnitin spiega passo per passo dove si vede questo scarto sulla pagina.

I due punteggi sono due misurazioni distinte:

«The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.» (Il punteggio di similarità e la percentuale di rilevamento della scrittura IA sono completamente indipendenti e non si influenzano a vicenda.)

Il tuo punteggio di similarità indica quanta parte del testo corrisponde a fonti già presenti nel database. Il tuo punteggio AIGC indica quanta parte del testo il modello classifica come probabilmente generata dall’IA. Un articolo può avere una similarità alta (a causa di fonti citate correttamente) e un punteggio AIGC basso, oppure una similarità bassa e un punteggio AIGC alto. Lavorare su un punteggio non influisce sull’altro. Se cerchi di abbassare il punteggio AIGC, abbassare quello di similarità non ti aiuterà, e viceversa; considerare i due punteggi come la stessa cosa è l’errore più comune.

Per riassumere quanto abbiamo visto:

• Il rilevamento AIGC per gli articoli in inglese funziona come il rilevamento della scrittura IA: classifica schemi di probabilità delle parole in segmenti di prosa.
• Il modello non calcola burstiness o perplexity come metriche dichiarate, ma è addestrato su dati di probabilità delle parole.
• Vengono analizzate solo le frasi in prosa. Tabelle, equazioni ed elenchi di riferimenti sono in gran parte esclusi.
• Il punteggio AIGC e quello di similarità sono completamente indipendenti. Modificarne uno non influisce sull’altro.
• Solo docenti e amministratori possono vedere l’indicatore IA. Gli studenti possono richiedere la versione PDF al proprio docente.

Se hai un report di Turnitin o iThenticate che indica quali passaggi sono stati segnalati, importa il report e lavora su quei passaggi specifici. I passaggi che soddisfano i requisiti possono essere rielaborati gratuitamente.