Il lessico sofisticato viene segnalato come AI? Ecco perché

Usare un lessico ricco non causa di per sé segnalazioni AI. Il detector non valuta la qualità delle scelte lessicali. Valuta la probabilità statistica delle sequenze di parole. La prosa accademica formale che usa strutture frasali coerenti, frasi di transizione standard e modelli lessicali prevedibili può produrre profili di probabilità delle parole che si sovrappongono a ciò che il modello ha imparato ad associare ai testi generati dall'AI. Il problema non è che il tuo lessico sia troppo buono. È che il profilo statistico del tuo testo, plasmato da strutture uniformi e modelli lessicali formali, può assomigliare a una scrittura generata da macchina. La FAQ di Turnitin elenca "content without a lot of structural variation" (contenuti senza molta variazione strutturale) come una caratteristica soggetta a falsi positivi. Un lessico sofisticato abbinato a una struttura uniforme rientra in quella descrizione.

La FAQ di Turnitin descrive il processo:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando un elaborato viene inviato a Turnitin, le frasi del documento vengono estratte e segmentate in sezioni sovrapposte per l'analisi predittiva. Ogni segmento viene classificato dal modello di rilevamento AI e riceve un valore tra 0 e 1, che indica la probabilità che il testo sia probabilmente umano o generato dall'AI. Ogni frase qualificante all'interno di questi segmenti eredita il punteggio del segmento. Poiché i segmenti si sovrappongono, alcune frasi possono avere più punteggi, che vengono poi raggruppati in un unico punteggio. Questi punteggi delle frasi vengono ulteriormente aggregati e utilizzati per calcolare il punteggio AI complessivo del documento.)

Il modello non legge il tuo lessico per decidere se è troppo sofisticato per un essere umano. Classifica i segmenti in base ai modelli di probabilità delle parole. Due affermazioni della FAQ chiariscono cosa misura il modello: "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (Il nostro modello non è programmato esplicitamente per valutare segnali specifici come 'burstiness', 'perplexity' o altre metriche individuali talvolta citate nelle discussioni pubbliche) E: "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (I nostri classificatori sono addestrati a rilevare queste differenze nella probabilità delle parole e sono esperti nelle particolari sequenze di probabilità delle parole degli scrittori umani)

Il modello non calcola una metrica chiamata perplexity. Ma è addestrato su dati di probabilità delle parole. La scrittura accademica formale che usa costantemente le stesse parole di transizione, gli stessi inizi di frase e gli stessi modelli lessicali può produrre sequenze di probabilità delle parole che assomigliano più ai testi generati dall'AI che ai modelli vari e meno prevedibili della scrittura umana naturale. Cosa misurano i detector AI oltre a perplexity e burstiness è il resoconto più approfondito.

La FAQ elenca i testi soggetti a falsi positivi:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Talvolta i falsi positivi, ovvero la segnalazione errata di testi scritti da umani come generati dall'AI, possono includere contenuti senza molta variazione strutturale, testi che si ripetono letteralmente o testi che sono stati parafrasati senza sviluppare nuove idee)

La frase successiva recita: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore mostra una percentuale più alta di scrittura AI in tali testi, vi consigliamo di tenerne conto quando esaminate la percentuale indicata)

La prosa accademica ben revisionata può corrispondere al primo elemento. Quando perfezioni il tuo scritto, potresti standardizzare le strutture frasali, usare transizioni coerenti e applicare un lessico formale in tutto il testo. Questo produce testi con scarsa "variazione strutturale". Il perfezionamento che rende la tua scrittura migliore in senso letterario può renderla più uniforme in senso statistico, ed è l'uniformità ciò a cui punta la descrizione dei falsi positivi. Questo è l'intero argomento in perché i detector AI segnalano saggi scritti bene.

La FAQ afferma anche:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Pertanto, dobbiamo sottolineare che la percentuale sull'indicatore di scrittura AI non dovrebbe essere utilizzata come unica base per intraprendere azioni né come misura definitiva di valutazione da parte dei docenti)

Il punteggio AI non è una valutazione della qualità. Non significa che la tua scrittura sia troppo buona, troppo curata o troppo formale. Significa che la classificazione del modello dei tuoi modelli di probabilità delle parole ha prodotto una certa percentuale. Un punteggio alto su un testo ben scritto e ricco di lessico non invalida la qualità del tuo lavoro. Significa che il profilo statistico del tuo testo si sovrappone ai modelli che il modello associa all'AI. Se dovresti scrivere in modo diverso per questo è un'altra questione: dovresti cambiare il tuo modo di scrivere per evitare di essere segnalato.

Per riassumere quanto abbiamo visto:

• Un lessico ricco non causa di per sé segnalazioni AI. Il detector legge i modelli di probabilità delle parole, non la qualità del lessico.
• La prosa accademica formale con struttura uniforme può condividere caratteristiche statistiche con testi generati dall'AI.
• Turnitin elenca "content without a lot of structural variation" (contenuti senza molta variazione strutturale) come una caratteristica soggetta a falsi positivi.
• Perfezionare il testo può ridurre la variazione strutturale, rendendolo più uniforme in senso statistico.
• Il punteggio non è un giudizio sulla qualità della scrittura e non dovrebbe essere l'unica base per intraprendere azioni.

Se hai un report Turnitin che mostra quali passaggi sono stati segnalati, importa il report e lavora su quei passaggi specifici. I passaggi idonei possono essere rieseguiti senza costi aggiuntivi.