La traduzione automatica viene segnalata come IA da Turnitin?

Traduzione automatica e generazione con IA hanno la stessa origine. Entrambe fanno passare il testo attraverso un modello linguistico ed entrambe producono un output la cui distribuzione di probabilità delle parole cade dalla stessa parte della linea che il classificatore è stato costruito per tracciare.

Team HumanPen

· 10 min di lettura

La risposta breve

Sì. L’output della traduzione automatica viene segnalato dal rilevatore di scrittura IA di Turnitin, e non è un bug. Gli strumenti di traduzione e i generatori IA funzionano sulla stessa famiglia di tecnologia, quindi la prosa che esce da un traduttore porta la stessa firma statistica che il classificatore è stato addestrato a riconoscere. Hai scritto le idee in un’altra lingua ed è una macchina a renderle in inglese. Proprio quella resa è la parte che il rilevatore legge.

Non è la stessa cosa che far scrivere il tuo elaborato da zero a un’IA. Per te la distinzione conta. Per il rilevatore non conta, perché il rilevatore guarda il testo finito, non come è stato prodotto.

Quello che segue spiega perché accade, quali parti del testo tradotto sono più esposte, quali caratteristiche della prosa tradotta corrispondono alla descrizione ufficiale dei testi inclini ai falsi positivi e dove sta il confine tra usare un traduttore per una prima bozza e consegnare qualcosa che il rilevatore leggerà come IA.

Il rilevatore legge probabilità delle parole, e i traduttori ne producono con forma da IA

La descrizione pubblicata da Turnitin inizia dalla segmentazione. Le frasi vengono estratte, divise in sezioni sovrapposte e a ogni sezione viene assegnato un valore tra 0 e 1. Quel valore è la probabilità che il testo sia stato generato da una macchina. I punteggi delle sezioni confluiscono nei punteggi di frase, e i punteggi di frase si aggregano nel numero del documento.

La stessa pagina delle FAQ indica a cosa il classificatore è davvero sensibile. Turnitin dice che i suoi classificatori sono addestrati a rilevare differenze nella probabilità delle parole e conoscono bene le particolari sequenze di probabilità di chi scrive in carne e ossa. È questa la proprietà che viene misurata. Non l’ampiezza del vocabolario, non la lunghezza delle frasi, non se una formula suona formale. La sequenza delle scelte di parola, ordinate per quanto ciascuna fosse prevedibile.

Gli strumenti di traduzione e i generatori di testo IA hanno la stessa origine. Entrambi usano modelli linguistici per produrre testo in inglese. Un traduttore sceglie la parola inglese più probabile a ogni posizione data la frase di partenza: è la stessa operazione statistica che compie un modello generativo quando predice il token successivo. L’output di entrambi tende al percorso più frequente, scorrevole e povero di sorprese. È esattamente la distribuzione che il classificatore è stato addestrato a segnalare.

Un’obiezione diffusa è che Turnitin non calcoli esplicitamente «perplexity» o «burstiness», due metriche spesso citate nelle discussioni pubbliche. Le FAQ lo confermano: il modello non è programmato esplicitamente per valutare segnali specifici come «burstiness,» «perplexity,» o altre metriche singole. Ma la frase subito dopo, sulla stessa pagina, dice che il modello apprende invece regolarità statistiche dai dati di addestramento. La perplexity è di per sé una misura della probabilità delle parole. Negare che il modello calcoli una metrica con un nome preciso non equivale a negare che legga le probabilità delle parole. Le legge. È su questo che è stato addestrato.

Il rilevatore guarda il testo finito, non come lo hai prodotto

Turnitin definisce ciò che analizza come «qualifying text», testo idoneo. Le FAQ dicono che questo testo include solo frasi di prosa, cioè che analizza esclusivamente blocchi di testo scritti in frasi grammaticalmente standard. Elenchi, punti elenco e altre strutture che non sono frasi restano fuori.

Un paragrafo tradotto automaticamente è fatto di frasi grammaticalmente standard. È esattamente lo scopo di uno strumento di traduzione: produrre prosa. La prosa tradotta rientra quindi in pieno nel testo idoneo che il rilevatore elabora.

Il rilevatore non sa che hai scritto tu il testo di partenza in un’altra lingua. Non sa che un traduttore lo ha reso in inglese. Non sa che poi lo hai modificato. Guarda la prosa inglese finale e assegna una probabilità. Tu hai usato un traduttore per portare in inglese il tuo pensiero originale; qualcun altro ha usato un chatbot per generare un elaborato che non ha scritto. Sono azioni diverse. Per il rilevatore producono lo stesso tipo di output.

Questa è la parte che a molti utenti sembra ingiusta, e capiamo perché. Ma il rilevatore non è mai stato progettato per distinguere tra aiuto e paternità del testo. È stato progettato per segnalare il testo la cui distribuzione di probabilità delle parole sembra prodotta da una macchina. Gli strumenti di traduzione producono testo che sembra prodotto da una macchina, perché lo è.

Perché la prosa tradotta corrisponde al profilo ufficiale dei falsi positivi

Le FAQ di Turnitin contengono un passaggio sui tipi di testo che tendono a produrre falsi positivi:

«Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.» (A volte i falsi positivi — cioè testo scritto da un essere umano segnalato per errore come generato dall’IA — possono includere contenuti con poca variazione strutturale, testo che si ripete letteralmente o testo parafrasato senza sviluppare idee nuove.)

La frase subito dopo è quella che viene tralasciata: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se il nostro indicatore mostra una quantità maggiore di scrittura IA in questo tipo di testo, ti consigliamo di tenerne conto quando guardi la percentuale indicata.)

La prosa tradotta presenta tutte e tre queste caratteristiche più spesso di un testo composto fin dall’inizio in inglese.

La variazione strutturale tende a essere bassa perché gli strumenti di traduzione preferiscono una sola forma di frase per ogni schema di partenza. Una frase soggetto-verbo-oggetto nella lingua di partenza diventa una frase soggetto-verbo-oggetto nella traduzione, e lo strumento non introduce le rotture di ritmo e le deviazioni strutturali che produrrebbe da sé chi scrive in inglese come lingua madre.

La ripetizione letterale salta fuori perché il traduttore si fissa su un equivalente inglese per una parola ricorrente del testo di partenza e lo riutilizza. Un essere umano che scrive in inglese da zero andrebbe a prendere dallo scaffale dei sinonimi. Il traduttore non lo fa, perché il suo compito è aderire al testo di partenza, non variare lo stile.

Parafrasare senza idee nuove è la condizione strutturale della traduzione stessa. Una traduzione rende lo stesso contenuto con parole diverse. Non viene introdotto alcun argomento nuovo. È la definizione di parafrasi.

Il consiglio della stessa Turnitin è che, quando l’indicatore mostra una quantità maggiore di scrittura IA in questo tipo di testo, tu ne tenga conto nel guardare la percentuale. Quella frase non è una nota a piè di pagina. È la posizione ufficiale su come leggere un punteggio alto proprio sul tipo di testo che produce la traduzione automatica.

I documenti brevi sono peggiori, e le consegne tradotte sono spesso brevi

Le FAQ di Turnitin descrivono cosa accade con le consegne brevi:

«In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.» (Nei documenti più brevi, con solo poche centinaia di parole, la previsione sarà soprattutto «tutto o niente», perché prevediamo su un singolo segmento senza possibilità di sovrapposizione.)

La frase successiva: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Questo significa che una parte del testo che mescola contenuto generato dall’IA e contenuto originale potrebbe essere segnalata come interamente generata dall’IA.)

Molte consegne tradotte automaticamente sono brevi. Un abstract, una sezione di metodo, una lettera di presentazione, una risposta ai commenti dei revisori. Poche centinaia di parole. Se il documento è così breve da produrre un solo segmento, il rilevatore non ha sovrapposizioni con cui fare la media, e un misto di inglese tradotto e scritto direttamente può essere segnalato come interamente generato dall’IA. Più il documento è breve, meno spazio ha il punteggio per riprendersi da un segmento sbagliato.

Gli strumenti di parafrasi non ti tirano fuori di qui

Una mossa successiva frequente è far passare il testo tradotto attraverso uno strumento di parafrasi o un «umanizzatore» per spezzare gli schemi di parole. Le FAQ di Turnitin lo affrontano direttamente:

«Furthermore, it can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection.» (Inoltre, può anche identificare i casi in cui testo generato dall’IA può essere stato modificato da strumenti di parafrasi o di aggiramento basati sull’IA — detti anche humanizer — per eludere il rilevamento.)

Il raggio d’azione del rilevatore include il testo modificato da strumenti di parafrasi o di aggiramento. Far passare l’output del traduttore in uno strumento di riscrittura non ti fa uscire dal raggio della rilevazione. Ti sposta in una seconda categoria che il rilevatore è stato costruito per individuare.

C’è anche un problema strutturale. Gli strumenti di parafrasi fanno esattamente ciò che dice la descrizione dei falsi positivi di Turnitin: parafrasano senza sviluppare idee nuove. Il contenuto resta lo stesso, le parole cambiano, e la distribuzione di probabilità delle parole resta a forma di macchina, perché è una macchina ad aver fatto la modifica. I due strumenti in sequenza, prima il traduttore e poi il parafrasatore, producono un testo che colpisce sia il segnale originale sia il segnale della parafrasi.

Perché la traduzione automatica non è la stessa cosa della generazione con IA, e perché questo non aiuta

Vogliamo essere onesti su questa distinzione. Scrivere contenuti originali nella propria lingua e usare un traduttore per renderli in inglese è un atto diverso dal chiedere a un’IA di generare contenuti che non hai scritto. Il primo è un aiuto davanti a una barriera linguistica. Il secondo è delegare il pensiero.

Il rilevatore di Turnitin non separa le due cose. Non è stato progettato per farlo. Il suo compito è stimare la probabilità che un pezzo di prosa inglese sia stato prodotto da una macchina. Un traduttore è una macchina. La prosa che produce è stata prodotta da una macchina. Che la macchina abbia tradotto invece di generare a partire da un prompt non cambia ciò che il classificatore vede.

È davvero dura per chi scrive in una seconda lingua, e non faremo finta di no. Gli stessi strumenti che abbassano la barriera linguistica producono il testo che il rilevatore è stato costruito per segnalare. Nessuno ha risolto il problema di distinguere la prosa tradotta da quella generata a livello di probabilità delle parole, perché a quel livello si assomigliano.

Quello che aiuta davvero

Tre cose, in ordine di fatica.

Primo: usa il traduttore per una prima bozza e nient’altro. L’output grezzo della traduzione è la versione più esposta del tuo testo. È un punto di partenza, non un prodotto finito.

Secondo: riscrivi frase per frase con il tuo inglese. Ristruttura. Cambia la forma della frase. Sposta una proposizione in un’altra posizione. Spezza una frase lunga in due. Uniscine due corte. L’obiettivo è riportare le sequenze di probabilità delle parole verso i modelli irregolari e personali che il classificatore associa a chi scrive in carne e ossa. Il tuo inglese non deve essere perfetto. Deve essere tuo, non del traduttore.

Terzo: se hai accesso al report di scrittura IA, usalo come perimetro. I passaggi evidenziati sono quelli che il classificatore ha letto come prodotti da una macchina. Sono quelli da riscrivere. Tutto il resto può restare.

Quello che non aiuta: far passare il testo in un secondo strumento. Cosa misurano i rilevatori di IA approfondisce il segnale sottostante. Parafrasato con l’IA, ancora segnalato mostra cosa succede quando a essere consegnato è l’output del parafrasatore. Perché i rilevatori non sono d’accordo spiega perché due rilevatori possono darti due punteggi diversi sullo stesso testo tradotto.

Leggere il report che hai davvero

Se il tuo docente condivide con te il report di scrittura IA, la prima cosa da controllare non è la percentuale, ma la struttura di ciò che è stato segnalato.

Un report che evidenzia interi paragrafi di prosa tradotta sta leggendo gli schemi di parole del traduttore. Un report che evidenzia solo la prima e l’ultima frase dei paragrafi può mostrare l’effetto del segmento breve descritto sopra. Un report che segnala un misto di sezioni tradotte e scritte direttamente è il caso del tutto o niente dei documenti brevi.

Come leggere un report di scrittura IA di Turnitin passa in rassegna gli stati dell’indicatore e cosa ciascuno dice e non dice. Il 20% di IA è troppo? spiega cosa significa la soglia e perché la fascia sotto non mostra alcun numero.

La percentuale su un documento tradotto non è un’affermazione sulla tua onestà. È un’affermazione sulla distribuzione di probabilità delle parole del testo che hai consegnato. Sono due cose diverse, e la conversazione con il tuo docente dovrebbe trattarle come due cose diverse.

Domande frequenti

Il mio elaborato tradotto verrà sicuramente segnalato? Nella rilevazione nulla è sicuro. Ma la prosa tradotta porta schemi di probabilità delle parole che il classificatore è stato addestrato ad associare a un output da macchina: il rischio è quindi reale e strutturale, non accidentale.

Usare un traduttore è come usare ChatGPT per scrivere il mio elaborato? No. Hai scritto tu il contenuto di partenza e un traduttore lo ha reso in inglese. Ma il rilevatore legge il testo inglese finale, e a quel livello il testo è stato prodotto da un modello linguistico. La distinzione conta per te e per il tuo docente. Per il classificatore non conta.

Se parafraso il testo tradotto, il punteggio si abbassa? Gli strumenti di parafrasi rientrano nel raggio d’azione dichiarato del rilevatore. Le FAQ dicono che il modello può identificare testo modificato da strumenti di parafrasi o di aggiramento con IA. La parafrasi corrisponde anche al profilo di falso positivo del testo parafrasato senza sviluppare idee nuove.

Il mio testo tradotto ha ricevuto un punteggio alto, ma ho scritto io ogni parola della fonte. Cosa faccio? Le FAQ di Turnitin consigliano di tenerne conto, quando l’indicatore mostra una quantità maggiore di scrittura IA in un testo senza variazione strutturale o con ripetizioni letterali, guardando la percentuale. Porta con te la bozza di partenza, la traduzione e la cronologia delle modifiche. La percentuale è una proprietà del testo inglese, non un verdetto sul tuo metodo.

Vuol dire che non dovrei usare affatto gli strumenti di traduzione? No. Usali per una prima bozza. Poi riscrivi l’inglese tu, frase per frase, finché la prosa suona come te e non come lo strumento. Il rilevatore segnala ciò che ha prodotto la macchina. Il tuo compito è fare in modo che la versione finale sia ciò che hai prodotto tu.

CONTINUA A LEGGERE