Gli indicatori di integrità in un Similarity Report: testo nascosto e caratteri sostituiti

Il Similarity Report ha una scheda Flags separata dalla percentuale. Segnala due schemi documentati: il testo nascosto — caratteri bianchi su bianco, virgolette mascherate — e i caratteri sostituiti, in cui le lettere vengono scambiate con caratteri simili di altri alfabeti. La documentazione afferma che i caratteri simili vengono automaticamente riportati all’originale prima della scansione, quindi la corrispondenza avviene comunque. Un flag non è esplicitamente un accertamento di colpa, ma appone comunque un segno rosso sul tuo invio perché una persona lo guardi.

La guida lo descrive in una frase: «Turnitin's algorithms look deeply at a document for any inconsistencies that would set it apart from a normal submission. If we notice something strange, we Flag it for you to review.» (Gli algoritmi di Turnitin analizzano a fondo un documento alla ricerca di qualsiasi incoerenza che lo distingua da un invio normale. Se notiamo qualcosa di strano, lo segnaliamo perché tu possa rivederlo.)

Se viene rilevato qualcosa, accanto alla scheda Flags compare un numero sopra l’invio: 1 quando è presente un tipo di flag, 2 quando lo sono entrambi. Aprendo la scheda ottieni un pannello Integrity Flags for Review e, nel documento stesso, «a red flag with a number inside indicating the flag type and red boxes around all suspicious text related to that flag.» (una bandierina rossa con un numero all’interno che indica il tipo di flag e riquadri rossi attorno a tutto il testo sospetto collegato a quel flag.)

L’avvertenza si trova lì, nella fonte, e conta in entrambi i sensi: «A flag is not necessarily an indicator of a problem. However, we recommend you focus your attention there for further review.» (Un flag non è necessariamente un indicatore di un problema. Ti consigliamo però di concentrare lì la tua attenzione per un controllo più approfondito.)

Non è quindi un’accusa. È un riquadro rosso tracciato attorno a una parte del tuo manoscritto, con l’indicazione per chi valuta di guardare con più attenzione proprio quella parte.

La documentazione è insolitamente diretta su da dove arrivi tutto questo: «Paper mills and authors looking to hinder similarity matching abuse text manipulation techniques by trying to pass plagiarized content off as genuine. These techniques are commonly found on YouTube and social media platforms as ways of 'cheating Turnitin'.» (Le cartiere di articoli e gli autori che vogliono ostacolare la ricerca di similarità abusano di tecniche di manipolazione del testo, cercando di far passare contenuti plagiati come originali. Queste tecniche si trovano comunemente su YouTube e sui social media come modi per ingannare Turnitin.)

Vengono forniti due esempi.

Virgolette nascoste. Virgolette presenti nel file ma invisibili nella resa. La conseguenza documentata è precisa: «could influence the amount of quoted material recognized in a document. When a user excludes well-referenced matches using the Exclude Quotes functionality, in a manipulated document this would also hide plagiarized content.» (potrebbero influenzare la quantità di materiale citato riconosciuto in un documento; e quando un utente esclude le corrispondenze ben referenziate con la funzionalità Exclude Quotes, in un documento manipolato questo nasconderebbe anche il contenuto plagiato.)

Testo bianco su sfondo bianco. «A user may set the color of a block to text to white rendering it invisible on the white background of the paper. This can be to manipulate the word count or break up plagiarized text with hidden characters.» (Un utente può impostare il colore di un blocco di testo sul bianco, rendendolo invisibile sullo sfondo bianco della pagina. Questo serve a manipolare il conteggio delle parole o a spezzare il testo plagiato con caratteri nascosti.)

Nota la seconda metà di quella frase. Caratteri nascosti, usati per spezzare il testo in modo che un motore di corrispondenza non veda più una sequenza di parole. La guida non dice in quale punto del testo vadano questi caratteri, e non spetta a noi completarla. Quello che dice è che si tratta di qualcosa che il software cerca attivamente, non di qualcosa che gli sfugge.

Questo è il punto da leggere con attenzione, perché è la tecnica che più probabilmente si trova dentro uno strumento invece di essere digitata da una persona.

«Some characters in different alphabets can look similar enough that to the naked eye, it is difficult, if not impossible, to tell them apart.» (Alcuni caratteri di alfabeti diversi possono assomigliarsi al punto che, a occhio nudo, è difficile se non impossibile distinguerli.) Un carattere cirillico identico a quello latino, inserito al centro di una parola, spezza la stringa che il motore di corrispondenza cerca, mentre la pagina continua a sembrare normale.

La risposta documentata ha due parti, e la prima è quella che nessuno menziona:

«Turnitin automatically swaps these characters out when scanning a submission so they will not affect the Similarity Report. However, by replacing characters, the intent is to try and interrupt a similarity match.» (Turnitin sostituisce automaticamente questi caratteri durante la scansione di un invio, così che non influenzino il Similarity Report. Tuttavia, sostituendo i caratteri, l’intento è cercare di interrompere una corrispondenza.)

La sostituzione viene quindi annullata prima del confronto — la corrispondenza avviene comunque — e il tentativo viene segnalato con un flag. La tecnica non riduce il numero a cui mirava e aggiunge un segno che prima non c’era.

È una cosa rara da poter dire con una citazione invece che con un’opinione: una tecnica di aggiramento documentata di cui è documentato che non funziona.

La maggior parte degli autori non si mette a incollare una 'о' cirillica in una parola su tre. Ma un software lo fa, in modo invisibile, in un secondo, su tutto un manoscritto, e tu non lo vedrai, perché lo scopo stesso della tecnica è che il risultato appaia identico.

Questo la rende una domanda da fare prima di consegnare un file a qualsiasi strumento: ciò che torna contiene caratteri che non c’erano in ciò che è entrato?

Puoi verificarlo senza strumenti particolari. Prima, però, escludi la versione del controllo che sembra ovvia e non funziona.

Contare quante volte compare una lettera comune non ti dice nulla. La riscrittura tende ad allungare il testo e le lettere aumentano di conseguenza. Nei nostri file prima/dopo, la «a» latina è passata da 4.631 a 5.092 e la «e» da 6.970 a 8.005, senza che nessun carattere fosse sostituito da nessuna parte. Conti le lettere, ne trovi di più e l’unica cosa che hai imparato è che il documento è diventato più lungo.

Confronta inventari invece di conteggi. Esporta il testo normale del file che hai inviato e quello del file che ti è tornato, elenca i caratteri distinti presenti in ciascuno e cerca qualsiasi cosa compaia nella seconda lista e manchi nella prima. Lettere cirilliche e greche che sembrano latine. Spazi a larghezza zero. Trattini facoltativi. Che i conteggi cambino è normale. Che compaia un carattere che non è mai stato nel tuo file, non lo è.

E due punti strutturali su chi porta le conseguenze. Il flag finisce sull’invio, e sull’invio c’è il tuo nome. E lo strumento che ha introdotto i caratteri non è nella stanza quando il report viene letto.

Rientriamo nella categoria in cui questa tecnica vive, quindi la cosa onesta è dirlo apertamente invece di lasciarlo non detto.

Lo strumento HumanPen riscrive le frasi. Non inserisce caratteri invisibili, non sostituisce lettere con caratteri simili presi da altri alfabeti e non colora il testo di bianco. Non avrebbe senso: la documentazione sopra dice che la sostituzione viene annullata prima del confronto e segnalata lungo il percorso, quindi l’unica cosa che una tecnica del genere produce in modo affidabile è un riquadro rosso sul tuo manoscritto.

Abbiamo eseguito il confronto degli inventari sulla nostra stessa produzione prima di pubblicare questo articolo, su quattro coppie prima/dopo. L’insieme dei caratteri distinti in ogni output è stato ogni volta un sottoinsieme di quello dell’input. Nulla di nuovo, nessun cirillico, nessun greco, nessuno spazio a larghezza zero. Il numero di caratteri non ASCII è sceso invece di salire: lineette lunghe da 58 a 13 in un file, apostrofi curvi da 41 a 6. Abbiamo anche verificato che il confronto veda ciò che cerca, inserendo una «о» cirillica e uno spazio a larghezza zero in una copia dell’output e rilanciandolo: entrambi sono stati elencati.

Questi sono i nostri file e non pubblichiamo il corpus: prendi quindi i numeri come nostri e la procedura come tua. Eseguila sulla tua coppia. Anche su qualsiasi cosa ti restituiamo.

Un flag significa che mi è stato contestato qualcosa? No. La documentazione afferma che un flag «is not necessarily an indicator of a problem» (non è necessariamente un indicatore di un problema), raccomandando al tempo stesso che chi valuta concentri lì la propria attenzione. È un invito a guardare, non un accertamento.

I caratteri simili abbassano un punteggio di similarità? Non secondo la documentazione, che dice che questi caratteri vengono sostituiti automaticamente durante la scansione di un invio, così da non influenzare il Similarity Report. Inoltre il tentativo viene segnalato con un flag.

Quanti tipi di flag esistono? Due sono documentati — testo nascosto e caratteri sostituiti — e la scheda mostra 1 o 2 a seconda di quanti tipi siano stati rilevati.

Posso controllare il mio file prima di inviarlo? Non tramite il report, che viene generato dalla parte di chi valuta. Puoi ispezionare il file stesso. Elenca i caratteri distinti nella versione che hai inviato e in quella che ti è tornata, e cerca qualsiasi carattere presente nella seconda lista e assente nella prima. Non contare invece le lettere: la riscrittura allunga il testo, quindi i conteggi delle lettere salgono da soli. Controlla anche che non ci sia testo in bianco o in un colore uguale allo sfondo.