Os sinalizadores de integridade em um Similarity Report: texto oculto e caracteres substituídos

O Similarity Report tem uma aba Flags separada da porcentagem. Ela marca dois padrões documentados: texto oculto — caracteres brancos sobre branco, aspas disfarçadas — e caracteres substituídos, em que letras são trocadas por outras parecidas de alfabetos diferentes. A documentação informa que os caracteres parecidos são automaticamente trocados de volta antes da varredura, então a correspondência acontece de qualquer forma. Um flag não é, explicitamente, uma constatação de irregularidade, mas coloca uma marca vermelha no seu envio para que uma pessoa examine aquilo.

A documentação descreve isso em uma frase: "Turnitin's algorithms look deeply at a document for any inconsistencies that would set it apart from a normal submission. If we notice something strange, we Flag it for you to review." (Os algoritmos da Turnitin examinam um documento a fundo em busca de qualquer inconsistência que o diferencie de um envio normal. Se notamos algo estranho, sinalizamos para que você revise.)

Se algo é detectado, aparece um número ao lado da aba Flags, acima do envio: 1 quando há um tipo de flag e 2 quando há os dois. Ao abrir a aba, você vê um painel Integrity Flags for Review e, no próprio documento, "a red flag with a number inside indicating the flag type and red boxes around all suspicious text related to that flag." (uma bandeira vermelha com um número dentro indicando o tipo de flag e caixas vermelhas em torno de todo o texto suspeito relacionado àquele flag.)

A ressalva está logo ali, na fonte, e importa nos dois sentidos: "A flag is not necessarily an indicator of a problem. However, we recommend you focus your attention there for further review." (Um flag não é necessariamente um indicador de um problema. No entanto, recomendamos que você concentre a sua atenção ali para uma revisão mais detalhada.)

Ou seja, não é uma acusação. É uma caixa vermelha desenhada em volta de uma parte do seu manuscrito, com uma instrução para quem avalia olhar com mais atenção exatamente aquela parte.

A documentação é incomumente direta quanto à origem disso: "Paper mills and authors looking to hinder similarity matching abuse text manipulation techniques by trying to pass plagiarized content off as genuine. These techniques are commonly found on YouTube and social media platforms as ways of 'cheating Turnitin'." (Fábricas de artigos e autores que querem dificultar a detecção de similaridade abusam de técnicas de manipulação de texto para tentar fazer conteúdo plagiado passar por original. Essas técnicas aparecem com frequência no YouTube e nas redes sociais como formas de enganar a Turnitin.)

São dados dois exemplos.

Aspas ocultas. Aspas que estão no arquivo, mas invisíveis na exibição. A consequência documentada é específica: "could influence the amount of quoted material recognized in a document. When a user excludes well-referenced matches using the Exclude Quotes functionality, in a manipulated document this would also hide plagiarized content." (podem influenciar a quantidade de material citado reconhecido em um documento; e quando um usuário exclui correspondências bem referenciadas usando a funcionalidade Exclude Quotes, em um documento manipulado isso também esconderia conteúdo plagiado.)

Texto branco sobre fundo branco. "A user may set the color of a block to text to white rendering it invisible on the white background of the paper. This can be to manipulate the word count or break up plagiarized text with hidden characters." (Um usuário pode definir a cor de um bloco de texto como branca, deixando-o invisível sobre o fundo branco do papel. Isso pode servir para manipular a contagem de palavras ou para fragmentar texto plagiado com caracteres ocultos.)

Repare na segunda metade daquela frase. Caracteres ocultos, usados para fragmentar o texto e fazer o mecanismo de correspondência parar de ver uma sequência de palavras. O guia não diz em que ponto do texto esses caracteres ficam, e nós não vamos preencher essa lacuna por ele. O que ele diz é que se trata de algo que o software procura, não de algo que ele deixa passar.

Este é o ponto que vale ler com atenção, porque é a técnica com maior chance de estar dentro de uma ferramenta em vez de ser digitada por uma pessoa.

"Some characters in different alphabets can look similar enough that to the naked eye, it is difficult, if not impossible, to tell them apart." (Alguns caracteres de alfabetos diferentes podem ser parecidos a ponto de ser difícil, ou impossível, distingui-los a olho nu.) Um caractere cirílico que é exibido de forma idêntica ao latino, colocado no meio de uma palavra, quebra a cadeia que o mecanismo de correspondência procura, enquanto a página continua parecendo normal.

A resposta documentada tem duas partes, e a primeira é a que ninguém menciona:

"Turnitin automatically swaps these characters out when scanning a submission so they will not affect the Similarity Report. However, by replacing characters, the intent is to try and interrupt a similarity match." (A Turnitin troca automaticamente esses caracteres ao analisar um envio, para que não afetem o Similarity Report. No entanto, ao substituir caracteres, a intenção é tentar interromper uma correspondência.)

Ou seja, a substituição é desfeita antes da comparação — a correspondência acontece mesmo assim — e a tentativa é registrada como um flag. A técnica não reduz o número que tinha como alvo e ainda acrescenta uma marca que não existia antes.

Isto é algo raro de se poder dizer com uma citação em vez de uma opinião: uma técnica de burla documentada sobre a qual também está documentado que não funciona.

A maioria dos autores não vai sentar e colar um 'о' cirílico em cada terceira palavra. Mas um software faz isso, de forma invisível, em um segundo, ao longo de um manuscrito inteiro, e você não vai notar, porque toda a graça da técnica é justamente ter a mesma aparência.

Isso faz desta uma pergunta a fazer antes de entregar um arquivo a qualquer coisa: o que volta contém caracteres que não estavam no que entrou?

Você pode verificar isso sem nenhuma ferramenta especial. Antes, porém, descarte a versão da verificação que parece óbvia e não funciona.

Contar quantas vezes uma letra comum aparece não diz nada. Reescrever tende a alongar o texto, e as letras aumentam junto. Nos nossos próprios arquivos de antes e depois, o "a" latino passou de 4.631 para 5.092 e o "e" de 6.970 para 8.005, sem nenhum caractere substituído em lugar algum. Você conta letras, encontra mais delas e tudo o que aprendeu é que o documento ficou mais longo.

Compare inventários em vez de contagens. Exporte o texto simples do arquivo que você enviou e o do arquivo que você recebeu de volta, liste os caracteres distintos que aparecem em cada um e procure qualquer coisa que esteja na segunda lista e falte na primeira. Letras cirílicas e gregas que parecem latinas. Espaços de largura zero. Hifens suaves. Que as contagens mudem é esperado. Que apareça um caractere que nunca esteve no seu arquivo, não é.

E dois pontos estruturais sobre quem carrega a consequência. O flag cai sobre o envio, e o seu nome está nele. E a ferramenta que introduziu os caracteres não está na sala quando o relatório é lido.

Estamos na categoria onde essa técnica vive, então o mais honesto é deixar isso explícito em vez de deixá-lo sem dizer.

A ferramenta HumanPen reescreve frases. Não insere caracteres invisíveis, não troca letras por caracteres parecidos de outros alfabetos e não pinta texto de branco. Não faria sentido: a documentação acima diz que a substituição é desfeita antes da correspondência e sinalizada no caminho, então a única coisa que essa técnica produz de forma confiável é uma caixa vermelha no seu manuscrito.

Fizemos a comparação de inventários na nossa própria saída antes de publicar isto, em quatro pares de antes e depois. O conjunto de caracteres distintos em cada saída foi, em todos os casos, um subconjunto do conjunto na entrada. Nada de novo, nada de cirílico, nada de grego, nenhum espaço de largura zero. A contagem de caracteres não ASCII caiu em vez de subir: travessões de 58 para 13 em um arquivo, apóstrofos curvos de 41 para 6. Também verificamos que a comparação enxerga o que procura, inserindo um "о" cirílico e um espaço de largura zero em uma cópia da saída e rodando de novo, o que listou os dois.

Esses são os nossos arquivos e não publicamos o corpus, então tome os números como nossos e o procedimento como seu. Rode-o no seu próprio par. Inclusive no que nós devolvermos a você.

Um flag significa que fui acusado de alguma coisa? Não. A documentação afirma que um flag "is not necessarily an indicator of a problem" (não é necessariamente um indicador de um problema), ao mesmo tempo em que recomenda que quem avalia concentre a atenção ali. É um convite a olhar, não uma constatação.

Caracteres parecidos reduzem uma pontuação de similaridade? Não, segundo a documentação, que diz que esses caracteres são trocados automaticamente quando um envio é analisado, para que não afetem o Similarity Report. A tentativa também é registrada como um flag.

Quantos tipos de flag existem? Dois são documentados — texto oculto e caracteres substituídos —, e a aba mostra 1 ou 2 dependendo de quantos tipos foram detectados.

Posso verificar o meu arquivo antes de enviar? Não pelo relatório, que é gerado do lado de quem avalia. Você pode inspecionar o próprio arquivo. Liste os caracteres distintos na versão que você enviou e na versão que voltou, e procure qualquer caractere que esteja na segunda lista e não na primeira. Não conte letras em vez disso: reescrever deixa o texto mais longo, então as contagens de letras sobem sozinhas. Verifique também se há texto em branco ou em uma cor igual à do fundo.