Por que o Turnitin está marcando minhas referências e citações? O que as exclusões realmente cobrem

O AI Writing Report do Turnitin exclui bibliografias e analisa apenas prosa escrita em frases gramaticais completas, portanto sua lista de referências não está elevando sua porcentagem de IA nem disponível para diluí-la. A cor que aparece sobre uma bibliografia quase sempre pertence ao Similarity Report, e ali uma entrada de referência que dá correspondência é exatamente o que um estilo de citação compartilhado deve produzir.

Sobram então três perguntas mais estreitas que a resposta habitual deixa de lado. Por que alguns relatórios de IA têm cor nas entradas de referência mesmo assim. Se uma bibliografia anotada é o mesmo caso de uma lista de referências simples. E quem, se a cor estiver do lado da similaridade, tem de fato o controle que a mudaria.

O fio que atravessa as três é que essas exclusões não são fatos sobre o seu documento. São etapas de como um relatório é feito, aplicadas no momento em que ele é feito. Mude o momento e você muda o relatório, sem tocar uma palavra do arquivo.

A página do Turnitin sobre o modelo de detecção de escrita por IA traz notas de versão datadas. A entrada de 9 de agosto de 2023 diz:

"We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (Corrigimos um bug que às vezes destacava escrita por IA dentro de referências listadas em uma bibliografia. As bibliografias agora são excluídas no processamento do AI Writing Report.)

A frase logo depois é a que desaparece toda vez que essa nota é citada: "Resubmit to reprocess existing submissions that contain highlighted reference sections." (Reenvie para reprocessar os envios existentes que contenham seções de referências destacadas.) Ou seja, a exclusão é aplicada enquanto um relatório está sendo produzido. Um relatório que já existia em 9 de agosto de 2023 manteve os destaques que tinha e ficou assim até que alguém enviasse o trabalho novamente.

A mesma nota tratou as tabelas da mesma forma. "We are now able to process long-form prose text in tables" (Agora conseguimos processar prosa longa em tabelas), seguida de "Resubmit to reprocess existing submissions that contain tables." (Reenvie para reprocessar os envios existentes que contenham tabelas.) Duas mudanças, ambas condicionadas a um reenvio que ninguém faz automaticamente.

Para a maioria das pessoas que têm na mão um relatório gerado neste ano, nada disso explica nada. Para o que isso serve é para o hábito que deveria instalar: antes de tentar explicar o que um relatório mostra, descubra quando ele foi gerado, porque as regras sob as quais ele foi gerado são as regras daquela data. Dois relatórios do mesmo arquivo, gerados com um ano de diferença, não são duas leituras de uma mesma medição. A versão geral disso nós desmontamos em comparar dois relatórios do Turnitin depois de uma rechecagem.

Isso também explica por que tantos conselhos que circulam sobre bibliografias marcadas soam confiantes e datados ao mesmo tempo. Muitos foram escritos a partir de capturas de tela de 2023.

Duas perguntas chegam o tempo todo e têm uma única resposta. Minha bibliografia empurrou minha porcentagem de IA para cima? E uma bibliografia mais longa a faria cair?

O Turnitin chama de texto elegível aquilo que o modelo examina, e as perguntas frequentes sobre detecção dizem que ele "only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures" (analisa apenas blocos de texto escritos em frases gramaticais padrão e que não incluem outros tipos de escrita como listas, marcadores — estruturas curtas que não são frases — ou outras estruturas que não são frases), com a consequência declarada na frase seguinte: "This percentage is not necessarily the percentage of the entire submission." (Esta porcentagem não é necessariamente a porcentagem de todo o envio.) Uma entrada de referência não é uma frase gramatical padrão, e as bibliografias são removidas antes do processamento de qualquer forma. Portanto a lista de referências não está no numerador nem no denominador.

Isso mata dois planos de uma vez. Apagar suas referências antes do envio não muda o que o relatório analisa, e entrega um trabalho incompleto para resolver um problema que você não tinha. Inchar a bibliografia não dilui nada, porque diluir exige que as palavras acrescentadas estejam no denominador, e elas não estão.

Se você quiser ver qual é de fato o denominador em um documento cheio de tabelas e listas, como ler um AI Writing Report do Turnitin desenvolve um exemplo numérico.

A palavra bibliografia está fazendo muito trabalho em tudo isso, e as próprias páginas do Turnitin contêm duas afirmações separadas sobre material em formato de referência que as pessoas tendem a fundir em uma só.

Um artigo de ajuda do Turnitin diz: "The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (O modelo não detecta de forma confiável texto gerado por IA sob a forma de não prosa, como poesia, roteiros ou código, nem detecta escrita curta ou não convencional como marcadores, tabelas ou bibliografias anotadas.)

Leia isso ao lado da nota de versão. A nota descreve uma regra de processamento: as bibliografias são retiradas antes de o modelo rodar. O artigo de ajuda descreve um limite de confiabilidade: para certos tipos de escrita, o resultado do modelo não é algo que o Turnitin sustente. Não são a mesma garantia, e a segunda é bem mais fraca.

A distinção morde com mais força nas bibliografias anotadas, porque as anotações são frases de prosa que você escreveu, colocadas sob entradas que você não escreveu. Se a sua bibliografia anotada voltar com cor sobre ela, isso não é o mesmo evento que cor sobre uma lista de referências simples, e a nota de versão não é o documento que cobre isso.

A descrição publicada pelo Turnitin do cálculo enumera uma cadeia de operações. As frases são extraídas, agrupadas em segmentos sobrepostos, cada segmento recebe um valor entre 0 e 1, cada frase elegível herda a pontuação dos segmentos que a cobrem, e essas pontuações reunidas são agregadas no número do documento. Uma citação não entra em nenhuma etapa dessa cadeia.

A sobreposição tem uma consequência que quase ninguém leva até o fim. Uma frase perto da borda de um segmento fica dentro de dois e, por isso, carrega mais de uma pontuação herdada. O destaque na sua frase que contém a citação é em parte emprestado das frases ao redor, e é por isso que a correção, se houver alguma, nunca está localizada no colchete. O que decorre e o que não decorre disso nós traçamos em reescrever uma frase marcada reduz a pontuação.

Isso também significa que várias edições tentadoras não têm nada sobre o que agir. Renumerar, trocar um marcador entre parênteses por um sobrescrito, acrescentar uma frase de sinalização antes da afirmação, mover a atribuição para o fim da frase: nada disso muda a propriedade avaliada, porque nada disso muda a prosa.

Para a versão desta pergunta que começa com "afinal, qual relatório eu tenho na mão", por que o Turnitin marcou minhas referências percorre as ramificações.

Agora o outro caso. Alguém lhe encaminhou uma porcentagem, a cor está sobre a sua bibliografia, e pediram para você baixar o número. O que faria esse número mudar não está no seu arquivo.

Os relatórios de similaridade são produzidos com filtros de exclusão, e bibliografia é um deles, citações outro. Quem configurou o relatório escolheu quais estavam ativos, e essa escolha não viaja junto com uma porcentagem colada em um e-mail. Dois relatórios de um mesmo arquivo sem alterações podem diferir bastante só por isso. Os dois relatórios lado a lado cobre os filtros e onde encontrar o estado deles; por que seu texto citado e referenciado ainda dá correspondência cobre o que acontece com trechos atribuídos quando ninguém os ativou.

O que é também o argumento contra a jogada óbvia. Uma entrada de referência corresponde às entradas de referência de outras pessoas porque o manual de estilo mandou todos produzirem a mesma sequência. Uma entrada reescrita até parar de corresponder é uma entrada que para de seguir o estilo, e se uma ferramenta fizer isso na lista inteira de uma vez, você não vai notar até que quem avalia note. O que acontece com citações e tabelas dentro de uma ferramenta de reescrita tem um caso registrado exatamente disso.

Portanto, a resposta útil ao e-mail é uma pergunta em vez de uma revisão: quais exclusões estavam ativas naquele relatório e onde está a cor fora da bibliografia. A segunda parte é o único trecho que chega a exigir uma resposta sua.

Nada disso precisa de uma conta, de um recurso ou de um especialista. Precisa do PDF de verdade em vez da captura de tela de um número, e de cerca de cinco minutos.

1. Encontre primeiro a data de geração. Toda exclusão e toda versão de modelo descrita em qualquer lugar é o conjunto que vigorava quando aquele arquivo foi gerado, não o conjunto descrito hoje no site de ajuda.
2. Olhe o indicador de IA antes de olhar qualquer coisa colorida. O Turnitin não atribui pontuação nem destaques na faixa de 1% a 19% e mostra um asterisco no lugar; portanto, se o que você vê é um asterisco, nada do que está destacado na sua frente veio do relatório de IA.
3. Siga um trecho colorido e veja o que ele lhe oferece. Uma correspondência que leva a uma fonte nomeada com a própria porcentagem é o Similarity Report. O destaque de IA não aparece ali e não leva a lugar nenhum.
4. Pergunte quais filtros de exclusão estavam ativos. Bibliografia e citações são chaves separadas, nenhum dos dois estados aparece em um número encaminhado, e quem gerou o relatório sabe.
5. Se for o relatório de IA, leia a prosa destacada e pare de contar linhas. A porcentagem é calculada sobre o texto elegível, e os destaques ficam em um documento que também contém todo o resto, então os dois não vão fechar a olho nu.

Por escrito, isso é uma lista de perguntas sobre o relatório e não sobre a sua escrita, o que é mais ou menos a proporção correta para este problema específico.

A ferramenta HumanPen é uma reescritora de documentos, e a decisão de design relevante aqui é sobre escopo, não sobre resultado. Ou você seleciona os trechos você mesmo, ou envia o documento junto com o AI Writing Report dele e deixa os trechos marcados definirem o escopo. Só os trechos aproveitados do relatório são reescritos; o resto do documento é preservado na íntegra.

Para o assunto deste artigo isso tem uma consequência específica. Uma lista de referências não tem motivo para estar dentro do escopo de uma reescrita, porque está fora do cálculo de IA dos dois lados. Uma ferramenta que a alcança mesmo assim está gastando o seu risco em algo que não poderia ter ajudado o seu número.

A cobrança conta apenas as palavras efetivamente reescritas, então um relatório que marca um quinto do documento custa aproximadamente um quinto de uma passada completa. Passagens elegíveis podem ser reprocessadas sem custo.

O que não vamos lhe dizer é o que o seu próximo relatório vai apontar. A nossa própria página diz que o HumanPen busca preservar significado, estrutura, terminologia, citações, layout e estilos enquanto reescreve apenas a linguagem necessária, e depois diz para revisar documentos complexos após o download. As duas metades disso são para valer.

Meu relatório de IA tem cor sobre as próprias entradas de referência. Isso é possível? Era, antes de a nota de versão do Turnitin datada de 9 de agosto de 2023 anunciar que um bug que destacava escrita por IA dentro de bibliografias havia sido corrigido e que, a partir de então, as bibliografias seriam excluídas no processamento do relatório. A nota acrescenta que os envios existentes precisam ser reenviados antes de serem reprocessados, então um relatório mais antigo manteve seus destaques. Se o seu relatório é recente, verifique se o que você tem na mão não é, na verdade, o Similarity Report.

Uma lista de referências mais longa vai diluir minha porcentagem de IA? Não. A porcentagem é calculada sobre a prosa elegível, e o Turnitin diz que o resultado é "not necessarily the percentage of the entire submission" (não necessariamente a porcentagem de todo o envio). Palavras que não estão no denominador não podem diluir nada.

Minha bibliografia anotada está destacada. Isso é coberto pela mesma exclusão? Não pela mesma afirmação. A nota de versão é sobre bibliografias serem excluídas do processamento. Um artigo de ajuda do Turnitin lista separadamente as bibliografias anotadas entre os tipos de escrita em que o modelo não detecta escrita por IA de forma confiável, o que é uma afirmação sobre confiabilidade e não uma regra sobre o que é removido. Além disso, as anotações são prosa que você escreveu, o que uma lista de referências simples não é.

Mudar o estilo de citação altera algum dos dois números? Do lado da IA não, porque nada na descrição publicada daquele cálculo lê citações. Do lado da similaridade, como um relatório classifica uma correspondência atribuída depende de uma etapa de reconhecimento com limites documentados, e por que seu texto citado e referenciado ainda dá correspondência examina cada um deles.

O que devo pedir antes de responder a um e-mail sobre isso? O relatório completo em PDF em vez de uma captura de tela, a data em que ele foi gerado, qual relatório é e quais filtros de exclusão estavam ativos. Essas quatro respostas resolvem a maior parte disso antes de alguém precisar discutir a sua escrita.