Por que o Turnitin está marcando as minhas referências?

Nos relatórios atuais do Turnitin, listas de referências e bibliografias não deveriam receber nenhuma marcação de escrita por IA. O modelo de detecção de escrita por IA deixa as bibliografias fora da análise. Se as suas referências aparecem com marcações num relatório que você está vendo agora, existem três explicações realistas, e nenhuma delas é “o Turnitin detectou IA na sua lista de referências”. As três são: o relatório está desatualizado (é anterior a agosto de 2023), as marcações são correspondências de similaridade e não marcações de IA, ou o texto marcado na verdade é prosa ao lado das suas referências e está sendo analisado como prosa pelo modelo.

Vamos passar por cada uma. Mas o ponto de partida é a mudança que o Turnitin fez e a frase que a empresa pediu que você seguisse.

Nos primeiros meses depois que o Turnitin lançou a detecção de escrita por IA, em abril de 2023, as bibliografias não ficavam de fora da análise. Um bug marcava de vez em quando escrita por IA dentro das referências listadas numa bibliografia. Sabemos disso porque o Turnitin documentou o caso nas suas notas de versão do modelo de detecção de escrita por IA:

“We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.” (Corrigimos um bug que às vezes marcava escrita por IA dentro das referências listadas numa bibliografia. As bibliografias agora ficam de fora quando o relatório de escrita por IA é processado.)

A frase seguinte, na mesma linha das notas de versão, é:

“Resubmit to reprocess existing submissions that contain highlighted reference sections.” (Reenvie os trabalhos já entregues que tenham seções de referências marcadas, para que sejam processados de novo.)

É exatamente essa segunda frase que a maioria dos estudantes deixa passar. A correção não vale para relatórios que já foram gerados. Se o seu professor gerou um relatório antes do lançamento de agosto de 2023 e nunca reenviou o trabalho, é o relatório antigo que está parado na caixa de entrada dele, com marcações em cima da sua bibliografia. O relatório não se atualiza sozinho.

As mesmas notas de versão trazem também uma mudança parecida sobre tabelas. Antes de agosto de 2023, prosa longa dentro de tabelas não era processada. As notas de versão do Turnitin dizem: “We are now able to process long-form prose text in tables.” (Agora conseguimos processar texto em prosa de formato longo dentro de tabelas.) E de novo a frase seguinte é: “Resubmit to reprocess existing submissions that contain tables.” (Reenvie os trabalhos já entregues que tenham tabelas, para que sejam processados de novo.)

Se o seu trabalho tem tabelas e o seu relatório é anterior a agosto de 2023, vale o mesmo conselho. A correção saiu, mas só produz efeito nos relatórios gerados depois dela.

Existe uma segunda confusão que produz reclamações do tipo “o Turnitin marcou as minhas referências”. É a mais comum que a gente vê.

O Turnitin gera dois relatórios diferentes. Um é o AI Writing Report. O outro é o Similarity Report. Eles são separados, e ler as duas pontuações como se fossem a mesma coisa é o erro que está por trás da maioria dessas reclamações. O Similarity Report mostra onde o seu texto coincide com texto de outras fontes. O AI Writing Report mostra onde o modelo acha que o texto foi gerado por IA. Do FAQ sobre os recursos de detecção de escrita por IA do Turnitin:

“The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.” (A pontuação de similaridade e a porcentagem de detecção de escrita por IA são completamente independentes e não influenciam uma à outra.)

E do mesmo FAQ, uma linha mais abaixo:

“AI writing highlights are not visible in the Similarity Report.” (As marcações de escrita por IA não ficam visíveis no Similarity Report.)

O contrário também vale: as marcações de similaridade não ficam visíveis no AI Writing Report.

Listas de referências estão entre as coisas que mais geram correspondências de similaridade. Você citou artigos publicados. Outros estudantes citaram os mesmos artigos publicados. Os títulos, os nomes dos autores, os nomes das revistas e os DOI são todos sequências idênticas. Quando as suas referências aparecem com texto marcado, a primeira coisa a verificar é qual relatório você está olhando. Por que o seu texto citado e referenciado ainda aparece no Similarity Report trata do mesmo efeito nas citações. Se for o Similarity Report, as marcações não são de IA: são texto que coincide. A fonte similar pode ser outro trabalho de estudante, um artigo publicado ou um site. Nada disso tem relação com a detecção de escrita por IA.

Existe um terceiro mecanismo que vale a pena entender. O modelo de IA do Turnitin não analisa cada palavra da sua entrega. Ele analisa o que o FAQ chama de “qualifying text” (texto elegível):

“This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.” (Esse texto elegível inclui apenas frases de prosa, ou seja, analisamos somente blocos de texto escritos em frases gramaticais padrão e que não incluem outros tipos de escrita como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.)

A frase seguinte naquela página é:

“This percentage is not necessarily the percentage of the entire submission.” (Essa porcentagem não é necessariamente a porcentagem de toda a entrega.)

Na prática, para uma seção de referências isso quer dizer que uma lista de entradas bibliográficas, mesmo formatada como prosa, pode muito bem não ser tratada como texto elegível pelo modelo. As entradas são curtas. Muitas não são frases completas. O modelo foi feito para ler prosa. Uma lista de referências formatada se parece mais com uma lista estruturada do que com um parágrafo.

É também por isso que a porcentagem que você vê no AI Writing Report e a quantidade de texto marcado podem parecer não bater. Um documento com uma bibliografia longa, uma lista de figuras e um sumário tem uma parte grande de texto não elegível. A porcentagem é calculada sobre a prosa que o modelo de fato lê. As marcações ficam nos trechos de prosa que passaram do limite do modelo. Se a sua bibliografia tem 40 entradas e só dois parágrafos seus aparecem marcados, os “2%” do relatório são 2% da prosa elegível, e não 2% do documento inteiro.

Se você está olhando um relatório agora e as suas referências parecem marcadas, é isto que precisa verificar, em ordem.

Primeiro, veja a data em que o seu relatório foi gerado. Se o relatório é anterior a agosto de 2023, ele foi produzido antes de a correção das bibliografias sair. Não há nada de errado com o modelo atual: o relatório é que está desatualizado. A solução é pedir ao seu professor para reenviar o trabalho. Citar a nota de versão costuma bastar. A nota está na página de documentação do próprio Turnitin e diz “resubmit to reprocess existing submissions that contain highlighted reference sections.” (reenvie os trabalhos já entregues que tenham seções de referências marcadas, para que sejam processados de novo).

Segundo, veja qual relatório você está olhando. Se as marcações estão no Similarity Report e não no AI Writing Report, são correspondências de similaridade, e não marcações de IA. O fato de a sua lista de referências coincidir com a lista de referências de outro trabalho é um comportamento esperado numa verificação de similaridade. Isso não diz nada sobre autoria por IA. As marcações de escrita por IA “are not visible in the Similarity Report,” (não ficam visíveis no Similarity Report), e as marcações de similaridade não ficam visíveis no AI Writing Report. As duas coisas são separadas.

Terceiro, veja o texto logo em volta das suas referências. Se o texto marcado é uma ou duas frases de prosa bem antes ou depois da sua bibliografia (um agradecimento, uma nota metodológica, uma introdução à seção de referências), pode ser que o modelo esteja lendo isso como prosa. É exatamente o que o modelo deve fazer. A marcação não está nas suas referências, e sim na prosa perto delas. Leia o texto marcado em si, não a seção em que ele cai. Se depois você decidir revisar, essa prosa marcada é todo o trabalho: reescrever apenas os parágrafos que um relatório do Turnitin marcou.

Para ficar completo: em 2023 o Turnitin também observou que os falsos positivos eram mais comuns nas primeiras e nas últimas frases de um documento. Era aquele tipo de conteúdo de introdução ou conclusão escrito de forma genérica. Das notas de versão de 24 de maio de 2023:

“Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives.” (Desde o lançamento, observamos uma incidência maior de detecções de falsos positivos nas primeiras ou nas últimas frases de um documento. Muitas vezes essas frases são conteúdo de introdução ou conclusão escrito de forma genérica. Por isso, mudamos a nossa lógica de detecção para ajudar a reduzir esses falsos positivos.)

Isso importa porque às vezes os estudantes encontram na internet conselhos antigos dizendo “o Turnitin marca introduções e conclusões”. Isso foi um problema conhecido, e foi uma melhoria de 2023, não uma situação atual. Se você vê esse conselho num post de fórum de 2023, a correção já saiu faz tempo. A nota de versão diz isso na própria frase seguinte. Para os relatórios atuais, não é um problema em aberto com o qual se preocupar.

O resumo para quem está olhando agora uma lista de referências marcada:

1. Veja a data em que o relatório foi gerado. Relatórios anteriores a agosto de 2023 precisam ser reenviados.
2. Veja se você está olhando o AI Writing Report ou o Similarity Report. Marcações de similaridade em referências são esperadas. Marcações de IA em bibliografias não são.
3. Se o relatório é atual e as marcações estão no AI Writing Report, leia o texto que está efetivamente marcado. Provavelmente é prosa perto das referências, e não as referências em si.

A correção de agosto de 2023 está documentada na página que indicamos. Se um professor precisar reenviar o trabalho, as notas de versão trazem a instrução. “Resubmit to reprocess existing submissions that contain highlighted reference sections.” (Reenvie os trabalhos já entregues que tenham seções de referências marcadas, para que sejam processados de novo.)