Por que bibliografias anotadas recebem pontuações de IA pouco confiáveis no Turnitin

Um artigo de ajuda do Turnitin aponta limitações conhecidas do modelo com certos formatos:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (O modelo não detecta de forma confiável texto gerado por IA quando ele não vem em forma de prosa, como poesia, roteiros ou código, e também não detecta escrita curta ou não convencional, como marcadores, tabelas ou bibliografias anotadas.)

A frase seguinte: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Isso significa que um documento com vários tipos diferentes de escrita teria como resultado uma discrepância entre a porcentagem e os destaques.)

Bibliografias anotadas são citadas explicitamente nessa lista. O modelo não detecta de forma confiável texto gerado por IA nesse formato. Essa é uma limitação de cobertura reconhecida no artigo de ajuda, não um problema de configuração da sua parte. Se a sua bibliografia anotada recebe uma pontuação de IA alta, essa pontuação vem de um modelo que está operando fora da sua faixa de cobertura confiável.

A bibliografia não é apenas pouco confiável: ela está inteiramente excluída do processamento. Uma nota de versão de 2023 informa:

"We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report." (Corrigimos um bug que ocasionalmente destacava escrita de IA dentro das referências listadas numa bibliografia. As bibliografias agora são excluídas ao processar o relatório de escrita de IA.)

A frase seguinte: "Resubmit to reprocess existing submissions that contain highlighted reference sections." (Reenvie para reprocessar os envios existentes que contenham seções de referências destacadas.)

Isso significa que as entradas da bibliografia, ou seja, as citações em si, não são analisadas. Se você enviou um documento antes dessa correção e viu destaques na sua lista de referências, reenviar faria o documento ser reprocessado sem a bibliografia. Por que o Turnitin está sinalizando as minhas referências e citações mostra até onde as exclusões realmente chegam. A mesma nota de versão também tratou do conteúdo de tabelas:

"We are now able to process long-form prose text in tables." (Agora conseguimos processar texto em prosa de formato longo dentro de tabelas.)

A frase seguinte: "Resubmit to reprocess existing submissions that contain tables." (Reenvie para reprocessar os envios existentes que contenham tabelas.)

Em bibliografias anotadas, as entradas das citações ficam excluídas. Os parágrafos de anotação, ou seja, a prosa que você escreve sobre cada fonte, são o texto elegível que é processado. A pontuação que você vê reflete apenas a prosa das anotações, não as citações.

O detector processa apenas texto elegível. A página de perguntas frequentes do Turnitin sobre "AI writing detection capabilities" (recursos de detecção de escrita por IA) explica:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto elegível inclui apenas frases em prosa, o que significa que analisamos somente blocos de texto escritos com frases gramaticais padrão e não incluímos outros tipos de escrita, como listas, marcadores, isto é, estruturas curtas que não chegam a ser frases, ou outras estruturas que também não são frases.)

A frase seguinte: "This percentage is not necessarily the percentage of the entire submission." (Esta porcentagem não é necessariamente a porcentagem de todo o envio.)

Para bibliografias anotadas, isso cria uma dinâmica específica. As entradas da bibliografia, com as suas citações formatadas, recuos suspensos e links de DOI, ficam excluídas. Os parágrafos de anotação são frases em prosa, portanto são texto elegível. A porcentagem no relatório reflete apenas a prosa das anotações. Se as suas anotações têm 300 palavras num documento de 1000 palavras, a porcentagem cobre essas 300 palavras, e não o documento inteiro. Essa diferença entre a porcentagem e a extensão do documento é a primeira coisa a verificar ao ler um relatório de escrita por IA do Turnitin.

A página de perguntas frequentes do Turnitin sobre "AI writing detection capabilities" (recursos de detecção de escrita por IA) formula a limitação de forma mais curta:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (O modelo não detecta de forma confiável texto gerado por IA quando ele não vem em forma de prosa ou quando é código, e também não detecta escrita curta ou não convencional, como marcadores, isto é, estruturas curtas que não chegam a ser frases.)

A frase seguinte: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Isso significa que um documento com vários tipos diferentes de escrita teria como resultado uma discrepância entre a porcentagem e os destaques.)

Uma bibliografia anotada é exatamente esse tipo de documento misto. A discrepância entre a porcentagem e os destaques é um comportamento conhecido.

O pipeline de detecção divide o texto elegível em seções sobrepostas:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, as frases do envio são extraídas e segmentadas em seções sobrepostas para a análise de predição. Cada seção é classificada pelo modelo de detecção de IA e recebe um valor entre 0 e 1, que indica a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase elegível dentro dessas seções herda a pontuação da seção. Como as seções se sobrepõem, algumas frases podem ter várias pontuações, que depois são reunidas numa pontuação única. Essas pontuações por frase são agregadas mais uma vez e usadas para calcular a pontuação geral de escrita por IA do documento.)

Em bibliografias anotadas, apenas as frases em prosa das anotações passam por esse pipeline; as entradas das citações nunca entram nele. As pontuações das seções refletem a estimativa de probabilidade apenas do texto das anotações. A porcentagem geral é uma agregação dessas pontuações por frase vindas somente das anotações.

A prosa das anotações costuma seguir uma fórmula previsível: você resume a fonte, avalia a credibilidade dela e descreve a relevância. Essa repetição corresponde aos padrões que a documentação associa a falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes os falsos positivos, isto é, sinalizar por engano como gerado por IA um texto escrito por uma pessoa, podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver ideias novas.)

A frase seguinte: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador mostrar uma quantidade maior de escrita por IA num texto assim, recomendamos que você leve isso em consideração ao olhar a porcentagem indicada.)

As anotações costumam ter pouca variação estrutural porque a fórmula resumo – avaliação – relevância se repete em todas as entradas. A formulação se repete porque os estudantes usam verbos parecidos ("argues", "claims", "demonstrates") em anotações diferentes. As ideias são parafraseadas a partir da fonte sem desenvolver argumentos novos, e parafrasear por si só já tende a empurrar o número na direção errada, como mostra por que parafrasear faz a sua pontuação de IA no Turnitin subir. A própria orientação do Turnitin diz para levar a porcentagem em consideração em vez de aceitá-la pelo valor aparente, quando o texto corresponde a esses padrões.

Para resumir o que vimos:

• Um artigo de ajuda do Turnitin diz que o modelo não detecta de forma confiável texto gerado por IA em bibliografias anotadas.
• Bibliografias ficam excluídas do processamento. Apenas a prosa das anotações é analisada.
• A porcentagem reflete apenas a prosa das anotações, não o envio inteiro.
• A prosa das anotações tende a corresponder aos padrões de falsos positivos: pouca variação estrutural, formulação repetitiva e ideias parafraseadas.
• O Turnitin recomenda: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador mostrar uma quantidade maior de escrita por IA num texto assim, recomendamos que você leve isso em consideração ao olhar a porcentagem indicada.)
• Se você teve um envio mais antigo com referências destacadas, reenviar fará o documento ser reprocessado sem a bibliografia.

Se você recebeu um relatório de IA do Turnitin sobre uma bibliografia anotada e quer trabalhar as passagens sinalizadas, importe o relatório e trabalhe nelas. Passagens que cumprem os requisitos podem ser executadas novamente sem custo.