A Revisão de Literatura Recebeu uma Pontuação Alta de IA? Eis o Porquê

Revisões de literatura tendem a receber pontuações altas de IA por razões que estão na própria natureza do gênero. Uma revisão de literatura resume e sintetiza pesquisas existentes, o que significa que parafraseia extensivamente. Cada parágrafo reformula o que outros pesquisadores encontraram, muitas vezes em estruturas de frases similares porque o material de origem segue padrões parecidos. O FAQ da Turnitin lista "content without a lot of structural variation" (conteúdo sem muita variação estructural) e "text that has been paraphrased without developing new ideas" (texto que foi parafraseado sem desenvolver novas ideias) como características propensas a falsos positivos. Uma revisão de literatura, por sua própria natureza, pode se encaixar em ambas as descrições sem nenhum envolvimento de IA. A pontuação alta pode refletir o perfil estatístico do texto em vez de sua origem. Entender isso não faz a pontuação desaparecer, mas explica por que uma revisão de literatura totalmente escrita por humanos pode receber uma porcentagem alta de IA.

O FAQ da Turnitin afirma:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes, falsos positivos — identificar incorretamente texto escrito por humanos como gerado por IA — podem incluir conteúdo sem muita variação estructural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.)

A frase seguinte: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se nosso indicador mostrar uma quantidade maior de escrita por IA nesse tipo de texto, recomendamos que você leve isso em consideração ao analisar a porcentagem indicada.)

Três dessas descrições se aplicam a revisões de literatura por design. "Conteúdo sem muita variação estructural" descreve uma seção onde cada parágrafo segue o mesmo padrão: o pesquisador X encontrou Y, o pesquisador Z encontrou W, o pesquisador A confirmou B. "Texto que se repete literalmente" descreve as frases recorrentes que conectam os resumos: "Da mesma forma", "Em contraste", "Com base em", "Consistente com". "Texto que foi parafraseado sem desenvolver novas ideias" descreve o que uma revisão de literatura faz em nível de frase. Você está reformulando achados, não gerando argumentos originais, na maior parte do texto. O FAQ está dizendo que esse tipo de texto é exatamente o tipo que pode produzir falsos positivos. E a Turnitin orienta os educadores a levar isso em consideração ao ler a pontuação.

Há também uma razão estrutural pela qual revisões de literatura produzem porcentagens mais altas do que outras seções. A Turnitin analisa apenas "qualifying text" (texto qualificante), que o FAQ define como "prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences" (frases em prosa, ou seja, analisamos apenas blocos de texto escritos em frases gramaticais padrão). O FAQ continua: "This percentage is not necessarily the percentage of the entire submission" (essa porcentagem não é necessariamente a porcentagem de todo o trabalho).

Uma seção de resultados pode conter tabelas, figuras e equações que são excluídas da análise. Uma seção de metodologia pode incluir listas e marcadores. Mas uma revisão de literatura é quase inteiramente prosa. Cada parágrafo é texto qualificante. Isso significa que uma proporção maior do documento está sendo pontuada, e uma proporção maior significa mais segmentos produzindo valores de probabilidade que alimentam a pontuação agregada. Uma revisão de literatura e uma seção de resultados do mesmo comprimento podem produzir porcentagens diferentes de IA em parte porque a revisão tem mais texto qualificante para o detector avaliar. O mesmo argumento de densidade explica por que a Turnitin sinalizou toda a minha seção de metodologia é uma reclamação tão comum.

As notas de lançamento da Turnitin de maio de 2023 descrevem um padrão que é relevante para revisões de literatura:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Desde o lançamento, observamos uma incidência maior de detecção de falsos positivos nas primeiras ou últimas frases de um documento. Muitas vezes essas frases consistem em conteúdo de introdução ou conclusão escrito de forma genérica. Como resultado, mudamos nossa lógica de detecção para ajudar a reduzir esses falsos positivos.)

A frase seguinte: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Também trabalhamos para tornar nossa detecção de limites de segmentos mais precisa, o que poderia levar, em alguns casos raros, a mudanças de limites em comparação com uma versão anterior.)

Essa foi uma melhoria de 2023, não um defeito atual. Mas o padrão que descreve, conteúdo genérico de introdução e conclusão, é exatamente o que os parágrafos de abertura e fechamento de uma revisão de literatura frequentemente contêm. Se sua revisão começa com "A pesquisa sobre X cresceu significativamente nos últimos anos" e termina com "Em resumo, a literatura sugere que...", esses são os tipos de construções genéricas que foram historicamente associadas a falsos positivos. A lógica de detecção foi atualizada para reduzir isso, mas o padrão subjacente ainda existe em muitas revisões de literatura.

Há mais uma coisa para entender. O FAQ da Turnitin afirma: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (A pontuação de Similaridade e a porcentagem de detecção de escrita por IA são completamente independentes e não influenciam uma à outra.)

Uma revisão de literatura normalmente tem uma pontuação de similaridade moderada a alta porque referencia e cita pesquisas existentes. Isso é esperado e não é um problema. Mas alguns estudantes assumem que uma pontuação alta de similaridade significa que a pontuação de IA também será alta, ou que reduzir a pontuação de similaridade reduzirá a pontuação de IA. Nenhum dos dois é verdadeiro. As duas medições são independentes. Sua revisão pode ter 30% de similaridade (de fontes devidamente citadas) e uma pontuação baixa de IA, ou 5% de similaridade e uma pontuação alta de IA. Trabalhar em uma não afeta a outra; ler as duas pontuações como a mesma coisa é onde a maioria das pessoas se confunde.

Para resumir o que abordamos:

• Revisões de literatura combinam com o perfil propenso a falsos positivos da Turnitin: baixa variação estrutural, repetição e paráfrase sem novas ideias.
• Revisões de literatura são quase inteiramente prosa, o que significa mais texto qualificante para o detector pontuar.
• Conteúdo genérico de introdução e conclusão foi historicamente associado a falsos positivos (abordado numa atualização de 2023).
• A pontuação de IA e a pontuação de similaridade são independentes. Reduzir uma não reduz a outra.
• A Turnitin orienta os educadores a considerar o tipo de texto ao ler pontuações altas de IA nesse conteúdo.

Se você tem um relatório do Turnitin mostrando quais trechos da sua revisão de literatura foram sinalizados, importe o relatório e trabalhe nesses trechos específicos. O restante da sua revisão permanece verbatim, o que importa porque revisar uma revisão de literatura sem quebrar a cadeia de evidências é a parte que dá errado quando você reescreve amplamente. Trechos elegíveis podem ser reexecutados sem custo.