Apresentações em Pôster e Detecção de IA: Por Que as Pontuações Tornam-se Pouco Confiáveis

Pôsteres não são escritos da mesma forma que ensaios ou artigos de periódicos. Eles dependem de marcadores, frases curtas e elementos visuais. A documentação do Turnitin diz que o modelo apenas analisa frases em prosa qualificadas e não detecta de forma confiável IA em formatos não prosa. Quando um pôster é enviado como documento, a porcentagem pode refletir uma pequena fatia de prosa enquanto os destaques quase não mostram nada. A disparidade entre ambos é um comportamento conhecido, não uma falha.

A FAQ é clara sobre o que conta como texto qualificado:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. (Este texto qualificado inclui apenas frases em prosa, o que significa que analisamos apenas blocos de texto que são escritos em frases gramaticais padrão e não incluem outros tipos de escrita como listas, marcadores (estruturas curtas que não são frases) ou outras estruturas que não são frases.)"

A FAQ também afirma:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures). (O modelo não detecta de forma confiável texto gerado por IA na forma de não prosa ou código, nem detecta escrita de forma curta/não convencional como marcadores (estruturas curtas que não são frases).)"

A próxima frase explica a consequência:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (Isso significa que um documento contendo vários tipos diferentes de escrita resultaria em uma disparidade entre a porcentagem e os destaques.)"

Para um pôster, essa disparidade é extrema. A maior parte do texto em um pôster está em marcadores ou rótulos curtos. Se você enviar um pôster como documento e obtiver uma alta porcentagem de IA, essa porcentagem pode ser baseada em apenas alguns parágrafos de prosa qualificada, enquanto os marcadores que compõem a maior parte do pôster são invisíveis para o detector.

O artigo de ajuda da Turnitin Using the AI Writing Report diz que as limitações do modelo vão além da lista das FAQ:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies. (O modelo não detecta de forma confiável texto gerado por IA na forma de não prosa, como poesia, roteiros ou código, nem detecta escrita de forma curta/não convencional como marcadores, tabelas ou bibliografias anotadas.)"

A próxima frase desse artigo:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights. (Isso significa que um documento contendo vários tipos diferentes de escrita resultaria em uma disparidade entre a porcentagem e os destaques.)"

Pôsteres frequentemente usam tabelas para resultados, comparações e cronogramas. Se as tabelas estão listadas como não detectadas de forma confiável, então uma parte significativa do conteúdo do pôster fica fora da cobertura confiável do modelo. A porcentagem que você vê pode ser calculada a partir dos poucos parágrafos de prosa intercalados entre tabelas e listas de marcadores.

Há uma atualização importante de agosto de 2023. Uma nota de versão diz:

"We are now able to process long-form prose text in tables. (Agora somos capazes de processar texto em prosa de forma longa em tabelas.)"

A próxima frase é:

"Resubmit to reprocess existing submissions that contain tables. (Reenvie para reprocessar submissões existentes que contêm tabelas.)"

Isso significa que tabelas com frases em prosa de forma longa (frases gramaticais completas dentro de células de tabela) agora são processadas. Rótulos curtos, números e entradas de dados dentro de tabelas ainda são não prosa e permanecem fora da análise do modelo. Para pôsteres, isso é uma melhoria parcial. Uma tabela de resultados com frases completas em cada célula agora seria analisada. Uma tabela com apenas números e rótulos curtos, não.

A FAQ descreve como as submissões são processadas:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. (Quando um artigo é enviado ao Turnitin, frases da submissão são extraídas e segmentadas em seções sobrepostas para análise de previsão. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, denotando a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificada dentro desses segmentos herda a pontuação do segmento.)"

Apenas frases em prosa qualificadas são extraídas. A agregação então produz a pontuação no nível do documento:

"These sentence scores are further aggregated and used to compute the overall document AI writing score. (Essas pontuações de frases são ainda agregadas e usadas para calcular a pontuação geral de escrita de IA do documento.)"

Para um pôster, a etapa de extração pode capturar muito poucas frases. Os poucos parágrafos de prosa em um pôster podem ser o resumo, uma breve introdução e uma observação de conclusão. Todo o resto são marcadores e entradas de tabela. A pontuação é calculada a partir desse pequeno conjunto de prosa, o que significa que reflete uma amostra restrita. Como ler um relatório de escrita de IA do Turnitin parte da mesma lacuna entre o número e a página.

Pôsteres enviados como documentos são curtos. A FAQ avisa sobre isso:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. (Em documentos mais curtos onde há apenas algumas centenas de palavras, a previsão será majoritariamente 'tudo ou nada' porque estamos prevendo em um único segmento sem a oportunidade de sobrepor.)"

A próxima frase:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated. (Isso significa que algum texto que é uma mistura de conteúdo gerado por IA e original poderia ser sinalizado como inteiramente gerado por IA.)"

Um pôster com apenas 300 ou 400 palavras de prosa qualificada cai diretamente nessa faixa. Com tão poucos segmentos, não há efeito de média. Um único segmento com pontuação alta pode rotular todo o documento como gerado por IA. A própria próxima frase da FAQ sobre a disparidade entre porcentagem e destaques torna-se muito visível aqui. Você pode ver uma alta porcentagem mas quase nenhum texto destacado no próprio pôster, o que é um dos casos em por que sua pontuação de escrita de IA está ausente, inconsistente ou não baixa.

A FAQ descreve o que tende a disparar falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. (Às vezes, falsos positivos (sinalizar incorretamente texto escrito por humano como gerado por IA) podem incluir conteúdo sem muita variação estrutural, texto que literalmente se repete, ou texto que foi parafraseado sem desenvolver novas ideias.)"

A prosa de pôster tende a ser repetitiva. As mesmas conclusões-chave aparecem no resumo, na seção de resultados e na conclusão. A linguagem é comprimida e uniforme porque o espaço é limitado, e a uniformidade é próxima do que o que os detectores de IA medem diz que o classificador está captando. A FAQ continua:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated. (Se nosso indicador mostrar uma quantidade maior de escrita de IA em tal texto, aconselhamos que você leve isso em consideração ao observar a porcentagem indicada.)"

Para pôsteres, esse conselho é duplamente relevante. A prosa é curta, repetitiva e estruturalmente uniforme. Todos os três fatores aumentam o risco de uma pontuação enganosa.

Se sua apresentação em pôster recebeu uma pontuação de IA do Turnitin, eis o que você deve ter em mente:

• Marcadores e rótulos curtos não são texto qualificado. A pontuação não os reflete.
• Um artigo de ajuda do Turnitin diz que as tabelas também não são detectadas de forma confiável, embora a prosa de forma longa em tabelas seja processada desde agosto de 2023.
• A disparidade entre a porcentagem e os destaques é um comportamento esperado para documentos de formato misto.
• Prosa qualificada curta dispara previsões de "tudo ou nada" com sobreposição mínima de segmentos.
• A prosa de pôster é repetitiva e uniforme, o que corresponde ao perfil de falso positivo que a FAQ descreve.
• Uma alta porcentagem com poucos destaques deve ser tratada com cautela, não como um veredito definitivo.

Se você quer abordar as passagens sinalizadas, importe seu relatório do Turnitin e trabalhe nelas. Passagens elegíveis podem ser reprocessadas sem custo.