Por que introduções e conclusões são sinalizadas como IA (e o que fazer)

Introduções e conclusões têm mais probabilidade de ser sinalizadas como IA do que os parágrafos do corpo do texto. As notas de lançamento do Turnitin de maio de 2023 afirmam: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way." (Desde o lançamento, observamos uma incidência maior de falsos positivos nas primeiras ou últimas frases de um documento. Muitas vezes, essas frases consistem em conteúdo de introdução ou conclusão escrito de forma genérica.) A lógica de detecção foi atualizada para reduzir esses falsos positivos, mas o padrão de redação genérica e formulaica em introduções e conclusões ainda existe. Se sua introdução começa com uma afirmação ampla e sua conclusão repete a tese em linguagem previsível, essas passagens podem gerar perfis de probabilidade de palavras que se sobrepõem ao texto gerado por IA, mesmo após a melhoria de 2023.

A nota de lançamento de maio de 2023 descreve o padrão e a resposta:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Desde o lançamento, observamos uma incidência maior de falsos positivos nas primeiras ou últimas frases de um documento. Muitas vezes, essas frases consistem em conteúdo de introdução ou conclusão escrito de forma genérica. Como resultado, alteramos nossa lógica de detecção para ajudar a reduzir esses falsos positivos.)

A frase seguinte: "We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Também trabalhamos para tornar a detecção dos limites dos segmentos mais precisa, o que poderia levar, em alguns casos raros, a mudanças nos limites em comparação com uma versão anterior.)

Essa foi uma melhoria de 2023, não uma descrição de um defeito atual. A lógica de detecção foi alterada para ajudar a reduzir falsos positivos nessas posições. A melhoria reduziu o problema, mas não o eliminou.

A nota de lançamento aponta para "introduction or conclusion content written in a generic way" (conteúdo de introdução ou conclusão escrito de forma genérica). Conteúdo genérico é o elemento de ligação aqui. Introduções frequentemente começam com contexto amplo: "Nos últimos anos, X tornou-se um tópico importante." Conclusões frequentemente repetem a tese: "Este trabalho demonstrou que X leva a Y." Essas construções são previsíveis, formulaicas e estruturalmente uniformes. O FAQ do Turnitin lista "content without a lot of structural variation" (conteúdo sem muita variação estrutural) como uma característica propensa a falsos positivos. Introduções e conclusões genéricas são exatamente esse tipo de conteúdo. Os padrões de probabilidade de palavras nessas seções tendem a ser mais previsíveis do que nos parágrafos do corpo, onde o argumento é mais específico e a linguagem mais variada. A forma geral disso está em por que detectores de IA sinalizam redações bem escritas.

O pipeline de detecção funciona segmentando o texto:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score." (Quando um trabalho é enviado ao Turnitin, frases do envio são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, indicando a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificada dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, algumas frases podem ter múltiplas pontuações, que são então consolidadas em uma única pontuação.)

A nota de lançamento também menciona "segment boundaries detection" (detecção dos limites dos segmentos). As primeiras e últimas frases de um documento ficam na borda da estrutura de segmentos. Antes da melhoria de 2023, essas posições tinham uma taxa mais alta de falsos positivos. A melhoria tornou a detecção dos limites dos segmentos mais precisa, o que ajudou. Mas o próprio conteúdo, se escrito de forma genérica, ainda pode produzir padrões de probabilidade de palavras que acionam a classificação como semelhante a IA. O que são esses padrões é o tema de o Turnitin usa perplexidade e burstiness.

O FAQ do Turnitin também observa:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, onde há apenas algumas centenas de palavras, a previsão será principalmente 'tudo ou nada' porque estamos prevendo em um único segmento sem a oportunidade de sobreposição.)

A frase seguinte: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que algum texto que é uma mistura de conteúdo gerado por IA e original pode ser sinalizado como inteiramente gerado por IA.)

Em uma redação curta, a introdução e a conclusão podem representar uma grande proporção do texto total. Se ambas forem sinalizadas, o comportamento de tudo ou nada de documentos curtos significa que o documento inteiro pode ser classificado como gerado por IA. Esse é um resultado extremo, mas ajuda a explicar por que uma redação curta com introdução e conclusão genéricas pode receber uma pontuação surpreendentemente alta. Por que o Turnitin diz que seu trabalho é 100% IA analisa esse caso extremo do início ao fim.

Para resumir o que cobrimos:

• As notas de lançamento do Turnitin de maio de 2023 descrevem um padrão de falsos positivos mais altos nas primeiras e últimas frases de documentos.
• A lógica de detecção foi atualizada em 2023 para reduzir isso, mas o padrão subjacente de redação genérica em introduções e conclusões ainda existe.
• Introduções e conclusões genéricas compartilham a característica de "baixa variação estrutural" que o FAQ lista como propensa a falsos positivos.
• Documentos curtos amplificam o problema porque a introdução e a conclusão representam uma proporção maior do texto total.
• Tornar sua introdução e conclusão mais específicas, menos formulaicas e mais variadas em estrutura pode ajudar a lidar com o padrão.

Se você tem um relatório do Turnitin mostrando quais passagens foram sinalizadas, importe o relatório e trabalhe nessas passagens específicas. Passagens elegíveis podem ser reexecutadas sem custo.