Documentos curtos e o problema do tudo ou nada no Turnitin

Para entender por que documentos curtos geram pontuações de escrita por IA pouco confiáveis, é preciso ver primeiro como o Turnitin processa o texto. A documentação explica: "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1..." (Quando um trabalho é enviado ao Turnitin, as frases da submissão são extraídas e divididas em seções sobrepostas para a análise de previsão. Cada seção é classificada pelo modelo de detecção de IA e recebe um valor entre 0 e 1...)

Nessa frase, a palavra "overlapping" (sobreposição) faz um trabalho importante. O Turnitin não analisa o seu documento como um bloco contínuo. Ele divide o texto em segmentos que se sobrepõem, de modo que uma mesma frase pode aparecer em vários segmentos. Cada segmento recebe a sua própria pontuação de previsão entre 0 e 1, e a porcentagem final de escrita por IA resulta da combinação dessas pontuações individuais.

É essa sobreposição que permite ao modelo produzir uma porcentagem nuançada em vez de um resultado binário de sim ou não. Quando os segmentos se sobrepõem, o modelo pode comparar como diferentes partes do seu texto são classificadas. Um parágrafo situado entre segmentos de pontuação baixa e de pontuação alta contribui para uma previsão geral mais equilibrada. Sem sobreposição, o modelo perde a capacidade de cruzar informações, e a pontuação fica menos precisa.

Quando um documento é muito curto, não há texto suficiente para criar vários segmentos sobrepostos. A documentação é direta quanto à consequência: "In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, com apenas algumas centenas de palavras, a previsão será basicamente "tudo ou nada", porque fazemos a previsão sobre um único segmento, sem a oportunidade de sobreposição.)

Um único segmento significa que o modelo faz uma única previsão para o documento inteiro. Não há média entre segmentos porque não há nada para calcular. O modelo olha o texto uma vez, atribui uma pontuação, e essa pontuação determina se o documento é sinalizado como gerado por IA ou não.

A documentação continua: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que parte do texto que mistura conteúdo gerado por IA e conteúdo original pode ser sinalizada como inteiramente gerada por IA.) Esse é o problema central. Se você escreveu 200 palavras por conta própria e usou IA para 100 palavras em um documento de 300, o modelo não separa as duas partes. Ele processa o documento como uma única unidade e, se essa unidade ficar acima do limite, o documento inteiro é sinalizado. O relatório não pode mostrar quais frases específicas foram geradas por IA, porque a previsão foi feita no nível do documento, não no nível da frase.

O Turnitin define um número mínimo de palavras para as submissões, e os requisitos técnicos estabelecem um piso de 300 palavras. Os formatos de arquivo aceitos são .docx, .pdf, .txt e .rtf, com um máximo de 30.000 palavras e tamanho de arquivo abaixo de 100MB. Os idiomas compatíveis são inglês, espanhol, japonês e — desde 18 de agosto de 2026 — Modern Standard Arabic. Duas das próprias páginas em inglês do Turnitin ainda listam apenas os três primeiros, então a página em que você cai pode não estar atualizada.

O mínimo de 300 palavras é um requisito do arquivo: um arquivo "must have at least 300 words of prose text in a long-form writing format." (precisa ter pelo menos 300 palavras de texto em prosa em um formato de redação longa). Uma frase sobre a precisão costuma circular junto — "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate" (Os resultados mostram que a nossa precisão aumenta com um pouco mais de texto, de modo que submissões com menos de 300 palavras podem resultar em uma pontuação de escrita por IA provavelmente menos precisa) —, mas ela vem de uma nota de versão datada de 15 de dezembro de 2023 sobre um erro que deixava passar submissões curtas demais, e descreve os relatórios gerados naquele período. Hoje, abaixo do piso, o modelo não está produzindo uma previsão menos confiável. Ele não está produzindo nenhuma.

Mesmo em 300 palavras ou um pouco mais, a sobreposição pode ser mínima. Um documento de 350 palavras pode gerar apenas dois ou três segmentos com leve sobreposição: melhor do que um, mas ainda longe da densidade de segmentos de um trabalho de 2.000 palavras. Mais texto significa mais segmentos, mais sobreposição e mais oportunidades para o modelo diferenciar conteúdo gerado por IA de conteúdo original.

O problema do tudo ou nada fica mais visível quando um documento curto mistura texto original e texto gerado por IA. A documentação afirma que "some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (parte do texto que mistura conteúdo gerado por IA e conteúdo original pode ser sinalizada como inteiramente gerada por IA). Para um estudante que escreveu a maior parte de uma tarefa curta, mas usou IA em uma parte dela, isso significa que o documento inteiro pode receber uma pontuação alta de escrita por IA, mesmo que a maior parte do texto seja original.

Alguns tipos de escrita pioram esse problema. A documentação observa: "Sometimes false positives... can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes os falsos positivos... podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto parafraseado sem desenvolver novas ideias.) Tarefas curtas como postagens em fóruns e reflexões breves costumam se encaixar nessa descrição. Elas tendem a ter menos variação estrutural do que um trabalho de pesquisa completo e podem repetir ideias parecidas em padrões de frase parecidos. A documentação recomenda: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador mostra uma quantidade maior de escrita por IA nesse tipo de texto, recomendamos que você leve isso em consideração ao observar a porcentagem indicada.)

Também houve um padrão específico que o Turnitin identificou e corrigiu. Uma atualização de 2023 registrou: "Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Desde o lançamento, observamos uma incidência maior de detecção de falsos positivos nas primeiras ou últimas frases de um documento. Muitas vezes essas frases são conteúdos de introdução ou conclusão escritos de forma genérica. Por isso, alteramos a nossa lógica de detecção para ajudar a reduzir esses falsos positivos.) Os documentos curtos são afetados de forma desproporcional pelo conteúdo de introdução e conclusão, porque essas seções representam uma fatia maior do texto total. A correção de 2023 ajudou, mas a vulnerabilidade estrutural dos documentos curtos permanece.

As tarefas curtas enfrentam um conjunto de dificuldades que se acumulam na detecção de IA. Elas têm menos segmentos, menos sobreposição e menos variação estrutural. É mais provável que contenham conteúdo genérico de introdução e conclusão. Todos esses fatores tornam a pontuação de escrita por IA menos confiável em documentos curtos do que em documentos longos.

Postagens em fóruns, reflexões curtas e trabalhos de resposta breves são os formatos curtos mais comuns no ensino superior. Se você estiver escrevendo um deles, o relatório de escrita por IA pode não distinguir entre o que você escreveu e as partes feitas com ajuda de IA. Um único segmento com pontuação baixa pode empurrar o documento inteiro para a categoria dos sinalizados.

A documentação reconhece essa limitação: "Our AI writing detection model may not always be accurate... so it should not be used as the sole basis for adverse actions against a student." (O nosso modelo de detecção de escrita por IA pode não ser sempre preciso..., portanto não deve ser usado como única base para medidas prejudiciais a um estudante.) Essa declaração é especialmente relevante para documentos curtos, onde a dinâmica do tudo ou nada está em jogo. Se você receber uma sinalização de escrita por IA em uma tarefa curta, o relatório pode refletir as limitações da previsão de segmento único em vez de um sinal claro sobre o seu texto.

O Turnitin também declara: "We strive to maximize the effectiveness of our detector while keeping our false positive rate... under 1% for documents with over 20% of AI writing." (Nós nos esforçamos para maximizar a eficácia do nosso detector, mantendo a nossa taxa de falsos positivos... abaixo de 1% para documentos com mais de 20% de escrita por IA.) Essa meta de falsos positivos vale para documentos com extensão suficiente para uma análise confiável. Os documentos curtos ficam fora da faixa ideal, e a taxa de falsos positivos pode ser maior para eles.

Recomendamos tratar com cautela as pontuações de escrita por IA em documentos curtos. Escreva o seu próprio trabalho, evite frases genéricas na abertura e no fechamento e, se um relatório já sinalizou as passagens que você quer trabalhar, você pode reescrever apenas essas passagens e deixar o resto do documento em paz.