O Turnitin Sinaliza Textos Reflexivos como IA? Falsos Positivos Explicados

Textos reflexivos pedem que estudantes escrevam sobre suas próprias experiências, mas a estrutura tende a ser repetitiva. Você apresenta a experiência, descreve o que aconteceu e tira uma lição. O formato introspectivo faz com que frases frequentemente sigam padrões similares entre estudantes diferentes. A documentação do Turnitin descreve os tipos de texto que produzem falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes, falsos positivos — quando texto escrito por humanos é incorretamente sinalizado como gerado por IA — podem incluir conteúdo sem muita variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.)

A frase seguinte: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se nosso indicador mostrar uma quantidade maior de texto de IA nesse tipo de texto, aconselhamos que você leve isso em consideração ao olhar a porcentagem indicada.)

Textos reflexivos frequentemente têm todas essas três características. A variação estrutural é baixa porque o formato introspectivo segue um arco previsível. A redação se repete porque estudantes usam vocabulário similar para descrever crescimento, desafio e aprendizado. As ideias são parafraseadas do material do curso sem necessariamente desenvolver novos argumentos. Nada disso significa que o texto foi gerado por IA. Significa que o texto corresponde ao perfil de texto que o próprio Turnitin diz poder produzir falsos positivos, o que fica mais fácil de entender quando você sabe o que detectores de IA medem.

Para entender por que um texto reflexivo recebe uma pontuação alta, precisamos olhar como o detector funciona:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é enviado ao Turnitin, frases da submissão são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, indicando a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificante dentro desses segmentos herda a pontuação do segmento. Como os segmentos se sobrepõem, algumas frases podem ter múltiplas pontuações, que são então agrupadas em uma única pontuação. Essas pontuações por frase são ainda agregadas e usadas para calcular a pontuação geral de texto de IA do documento.)

Cada frase recebe uma pontuação de probabilidade. As pontuações são agrupadas e agregadas em uma porcentagem única em nível de documento. Um texto reflexivo com padrões de frases consistentemente similares pode receber pontuações altas de segmento em toda a extensão, e essas pontuações se acumulam numa porcentagem geral alta.

O detector não processa cada palavra na submissão. Ele processa apenas texto qualificante:

"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)." (O modelo não detecta de forma confiável texto gerado por IA na forma de não prosa ou código, nem detecta escrita curta/não convencional como pontos de bala — estruturas curtas que não são frases.)

A frase seguinte: "This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Isso significa que um documento contendo vários tipos diferentes de escrita resultaria numa disparidade entre a porcentagem e os destaques.)

A mesma documentação esclarece o que conta:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto qualificante inclui apenas frases em prosa, o que significa que analisamos apenas blocos de texto escritos em frases gramaticais padrão e não incluímos outros tipos de escrita como listas, pontos de bala — estruturas curtas que não são frases — ou outras estruturas que não são frases.)

A frase seguinte: "This percentage is not necessarily the percentage of the entire submission." (Esta porcentagem não é necessariamente a porcentagem de toda a submissão.)

Para textos reflexivos, a maior parte do texto é em prosa, então o texto qualificante cobre a maior parte do documento. A questão da disparidade é menos preocupante aqui do que em documentos de formato misto. A porcentagem que você vê está próxima da porcentagem da prosa real.

Textos reflexivos são frequentemente curtos. Um texto reflexivo de 500 palavras é comum, e a documentação alerta exatamente sobre esse cenário:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, onde há apenas algumas centenas de palavras, a predição será sobretudo 'tudo ou nada' porque estamos prevendo em um único segmento sem oportunidade de sobreposição.)

A frase seguinte: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que algum texto que é uma mistura de conteúdo gerado por IA e conteúdo original pode ser sinalizado como inteiramente gerado por IA.)

Num texto reflexivo curto, o detector pode ter apenas um segmento para pontuar. Não há sobreposição para suavizar a predição. Se esse único segmento recebe uma pontuação alta, o trabalho inteiro é sinalizado. Um documento misto que é em parte original e em parte assistido por rascunho pode ser reportado como 100% gerado por IA, que é um dos caminhos para por que o Turnitin diz que seu trabalho é 100% IA. O tamanho curto remove o efeito de média que documentos mais longos têm.

A documentação do Turnitin é explícita sobre como a pontuação deve e não deve ser usada:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Nosso modelo de detecção de texto de IA pode nem sempre ser preciso — pode identificar erroneamente texto escrito por humanos, gerado por IA e parafraseado por IA —, então não deve ser usado como única base para ações adversas contra um estudante.)

A frase seguinte: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (É necessário escrutínio adicional e julgamento humano, em conjunto com a aplicação das políticas acadêmicas específicas de uma instituição, para determinar se ocorreu má conduta acadêmica.)

Uma fonte separada do Turnitin reforça esta posição:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Não se destina a fornecer respostas definitivas de forma isolada. Mais importante que qualquer ferramenta é o educador que vê a pontuação e toma decisões equilibrando essa informação com seu conhecimento pessoal de seus estudantes, seu trabalho e a política institucional.)

A frase seguinte: "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Quando educadores olham para a pontuação de texto de IA e a utilizam como um único ponto de dados em vez de uma resposta definitiva, então ela está sendo usada como pretendido.)

Se seu texto reflexivo recebe uma pontuação alta de IA, a pontuação é um único ponto de dados. Não é prova. A documentação diz que o modelo pode identificar erroneamente texto e pede julgamento humano junto com a política institucional. Se você é quem tem que responder pela pontuação, sinalizado, mas você escreveu cobre como preparar essa resposta.

Para resumir o que cobrimos:

• Textos reflexivos correspondem a vários padrões de falso positivo descritos na documentação do Turnitin, incluindo baixa variação estrutural, redação repetitiva e ideias parafraseadas.
• O Turnitin aconselha: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se nosso indicador mostrar uma quantidade maior de texto de IA nesse tipo de texto, aconselhamos que você leve isso em consideração ao olhar a porcentagem indicada.)
• O detector segmenta o texto e pontua cada segmento. Trabalhos curtos podem ter apenas um segmento, criando um resultado tudo-ou-nada.
• Textos reflexivos curtos (algumas centenas de palavras) enfrentam o maior risco de uma pontuação binária.
• A pontuação não deve ser usada como única base para ações adversas. É um único ponto de dados que exige julgamento humano.

Se você receber um relatório de IA do Turnitin num texto reflexivo e quiser tratar as passagens sinalizadas, importe o relatório e trabalhe nelas. Passagens elegíveis podem ser reexecutadas sem custo.