Por que a escrita criativa é sinalizada como IA pelo Turnitin

A escrita criativa pode acionar falsos positivos no detector de IA do Turnitin por vários motivos documentados pelo próprio Turnitin. O modelo analisa o que chama de "qualifying text" (texto qualificado), que inclui apenas frases de prosa escritas em orações gramaticais convencionais. Um artigo de ajuda do Turnitin diz que o modelo "does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code" (não detecta de forma confiável texto gerado por IA na forma de não prosa, como poesia, roteiros ou código). Peças criativas curtas enfrentam um problema adicional: o FAQ afirma que, em documentos de algumas centenas de palavras, "the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap" (a previsão será basicamente 'tudo ou nada' porque estamos prevendo em um único segmento sem oportunidade de sobreposição). O FAQ também lista características que produzem falsos positivos, incluindo "content without a lot of structural variation" (conteúdo sem muita variação estrutural) e "text that literally repeats itself" (texto que se repete literalmente). A escrita criativa que usa motivos repetitivos ou estruturas de frase uniformes pode se encaixar nesse perfil, mesmo quando totalmente escrita por humanos.

O FAQ define o que o modelo examina:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto qualificado inclui apenas frases de prosa, ou seja, analisamos apenas blocos de texto escritos em frases gramaticais convencionais e não incluímos outros tipos de escrita, como listas, tópicos de lista (estruturas curtas não-fraseais) ou outras estruturas não-fraseais.)

A frase seguinte: "This percentage is not necessarily the percentage of the entire submission." (Esta porcentagem não é necessariamente a porcentagem de todo o envio.)

Um artigo de ajuda do Turnitin fornece uma lista mais ampla de tipos de texto que o modelo não detecta de forma confiável:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies." (O modelo não detecta de forma confiável texto gerado por IA na forma de não prosa, como poesia, roteiros ou código, nem detecta escrita curta/não convencional, como tópicos de lista, tabelas ou bibliografias anotadas.)

Esta é uma fronteira de conteúdo de texto, não de formato de arquivo. Os requisitos atuais de arquivo do Turnitin aceitam .docx, .pdf, .txt e .rtf, mas um arquivo aceito pode misturar prosa longa qualificada com poesia, diálogo em estilo de roteiro ou estruturas não convencionais. Um artigo de ajuda afirma que essas formas criativas não são detectadas de forma confiável; não diz que toda e qualquer seção assim é sempre excluída. O FAQ diz que texto considerado fora da prosa longa não é incluído, então a porcentagem pode não representar todo o envio.

Trabalhos de escrita criativa costumam ser curtos. Uma peça de ficção-relâmpago de 500 palavras se enquadra no intervalo de "algumas centenas de palavras" descrito pelo FAQ. Ele diz:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, com apenas algumas centenas de palavras, a previsão será basicamente 'tudo ou nada' porque estamos prevendo em um único segmento sem oportunidade de sobreposição.)

A frase seguinte: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que algum texto que é uma mistura de conteúdo gerado por IA e original pode ser sinalizado como inteiramente gerado por IA.)

Os requisitos atuais de arquivo do Turnitin traçam um limite separado: para gerar um AI Writing Report e porcentagem, um envio deve conter pelo menos 300 palavras de texto em prosa em formato de escrita longa.

Abaixo desse mínimo, o envio não atende aos requisitos publicados para um relatório de IA ou porcentagem. Quando uma peça elegível ainda contém apenas algumas centenas de palavras, o FAQ atual afirma que a previsão é basicamente tudo ou nada e que texto misto de IA e original pode ser sinalizado como totalmente gerado por IA. Por que o Turnitin diz que seu trabalho é 100% IA rastreia essa oscilação segmento por segmento.

O FAQ lista características de texto que tendem a produzir falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes, falsos positivos (sinalização incorreta de texto escrito por humanos como gerado por IA) podem incluir conteúdo sem muita variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.)

A frase seguinte: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se nosso indicador mostrar uma quantidade maior de escrita por IA em tal texto, aconselhamos que você leve isso em consideração ao observar a porcentagem indicada.)

Várias dessas características se sobrepõem a técnicas comuns de escrita criativa. Uma peça que usa repetição deliberada como recurso estilístico pode se encaixar em "texto que se repete literalmente". Uma peça com voz narrativa consistente e ritmo de frase uniforme pode corresponder a "conteúdo sem muita variação estrutural". O conselho oficial é levar a porcentagem "em consideração" em vez de tratá-la como definitiva. Hábitos estilísticos únicos são lidos da mesma forma, que é a questão por trás de o travessão é um indicador de IA.

O modelo de detecção processa seu texto dividindo-o em segmentos sobrepostos e atribuindo a cada um uma pontuação de probabilidade:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." (Quando um trabalho é enviado ao Turnitin, frases do envio são extraídas e segmentadas em seções sobrepostas para análise de previsão. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, denotando a probabilidade de o texto ser provavelmente humano ou gerado por IA.)

Em um documento mais longo, os segmentos se sobrepõem, o que significa que uma única frase pode receber múltiplas pontuações que são agrupadas. Esse agrupamento suaviza erros de previsão individuais. Em uma peça criativa curta, pode haver apenas um segmento sem sobreposição, é por isso que a previsão se torna tudo ou nada. O que os detectores de IA medem além de perplexidade e explosividade aborda como cada segmento é pontuado.

Para resumir o que abordamos:

• A porcentagem é baseada em prosa longa qualificada e não é necessariamente uma porcentagem de todo o envio.
• Um artigo de ajuda do Turnitin lista poesia, roteiros e bibliografias anotadas como tipos de texto que o modelo não detecta de forma confiável.
• Para documentos elegíveis de apenas algumas centenas de palavras, o Turnitin afirma que a previsão será basicamente tudo ou nada porque não há sobreposição.
• Envios com menos de 300 palavras de prosa longa qualificada não atendem aos requisitos atuais para um relatório de IA ou porcentagem.
• O FAQ aconselha os instrutores a levar a porcentagem "em consideração" quando o texto tiver pouca variação estrutural ou se repetir.
• Técnicas de escrita criativa como repetição deliberada e voz consistente podem corresponder a características propensas a falsos positivos.

Se você receber um relatório do Turnitin sobre uma peça de escrita criativa e quiser abordar as passagens sinalizadas, importe o relatório e trabalhe nelas. Passagens elegíveis podem ser reanalisadas sem custo adicional.