Por que proposals de pesquisa são marcados como IA pelo Turnitin

Proposals de pesquisa partem de um conjunto restrito de estruturas convencionais. Seções de metodologia descrevem procedimentos padronizados, e O Turnitin marcou toda a minha seção de metodologia mostra como isso se parece depois que acontece. Revisões de literatura resumem trabalhos anteriores de forma parafraseada. Esses padrões são comuns e se alinham ao que a documentação do Turnitin identifica como território de falso positivo. Proposals curtos com apenas algumas centenas de palavras enfrentam um risco adicional: o detector os trata como "tudo ou nada" porque não há texto suficiente para sobreposição de segmentos. O resultado é que proposals genuinamente escritos por humanos podem retornar pontuações altas de IA sem qualquer envolvimento de IA.

O FAQ descreve qualidades específicas de texto que podem acionar falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes, falsos positivos — identificar incorretamente texto escrito por humano como gerado por IA — podem incluir conteúdo sem muita variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.)

Essa descrição se mapeia de perto com proposals de pesquisa. Uma seção de metodologia que descreve amostragem intencional e entrevistas semiestruturadas usa linguagem que aparece em milhares de proposals. Revisões de literatura condensam estudos complexos em frases de resumo, o que é parafrasear por natureza, e parafrasear tende a mover o número na direção errada, como por que parafrasear faz sua pontuação de IA do Turnitin subir explica. Nenhuma atividade desenvolve novas ideias naquele momento. A próxima frase do FAQ importa:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se nosso indicador mostrar uma quantidade maior de escrita por IA em tal texto, aconselhamos que você leve isso em consideração ao observar a porcentagem indicada.)

Este é um reconhecimento explícito de que a porcentagem sozinha não é suficiente para documentos com essas características. Devemos tratar uma pontuação alta em um proposal como um sinal que vale a pena investigar, não um veredito definitivo.

Para entender por que proposals são vulneráveis, precisamos olhar como o Turnitin processa uma submissão:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score." (Quando um trabalho é submetido ao Turnitin, frases da submissão são extraídas e segmentadas em seções sobrepostas para análise de predição. Cada segmento é classificado pelo modelo de detecção de IA e recebe um valor entre 0 e 1, denotando a probabilidade de o texto ser provavelmente humano ou gerado por IA. Cada frase qualificante dentro desses segmentos herda a pontuação do segmento.)

A frase-chave é "qualifying sentence" (frase qualificante). O FAQ esclarece o que conta como texto qualificável:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Esse texto qualificante inclui apenas frases em prosa, ou seja, analisamos apenas blocos de texto escritos em frases gramaticais padrão e não incluímos outros tipos de escrita, como listas, marcadores de lista — estruturas curtas que não são frases — ou outras estruturas que não sejam frases.)

Para proposals, isso significa que parágrafos de metodologia, prosa de revisão de literatura e texto de justificativa narrativa são todos analisados. Perguntas de pesquisa formatadas como marcadores de lista ou tabelas de cronograma com entradas curtas não são. A disparidade entre o que é pontuado e o que aparece na página pode ser confusa quando você vê apenas a porcentagem.

Muitos proposals de pesquisa são curtos. Um proposal de tese pode ter de 1.500 a 3.000 palavras. Uma seção narrativa de solicitação de verba pode ser ainda mais curta. O FAQ aborda isso diretamente:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (Em documentos mais curtos, onde há apenas algumas centenas de palavras, a predição será principalmente 'tudo ou nada' porque estamos prevendo em um único segmento sem oportunidade de sobreposição.)

A próxima frase deixa a consequência clara:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (Isso significa que algum texto que é uma mistura de conteúdo gerado por IA e original pode ser marcado como inteiramente gerado por IA.)

Mesmo proposals acima de algumas centenas de palavras podem ser afetados se a prosa qualificante estiver concentrada em alguns parágrafos densos. Menos segmentos significam menos média, e um único segmento com pontuação alta pode puxar a porcentagem geral para cima significativamente.

O Turnitin fez mudanças para reduzir certos falsos positivos. Uma nota de release de maio de 2023 descreve uma correção:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (Desde o lançamento, observamos uma incidência maior de detecção de falso positivo nas primeiras ou últimas frases de um documento. Muitas vezes, essas frases consistem em conteúdo de introdução ou conclusão escrito de forma genérica. Como resultado, mudamos nossa lógica de detecção para ajudar a reduzir esses falsos positivos.)

Essa melhoria é relevante para proposals porque suas introduções frequentemente seguem um padrão formuláico: enunciar o problema, descrever a lacuna, apresentar a pergunta de pesquisa. A mesma nota de release menciona outro refinamento:

"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (Também trabalhamos para tornar a detecção de limites de segmento mais precisa, o que poderia levar, em alguns casos raros, a uma mudança de limites em comparação com uma versão anterior.)

Essas foram melhorias de 2023, não defeitos atuais. Se você comparasse a pontuação de um proposal antes e depois dessa atualização, poderia ter visto uma redução. Os padrões estruturais subjacentes que descrevemos anteriormente ainda existem na escrita de proposals hoje.

O FAQ é explícito sobre as limitações da pontuação de escrita por IA:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Nosso modelo de detecção de escrita por IA pode nem sempre ser preciso — pode identificar erroneamente texto escrito por humano, gerado por IA e parafraseado por IA —, portanto, não deve ser usado como base única para ações adversas contra um estudante.)

A próxima frase reforça isso:

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (É necessário um exame mais aprofundado e julgamento humano, em conjunto com a aplicação das políticas acadêmicas específicas de uma organização, para determinar se ocorreu má conduta acadêmica.)

Uma fonte separada do Turnitin enquadra a pontuação como uma peça de informação entre muitas:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (Não se destina a fornecer respostas definitivas isoladamente. Mais importante que qualquer ferramenta é o educador que vê a pontuação e toma decisões equilibrando essas informações com seu conhecimento pessoal de seus estudantes, seu trabalho e a política institucional.)

A próxima frase completa o pensamento:

"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (Quando educadores olham para a pontuação de escrita por IA e a utilizam como um único ponto de dados, não como uma resposta definitiva, então ela está sendo usada conforme o pretendido.)

Para proposals de pesquisa, isso significa que uma porcentagem alta de IA deve gerar uma conversa, não uma conclusão. O que orientam seu professor a fazer quando sua porcentagem de IA está alta é a orientação do fornecedor que essa conversa deve seguir.

Se seu proposal de pesquisa recebeu uma pontuação alta de IA no Turnitin, aqui está o que ter em mente:

• Proposals usam linguagem convencional, parafraseada e estruturalmente uniforme que o FAQ identifica como território de falso positivo.
• Proposals curtos com prosa limitada podem produzir predições "tudo ou nada" porque há segmentos demais poucos para sobreposição.
• A porcentagem reflete apenas prosa qualificante, não seu documento inteiro.
• O Turnitin melhorou o tratamento da primeira e da última frase em 2023, mas a vulnerabilidade central da linguagem de proposal permanece.
• A pontuação de IA deve servir como um único ponto de dados, não como base única para julgamento.

Se você quiser abordar as passagens marcadas, import your Turnitin report e trabalhe nelas. Passagens elegíveis podem ser reexecutadas sem custo adicional.