O seu texto de não nativo foi marcado como IA? O que diz a documentação

Quem não tem o inglês como língua materna pode ser assinalado por IA num texto escrito inteiramente por uma pessoa. As perguntas frequentes da Turnitin dizem que os dados de treino do modelo «took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries» (tiveram em conta grupos estatisticamente sub-representados, como aprendentes de inglês como segunda língua e utilizadores de inglês em países de língua não inglesa) para reduzir o enviesamento. Esta é a afirmação da própria empresa e não está verificada de forma independente. O detetor continua a funcionar classificando padrões de probabilidade das palavras no texto. A escrita académica formal ensinada a falantes não nativos, com a sua ênfase em modelos estruturados e transições padronizadas, pode produzir um texto com pouca variação estrutural. Essa característica consta da própria lista da Turnitin de tipos de texto propensos a falsos positivos. Ser assinalado não significa, portanto, que o seu inglês seja bom demais ou demasiado mecânico. Significa que o perfil estatístico do seu texto se sobrepôs a padrões que o modelo associa à IA.

As perguntas frequentes abordam o enviesamento diretamente:

"While creating our sample dataset, we also took into account statistically under-represented groups like second-language learners, English users from non-English speaking countries, students at colleges and universities with diverse enrollments, and less common subject areas such as anthropology, geology, sociology, and others to minimize bias when training our model." (Ao criar o nosso conjunto de dados de amostra, também tivemos em conta grupos estatisticamente sub-representados, como aprendentes de inglês como segunda língua, utilizadores de inglês em países de língua não inglesa, estudantes de instituições com corpo discente diversificado e áreas de estudo menos comuns, como antropologia, geologia, sociologia e outras, para reduzir o enviesamento ao treinar o modelo.)

Esta é a descrição que a Turnitin faz da sua própria metodologia de treino. O que se afirma é que a escrita em segunda língua esteve representada nos dados de treino. O que essa afirmação não inclui é qualquer número, resultado de teste ou validação externa do desempenho do modelo em textos escritos em segunda língua. As perguntas frequentes não publicam taxas de falsos positivos separadas entre falantes nativos e não nativos. Afirma-se, portanto, que foram usados dados diversos, mas a eficácia desse esforço não pode ser medida de forma independente a partir da documentação pública.

O processo de deteção é o mesmo para todos os textos:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Quando um trabalho é submetido à Turnitin, as frases da submissão são extraídas e divididas em secções sobrepostas para análise de previsão. O modelo de deteção de IA classifica cada secção e atribui-lhe um valor entre 0 e 1, que indica a probabilidade de o texto ser humano ou gerado por IA. Cada frase elegível dentro destas secções herda a pontuação da secção. Como as secções se sobrepõem, algumas frases podem ter várias pontuações, que depois são fundidas numa só. Estas pontuações das frases são novamente agregadas e usadas para calcular a pontuação global de escrita por IA do documento.)

O detetor não conhece a sua origem linguística. Lê sequências de palavras e classifica-as. Se os seus padrões de escrita, moldados por um ensino formal de inglês, produzirem sequências de probabilidade que se sobrepõem ao que o modelo aprendeu a associar a texto gerado por IA, a pontuação pode ser mais alta do que espera. O que os detetores de IA medem além da perplexidade e da variação de estilo explica que padrões são esses.

As perguntas frequentes listam os textos propensos a falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Por vezes os falsos positivos — isto é, assinalar como gerado por IA um texto escrito por uma pessoa — podem afetar conteúdos com pouca variação estrutural, textos que se repetem literalmente ou textos reformulados sem desenvolver ideias novas.)

A frase seguinte: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador mostrar uma maior quantidade de escrita por IA neste tipo de texto, aconselhamos que tenha isso em conta ao analisar a percentagem indicada.)

O ensino de inglês para não nativos costuma dar muito peso a modelos académicos estruturados. Os estudantes aprendem padrões de frase standard, transições formais e estruturas de parágrafo uniformes. Isso produz uma escrita com o tipo de uniformidade que as perguntas frequentes descrevem como propensa a falsos positivos. A sobreposição não é intencional. Resulta da forma como o inglês académico é ensinado a falantes não nativos e da forma como o detetor caracteriza um texto. Se a resposta certa passa por escrever de outra maneira, essa já é outra questão: deve mudar a sua forma de escrever para evitar ser assinalado.

As perguntas frequentes afirmam:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (Por isso, temos de sublinhar que a percentagem no indicador de escrita por IA não deve ser usada como única base para agir nem como critério de avaliação definitivo por parte dos docentes.)

Se o seu texto escrito por si for assinalado, tem argumentos para falar com o seu docente. Pode apontar as descrições de texto propenso a falsos positivos das perguntas frequentes, explicar o seu processo de escrita e lembrar que a pontuação é apenas um dado entre outros. Também pode referir a afirmação sobre a diversidade dos dados de treino, sendo honesto quanto ao facto de isso não garantir imunidade aos falsos positivos. Assinalado, mas foi você que escreveu mostra como montar esse argumento.

Para resumir o que vimos até aqui:

• A Turnitin afirma que os seus dados de treino incluíram aprendentes de segunda língua, mas não apresenta números que permitam verificar a eficácia.
• O detetor lê padrões de probabilidade das palavras, independentemente da origem linguística.
• A escrita académica formal comum entre falantes não nativos pode sobrepor-se a características propensas a falsos positivos.
• As perguntas frequentes dizem que a pontuação não deve ser a única base para agir.
• Se for assinalado, o seu processo de escrita e as próprias descrições de falsos positivos das perguntas frequentes dão-lhe matéria para conversar.

Se tem um relatório da Turnitin que mostra que passagens foram assinaladas, importe o relatório e trabalhe essas passagens específicas. As passagens elegíveis podem ser processadas novamente sem custo.