Projetos de conclusão e detecção de IA: entregas em etapas, documentos compartilhados

Três coisas diferenciam um projeto de conclusão de um trabalho de disciplina, e cada uma tem sua própria consequência. Ele é enviado mais de uma vez, então seu próprio relatório intermediário pode acabar em um repositório e se tornar algo com que seu relatório final é comparado. Ele é escrito por várias pessoas, então o percentual de escrita por IA cobre um documento que ninguém escreveu sozinho e não traz coluna de autoria. E a pessoa que no fim unifica os trechos de todos em uma só voz está fazendo justamente a revisão que a própria documentação da Turnitin aponta como propensa a falsos positivos.

Nenhum dos três se resolve reescrevendo o arquivo no fim do ano. Dois deles são decididos por uma configuração que outra pessoa escolheu meses antes, e a ação útil é uma pergunta, não uma edição.

Nada aqui prevê uma pontuação. A Turnitin publica o formato do seu pipeline e um conjunto de requisitos de arquivo. Não publica limiares, e nós também não.

A Turnitin tem um recurso feito exatamente para o formato que um projeto de conclusão tem. Chama-se Multipart assignment, e a descrição no guia parece um cronograma de projeto:

"Multipart assignments let instructors connect two or more assignment parts into one larger assignment workflow. Use Multipart assignments when students need to complete a larger project in stages, such as an outline, annotated bibliography, first draft, and final draft." (Os Multipart assignments permitem que os instrutores conectem duas ou mais partes de uma tarefa em um fluxo de trabalho maior. Use Multipart assignments quando os alunos precisarem concluir um projeto maior em etapas, como um esboço, uma bibliografia comentada, um primeiro rascunho e um rascunho final.)

A frase que importa é a próxima:

"A Multipart assignment is a connected set of assignment parts. Each part has its own title, instructions, dates, settings, and submissions, but the parts are grouped together as one assignment experience." (Um Multipart assignment é um conjunto conectado de partes de tarefa. Cada parte tem seu próprio título, instruções, datas, configurações e entregas, mas as partes são agrupadas como uma única experiência de tarefa.)

Configurações próprias. Entregas próprias. E do seu lado da tela, a Turnitin diz que você não vai necessariamente notar o agrupamento: "Students see each part of a Multipart assignment as a separate assignment in their LMS or Turnitin, as they normally would." (Os alunos veem cada parte de um Multipart assignment como uma tarefa separada no LMS ou na Turnitin, como fariam normalmente.) O guia do aluno repete isso. Suas partes "appear in your assignment list as separate assignments" (aparecem na sua lista de tarefas como tarefas separadas), e "each part of a Multipart assignment has its own submission" (cada parte de um Multipart assignment tem sua própria entrega).

Então, quando você envia o relatório intermediário na semana sete e o relatório final na semana vinte e dois, são duas entregas com dois conjuntos de configurações, e não um arquivo sendo revisado. A proteção na qual as pessoas confiam, em que um reenvio substitui o anterior e os dois não são comparados entre si, é uma regra sobre reenviar para a mesma tarefa. Analisamos exatamente quando isso vale e quando não vale em meu rascunho anterior vai coincidir com meu reenvio, e a versão curta é que o caso que dói é a segunda tarefa, não o segundo envio.

Se o seu arquivo da semana sete está ou não em um repositório é uma configuração, e ela é definida dois níveis acima de você. O guia de configurações de conta da Turnitin lista o que um administrador pode delegar aos instrutores:

"Enable instructor standard repository options: Chosen instructors will be able to set the assignment option to either store student papers within the standard paper repository or not store the papers in any repository." (Habilitar opções de repositório padrão do instrutor: os instrutores escolhidos poderão definir a opção da tarefa para armazenar os trabalhos dos alunos no repositório padrão de trabalhos ou para não armazená-los em nenhum repositório.)

Com as opções ampliadas ativadas, o instrutor escolhe entre o repositório padrão e o institucional. E um administrador pode remover a escolha por completo selecionando "Submit all papers to the standard repository" (Enviar todos os trabalhos para o repositório padrão), que a mesma página descreve assim: "All student papers submitted to the account will be stored in the standard paper repository." (Todos os trabalhos de alunos enviados à conta serão armazenados no repositório padrão de trabalhos.)

Ou seja, os pontos de entrega de um mesmo módulo não precisam seguir a mesma regra, e nenhuma dessas configurações aparece na tela de envio.

Isso lhe dá uma coisa útil a fazer, e o momento é tudo: pergunte antes da entrega intermediária, não depois da final. Um único e-mail ao seu orientador perguntando se a parte intermediária armazena as entregas no repositório leva um minuto na semana seis e não tem resposta na semana vinte e três.

Mais uma coisa sobre a estrutura Multipart, já que é fácil presumir que sua instituição a tem. A Turnitin lista integrações em que ela não está disponível: Google Classroom, Sakai, Manaba, In Campus. Se o seu projeto de conclusão passa por uma delas, as partes são apenas tarefas separadas, sem nada que as conecte — o que não muda nada na questão do repositório e muda tudo na questão de o instrutor poder alternar entre suas entregas durante a correção.

Este é o modo de falha que preferimos que você evite. Um grupo vê um índice de similaridade alto no relatório final, deduz que a fonte é a própria revisão de literatura da entrega intermediária e passa uma semana reescrevendo essa revisão de literatura para que ela pare de coincidir.

Dois problemas nisso.

Primeiro, o índice de similaridade e o percentual de IA não são a mesma medição e não se afetam. A Turnitin afirma isso claramente: "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (O índice de similaridade e o percentual de detecção de escrita por IA são totalmente independentes e não influenciam um ao outro.) Uma autocorrespondência é um evento de similaridade. Não diz nada sobre um número de IA, e corrigi-lo não move esse número. Relatório de Escrita por IA x Relatório de Similaridade explica por que todas as quatro combinações de alto e baixo são possíveis.

Segundo, e esta é a parte que morde: reescrever sua própria revisão de literatura para que ela deixe de coincidir com a versão anterior empurra o texto para o perfil que a Turnitin nomeia quando descreve seus próprios falsos positivos:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (Às vezes, os falsos positivos — marcar incorretamente texto escrito por humanos como gerado por IA — podem incluir conteúdo com pouca variação estrutural, texto que se repete literalmente ou texto que foi parafraseado sem desenvolver novas ideias.)

A frase imediatamente seguinte é a que você deve guardar:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (Se o nosso indicador mostrar uma quantidade maior de escrita por IA nesse tipo de texto, recomendamos que você leve isso em consideração ao analisar o percentual indicado.)

Uma revisão de literatura reescrita apenas para deixar de parecer com sua versão anterior, sem nenhuma nova leitura por trás da reescrita, fica perto de um item específico daquela frase: texto parafraseado sem que novas ideias se desenvolvam por trás. Você estaria trocando um número de similaridade que tem solução do lado do instrutor por um perfil de texto que não tem.

A solução do lado do instrutor é a resposta real aqui. Excluir suas entregas anteriores do relatório é um controle que o instrutor tem e você não.

O mecanismo explica por que um documento de grupo se comporta como se comporta. A descrição da Turnitin é mais ou menos assim. A entrega é dividida em seções sobrepostas. Cada seção recebe uma probabilidade entre zero e um. Uma frase elegível recebe a pontuação das seções que a cobrem, várias pontuações são reunidas em uma só, e esses valores são agregados de baixo para cima até sair um único número para o documento.

Lido como um pipeline, uma coisa fica óbvia. Em nenhum ponto há um campo para quem digitou o trecho. O documento é a unidade. Entram cinco autores e sai um percentual, e esse percentual não pode ser dividido de volta entre eles. A versão geral desse problema, para quem já está no meio dele, está em trabalho em grupo marcado por IA sem que você tenha usado IA.

Mas há uma coisa no relatório que tem uma dimensão que a pontuação não tem. Os destaques têm posição. Uma passagem destacada está em uma página, em uma seção, sob um título, e sua equipe sabe quem escreveu aquele título.

Isso só ajuda se duas condições valerem. Você precisa do relatório, que não consegue obter sozinho, porque a Turnitin diz que "The AI writing detection indicator and report are not visible to students" (o indicador e o relatório de detecção de escrita por IA não ficam visíveis para os alunos) e depois diz que "with the PDF download feature, instructors can download and share the AI report with students" (com o recurso de download em PDF, os instrutores podem baixar e compartilhar o relatório de IA com os alunos). Portanto, o pedido é pelo PDF, não por uma captura de tela de um número. Como ler um relatório de escrita por IA da Turnitin explica o que você está vendo quando o tiver.

E você precisa de um registro de quem escreveu o quê, feito na época. Uma tabela de responsabilidade por seção, com datas, escrita na semana dois e atualizada conforme as seções mudam de lugar, é tediosa e leva dez minutos por semestre. Montada na semana vinte e três, sob pressão, a mesma tabela é um documento criado depois da acusação, e todos na sala sabem disso.

A Turnitin analisa apenas o que chama de texto elegível, que define como frases de prosa escritas em sentenças gramaticais padrão, dentro de um texto de formato longo. Também afirma que o percentual "is not necessarily the percentage of the entire submission" (não é necessariamente o percentual de toda a entrega). A versão completa dessa definição, com as exclusões, está em o que é texto elegível na Turnitin.

Agora pense em do que um relatório de conclusão é feito na prática. Tabelas de requisitos. Procedimentos de teste numerados. Listagens de código. Legendas de figuras. Um gráfico de Gantt. Roteiros de entrevista em apêndice. Muito pouco disso são parágrafos de frases.

O que deixa o contexto, a revisão de literatura, a discussão e a conclusão carregando quase toda a medição.

Eis por que isso é um problema de grupo e não de formatação. Na maioria das equipes, essas quatro seções não são distribuídas de forma equilibrada. Elas caem para quem escreve inglês com fluência, ou para quem se ofereceu para as "partes de redação" enquanto outros construíam o artefato. Assim, o percentual do documento é calculado quase inteiramente sobre o texto escrito por uma ou duas pessoas, e depois informado como uma propriedade de um documento com cinco nomes.

Vale saber antes da reunião, porque a primeira pergunta naquela sala costuma ser "quem escreveu isto", e a resposta honesta para as partes que geraram o número pode ser mais curta que a lista de autores.

Todo documento de grupo tem uma. A pessoa que pega cinco arquivos na semana anterior ao prazo e faz todos parecerem um único documento.

Parte do que essa pessoa faz é necessária e não traz risco nenhum. Padronizar os termos definidos, para que um "participante" na seção três não seja um "respondente" na seção cinco. Corrigir o tempo verbal na metodologia. Renumerar as figuras depois que alguém inseriu uma. Colocar todas as citações em um único estilo. Alinhar os níveis de título. Nada disso toca a forma das frases de ninguém.

A parte que exige cuidado é a revisão em que alguém alisa o documento inteiro até virar uma única voz, porque as emendas estão visíveis.

Volte à lista que a Turnitin dá para falsos positivos. Conteúdo com pouca variação estrutural é o primeiro item. Um documento escrito por cinco pessoas tem variação estrutural por construção, e tem essa variação porque cinco pessoas o escreveram. Uma revisão que alisa a voz é uma revisão que remove essa variação.

Então, a versão prática: harmonize a terminologia, a formatação e as referências, e deixe o ritmo das frases em paz. Um relatório de conclusão pode soar como se tivesse sido escrito por uma equipe, porque foi. As emendas não são um defeito que um avaliador vai punir, e o esforço para escondê-las é gasto na única dimensão que você prefere manter.

Se o documento vive em um editor compartilhado, há um segundo motivo para segurar a mão. Qualquer registro que o editor mantenha sobre quem escreveu qual seção deixa de ser útil no momento em que uma pessoa edita todos os parágrafos. Nosso passo a passo, ferramenta por ferramenta, do que esses registros realmente guardam está em como manter o histórico de versões no Word, no Google Docs e no Overleaf.

Projetos de conclusão com um parceiro externo — uma empresa, um hospital, uma prefeitura — acrescentam um leitor que está fora de todos os sistemas descritos acima. Isso gera três coisas específicas que vale resolver cedo.

Ninguém nessa conversa tem o relatório. Os alunos não conseguem ver o indicador de escrita por IA. Ninguém de fora da instituição consegue. Se um parceiro perguntar se o relatório passou por verificação de IA e o que ela disse, o único caminho até uma resposta é o seu instrutor baixar o PDF. Pergunte pela universidade, não contornando a universidade.

O arquivo que você entrega ao parceiro pode não ser o arquivo que você envia. As versões de entrega costumam remover as seções reflexivas e os apêndices de critérios de avaliação, ou acrescentar material que a universidade nunca vê. Dois arquivos, duas contagens de palavras. Isso importa em um limite específico: a Turnitin não gera relatório de escrita por IA para uma entrega acima de 30.000 palavras, e um relatório de conclusão compilado com apêndices chega perto dessa linha com mais frequência do que se imagina. Uma entrega fora dos requisitos de arquivo não volta limpa, volta sem processamento, e explicamos a diferença em a Turnitin pode verificar uma tese inteira.

Se o material do projeto é confidencial, a questão do repositório deixa de ser administrativa. Se a sua entrega é armazenada é a configuração citada antes, e ela pode ser definida para que os instrutores escolham por tarefa ou para que todos os trabalhos da conta sejam armazenados independentemente de escolha. A remoção posterior não é algo que você faça. A Turnitin descreve isso como um pedido que sobe: "instructors have the ability to request the deletion of any submissions in their assignments. Administrators can approve or reject requests." (os instrutores podem solicitar a exclusão de qualquer entrega nas suas tarefas; os administradores podem aprovar ou rejeitar essas solicitações.) Então, se os dados do parceiro estão nos seus apêndices, essa é uma conversa com seu orientador antes do primeiro envio, não um formulário depois do último.

Não podemos dizer o que a organização parceira vai exigir ou aceitar. Ninguém pode, e quem publica uma resposta confiante sobre isso está chutando por você. O que é possível saber é o lado da universidade, e o lado da universidade é um conjunto de chaves com nome.

Todas as citações acima vêm das próprias páginas de ajuda da Turnitin, portanto valem para instituições que usam a Turnitin e para mais ninguém. Se a sua usa outra coisa, o que transfere não é o vocabulário do fornecedor. São três perguntas, e cabem em um e-mail para um orientador ou para um administrador do programa:

• Cada ponto de entrega deste módulo é um depósito separado ou são versões de uma mesma coisa?
• Quem decide se uma entrega é armazenada, e em que nível essa decisão é tomada?
• Se algo precisar ser retirado depois, qual é o processo e quem aprova?

Todo sistema tem uma resposta para essas três, sob algum outro conjunto de nomes. O que dá errado quase nunca é você não saber como um recurso se chama. É você ter presumido que várias entregas eram um único evento.

Tudo isso é barato no início de um projeto de conclusão e impossível no fim.

• Pergunte quais partes armazenam entregas. Um e-mail ao orientador cobrindo todos os pontos de entrega do módulo, enviado antes do primeiro.
• Mantenha uma tabela de responsabilidade por seção. Seção, responsável, data de início, data da última alteração substancial. Na unidade compartilhada, atualizada ao longo do caminho, não reconstruída depois.
• Combine quem é o dono do documento compartilhado. Na maioria dos editores colaborativos, quem criou o arquivo tem poderes sobre o histórico que os outros não têm.
• Nomeie uma versão em cada marco. Chame como seu editor chamar: uma versão rotulada com data e uma observação de duas palavras vale mais do que cem automáticas.
• Decida as regras de harmonização antes da última semana. Lista de terminologia, estilo de citação, numeração de figuras, níveis de título. Escreva tudo na semana dois e ninguém precisa alisar nada na semana vinte e dois.
• Descubra se sua entrega final passa de 30.000 palavras com antecedência suficiente para dividi-la, em vez de descobrir um relatório sem processamento na véspera.

Se você já passou do ponto em que isso é um conselho preventivo, marcado, mas foi você quem escreveu explica como montar uma resposta; e se o seu módulo usa o espaço de escrita no navegador da Turnitin em vez de envio de arquivos, o que esse espaço registra é um assunto totalmente separado, tratado em o que o Turnitin Clarity registra.

Uma reescrita não responde a nenhum dos três problemas acima. Não pode mudar qual tarefa armazenou seu relatório intermediário, não pode acrescentar uma coluna de autoria a um percentual e não substitui o registro de como o documento foi construído.

Onde ela tem lugar é estreito e específico: você tem o relatório em PDF, algumas passagens estão destacadas e quer revisar essas passagens sem tocar no resto de um documento que outras quatro pessoas escreveram e conferiram. Essa última parte é a restrição que torna os documentos de grupo diferentes. Tudo o que uma ferramenta reescreve precisa ser conferido por um humano antes de voltar para o documento, e num projeto de conclusão esse humano muitas vezes não é quem rodou a ferramenta.

Essa restrição é o que dá forma à ferramenta HumanPen. Você envia o documento junto com o relatório, os destaques do relatório definem o escopo, e tudo o que eles não cobriram volta exatamente como foi escrito. O parágrafo é a menor unidade que ela toca, então uma correspondência parcial é expandida para o parágrafo inteiro e mostrada a você antes de qualquer coisa rodar. A cobrança segue as palavras efetivamente reescritas, e não o tamanho do arquivo. Passagens elegíveis podem ser reprocessadas sem custo.

Isso é uma afirmação sobre escopo e custo. Não é uma afirmação sobre o que seu próximo relatório vai dizer, e não fazemos esse tipo de afirmação. Num documento com cinco autores, a propriedade útil é a lista curta de parágrafos que sua equipe precisa reler antes de devolver o texto.

O percentual de IA diz ao meu orientador qual de nós usou IA? Não. A própria descrição do mecanismo pela Turnitin não tem campo de autor: a entrega é segmentada, cada segmento recebe uma pontuação, e os resultados são reunidos e agregados em um número do documento. Os destaques têm posição no documento, que é a única coisa no relatório que pode ser ligada a uma pessoa, e só se sua equipe já souber quem escreveu o quê.

Meu relatório intermediário e meu relatório final estão ambos no sistema. Isso é um problema? É uma questão de similaridade, não de IA, e a resposta depende de a entrega intermediária ter sido armazenada. Essa é uma configuração de tarefa que seu instrutor controla, escolhida entre as opções que seu administrador habilitou. Pergunte antes de a entrega intermediária entrar e, se uma autocorrespondência já aconteceu, leve o caso ao seu instrutor, já que excluir entregas anteriores é um controle do lado dele no relatório.

Nosso relatório final tem 45.000 palavras com apêndices. O que acontece? Os requisitos de arquivo da Turnitin dizem que uma entrega não pode passar de 30.000 palavras para que um relatório de escrita por IA seja gerado. Acima do limite não há percentual, e o indicador mostra que não foi possível processar a entrega, em vez de mostrar um resultado limpo.

Uma pessoa editou o documento inteiro no fim para deixá-lo consistente. Isso foi um erro? Não automaticamente, e não para as partes sobre terminologia, referências e formatação. A parte que exige cuidado é alisar as frases de todos até virarem uma única voz, porque "content without a lot of structural variation" (conteúdo com pouca variação estrutural) é o primeiro item na própria lista da Turnitin do que pode gerar falsos positivos, e um documento escrito por cinco pessoas já começa com essa variação de graça.

Posso mostrar um histórico de versões em vez de discutir a pontuação? Pode, e é razoável levar, mas isso não resolve nada sozinho. A Turnitin diz que sua própria pontuação "should not be used as the sole basis for adverse actions against a student" (não deve ser usada como única base para medidas adversas contra um aluno) e a descreve em outro lugar como "a single data point rather than a definitive response" (um dado isolado, e não uma resposta definitiva). Seu histórico de versões é outro dado no mesmo sentido. O peso que cada um tem é decisão da sua instituição, estabelecida no seu procedimento de integridade acadêmica, e esse é o documento a ler.