Em janeiro, mostramos em primeira mão o que nossa tecnologia de IA pode fazer. Em fevereiro, lançamos uma página de recursos de escrita por IA para facilitar o acompanhamento de nosso progresso enquanto compartilhamos informações e fornecemos acesso a recursos pedagógicos, postagens de blog focadas em escrita por IA, cobertura da mídia, e muito mais.
Percorremos um longo caminho desde então. Continuando com o tema de compartilhar atualizações sobre o desempenho de nossa tecnologia de detecção de escrita por IA em nosso AI Innovation Lab, gostaríamos de dividir algumas informações sobre como nosso modelo lida com falsos positivos e o que constitui um falso positivo.
Mas primeiro, vamos entender o que significa um falso positivo na detecção de escrita por IA. O termo refere-se à identificação incorreta de texto totalmente escrito por humanos como gerado por IA.
Primeiramente, é importante enfatizar que a detecção de escrita por IA da Turnitin se concentra na precisão – se dissermos que há escrita por IA, temos certeza de que existe. Nossos esforços têm sido principalmente em garantir uma alta taxa de precisão acompanhada por uma taxa de falsos positivos inferior a 1%, para garantir que os alunos não sejam falsamente acusados de qualquer má conduta acadêmica.
No entanto, queremos reconhecer que ainda existe um pequeno risco de falsos positivos. Assista a este breve vídeo onde David Adamson, cientista de IA da Turnitin e ex-professor do Ensino Médio, explica mais sobre falsos positivos e onde podemos errar.
Gostaríamos de enfatizar também que a Turnitin não faz uma determinação de má conduta, mesmo no espaço de similaridade de texto; ao invés disso, fornecemos dados para que os professores tomem uma decisão pautada e com base em suas políticas acadêmicas e institucionais. O mesmo acontece para nossa detecção de escrita por IA - como nossa taxa de falsos positivos não é zero, você, como professor, precisará aplicar seu julgamento profissional, conhecimento de seus alunos e o contexto específico em torno de determinada tarefa.
A tomada dessa decisão deve incluir o alinhamento com as políticas institucionais, as expectativas que você definiu para seu curso, ou tarefa, e uma compreensão exata do que você está buscando avaliar por ela.
Sabemos que as discussões sobre Integridade Acadêmica, em geral, podem ser desafiadoras, e a introdução repentina de novas variáveis, como ferramentas de escrita por IA e a possibilidade de falsos positivos, não tornará isso mais fácil. Para apoiá-lo nessas situações, queremos fornecer algumas dicas gerais e pedir que você retorne ao nosso blog nas próximas semanas, pois nos aprofundaremos nesta temática de como professores e alunos devem conduzir essas conversas.
As três principais dicas para lidar com falsos positivos:
- Tenha o conhecimento antes de ir em frente - certifique-se de considerar a possibilidade de um falso positivo antecipadamente e tenha um plano para qual será seu processo e abordagem para determinar o resultado. Melhor ainda, comunique isso aos alunos para que você tenha um conjunto compartilhado de expectativas.
- Assuma uma intenção positiva - neste espaço que é tão novo e desconhecido, dê aos alunos o benefício da dúvida. Se a evidência não for clara, assuma que os alunos agiram com integridade.
- Seja aberto e honesto – é importante reconhecer que podem haver falsos positivos antecipadamente, então tanto o professor quanto o aluno devem estar preparados para ter um diálogo aberto e honesto. Se você não reconhecer que um falso positivo pode ocorrer, isso levará a uma interação muito mais defensiva e de confronto que pode acabar prejudicando o seu relacionamento com os alunos.
Precisa de dicas sobre como você, como educador, pode responder proativamente ao uso de ferramentas de escrita por IA em sua sala de aula? Leia nossa postagem no blog sobre maneiras de preparar trabalhos de dissertação na era da IA.