Há muita confusão em torno da pontuação de similaridade da Turnitin. Qual é a porcentagem certa? Esta porcentagem é muito alta? É muito baixa? Em última instância, a decisão é de cada professor. Neste artigo, queremos fornecer alguns insights para ajudar os professores a tomarem decisões com propriedade sobre a pontuação de similaridade. Algo que pode auxiliar na clareza da porcentagem apontada é detalhar como o Relatório de Similaridade é criado - e também algumas dicas para ir além do percentual e avaliar as ricas informações contidas no Relatório de Similaridade.
Assista ainda neste link ao webinar realizado em fevereiro de 2022, que debateu como interpretar um Relatório de Similaridade e abordou tópicos como:
- Os diferentes tipos de plágio que podem ser identificados no Relatório de Similaridade.
- Por que uma porcentagem alta não significa necessariamente que ocorreu plágio.
- Promover o respeito pela propriedade intelectual e reforçar o valor do trabalho original em sala de aula.
- Utilizar o Relatório de Similaridade como ferramenta de avaliação formativa
Como a Turnitin encontra Similaridade de Texto?
Quando o aluno submete seu documento, as coisas começam a ficar interessantes do ponto de vista de programação. Em questão de milissegundos, a Turnitin faz algo incrível com o documento. Primeiramente, todas as palavras são separadas em frases e as palavras comuns (como “e”,”ou”, “o”, “a”, “os”, “as”, etc) são removidas. Cada frase é armazenada com o seu ID único, como uma “impressão digital”. Então comparamos estes IDs das frases com o nosso banco de dados de conteúdo para determinar se há alguma correspondência.
Nosso banco de dados de conteúdo inclui mais de 1,2 bilhões de submissões de alunos, 70 bilhões de páginas de internet atuais e arquivadas e 180 milhões de artigos das principais publicações e fontes acadêmicas. A amplitude e a profundidade do conteúdo da Turnitin continua crescendo em milhões, todos os dias.
Cada documento enviado pode conter até 80.000 IDs de frases; cada ID é comparado com 7 trilhões de possíveis frases correspondentes do banco de dados de conteúdo. Se o software da Turnitin detectar possíveis correspondências, ele então aplicará o processamento de linguagem natural e heurística de correspondência estrita, para limitar o número de falsos positivos e gerar o relatório mais preciso possível. Existem algumas outras ações sofisticadas que são tomadas em conjunto como, por exemplo, procurar por texto oculto ou caracteres substituídos para melhorar os resultados mas, vamos nos ater ao simples, por ora.
Dentro de 10 segundos, todo o processo acima acontece, resultando em um Relatório de Similaridade.
(Nota curiosa: A Turnitin gera em torno de 20 relatórios por segundo. E nos dias com mais demanda, pode receber mais de 1 milhão de submissões!)
Como Avaliar o Relatório de Similaridade
No fim das contas, o Relatório de Similaridade fornece informações sobre todas as fontes onde a Turnitin encontrou correspondência de frase/ texto para o professor. Cada correspondência é destacada e associada com a fonte mais relevante/importante. Como você deve imaginar, com um banco de dados de conteúdo tão extenso sendo comparado com qualquer possível correspondência, podem haver várias fontes. Então, para cada correspondência, determinamos qual fonte é a mais importante ou significativa e a citamos como a fonte primária. Por esta razão, mesmo que os professores escolham excluir aquela fonte, pode haver uma outra com a correspondência - desta forma, o resultado da sua pontuação de similaridade pode não mudar.
Então, como recomendamos a avaliação das semelhanças contidas no Relatório de Similaridade? Primeiro, esteja ciente que existem opções para refinar as similaridades que você vê. Você pode escolher remover citações, bibliografias, pequenas correspondências abaixo de um certo número de palavras, fontes ou mesmo bancos de dados inteiros. Por exemplo, se você não quer comparar com submissões de outros alunos, como professor, você pode excluir o repositório de trabalhos enviados.
Os professores também podem optar por excluir uma correspondência de texto específica e comunicar a Turnitin sobre o porquê de não ser uma correspondência válida. Usaremos este dado para treinar o nosso algoritmo, para torná-lo melhor e produzir melhores resultados de similaridade.
Todas essas exclusões podem ser aplicadas antes do relatório de similaridade ser executado, bem como enquanto você estiver usando o relatório. Se você quiser salvar as suas exclusões, você pode imprimir ou fazer um PDF do seu relatório e as mudanças dinâmicas serão capturadas.
Usar essas exclusões pode ajudá-lo a restringir as semelhanças mais importantes e a identificar onde pode haver apenas erros de citação, assim é possível fornecer as diretrizes e o feedback necessários para o aluno. Dependendo do que você deseja avaliar, o relatório de similaridade pode ajudá-lo a definir onde você deve se concentrar.
A pontuação de similaridade é simplesmente um reflexo da porcentagem de palavras similares. A força do relatório de similaridade, entretanto, é ajudar os professores a identificarem problemas, enfocarem em áreas de excelência ou crescimento, e guiarem o feedback para ajudar seus alunos a melhorarem a escrita e manterem a integridade no centro de todo o trabalho. Acesse esse link e saiba mais fazendo o download do infográfico sobre a interpretação do relatório de Similaridade da Turnitin.