Pesquisadores comparam o progresso em matemática de quase 1.000 alunos do ensino médio.
Postagem original: Kids who use ChatGPT as a study assistant do worse on test
Destaques
- É importante ler o texto completo depois para entender o tamanho do problema!
- O uso do ChatGPT por alunos do ensino médio durante a resolução de problemas práticos de matemática resultou em um desempenho pior em testes sobre o conteúdo aprendido, em comparação com alunos que não usaram o ChatGPT.
- Uma versão revisada do ChatGPT, projetada para funcionar como um tutor e fornecer dicas sem revelar diretamente as respostas, ajudou os alunos a resolver mais problemas práticos corretamente. No entanto, esses alunos não se saíram melhor nos testes posteriores em comparação com os alunos que resolveram os problemas sem assistência tecnológica.
- O problema é que os alunos estão usando o ChatGPT como uma “muleta”, simplesmente pedindo as respostas, em vez de desenvolver as habilidades necessárias para resolver os problemas por conta própria.
- O ChatGPT também parece gerar excesso de confiança nos alunos, que acham que aprenderam mais do que realmente aprenderam.
Pesquisadores da Universidade da Pensilvânia descobriram que os alunos turcos do ensino médio que tiveram acesso ao ChatGPT enquanto resolviam problemas práticos de matemática saíram pior em um teste de matemática em comparação com os alunos que não tiveram acesso ao ChatGPT. Os alunos que usaram o ChatGPT resolveram 48% mais problemas práticos corretamente, mas tiveram uma pontuação 17% pior em um teste sobre o tópico que os alunos estavam aprendendo.
Um terceiro grupo de alunos teve acesso a uma versão revisada do ChatGPT que funcionava mais como um tutor. Esse chatbot foi programado para dar dicas sem divulgar diretamente a resposta. Os alunos que o utilizaram se saíram espetacularmente melhor nos problemas práticos, resolvendo 127% a mais deles corretamente em comparação com os alunos que fizeram o trabalho prático sem nenhum auxílio de alta tecnologia. Porém, em um teste posterior, esses alunos orientados por IA não se saíram melhor. Os alunos que fizeram os problemas práticos à moda antiga, por conta própria, obtiveram as mesmas pontuações nos testes.
Os pesquisadores intitularam seu artigo “Generative AI Can Harm Learning” (IA generativa pode prejudicar o aprendizado) para deixar claro para pais e educadores que a atual safra de chatbots de IA disponíveis gratuitamente pode “inibir substancialmente o aprendizado”. Até mesmo uma versão bem ajustada do ChatGPT projetada para imitar um tutor não ajuda necessariamente.
Os pesquisadores acreditam que o problema é que os alunos estão usando o chatbot como uma “muleta”. Quando eles analisaram as perguntas que os alunos digitaram no ChatGPT, muitas vezes eles simplesmente pediam a resposta. Os alunos não estavam desenvolvendo as habilidades que resultam da resolução dos problemas por conta própria.
Os erros do ChatGPT também podem ter sido um fator contribuinte. O chatbot só respondeu corretamente aos problemas de matemática na metade das vezes. Seus cálculos aritméticos estavam errados em 8% das vezes, mas o maior problema foi que sua abordagem passo a passo de como resolver um problema estava errada em 42% das vezes. A versão de tutoria do ChatGPT foi alimentada diretamente com as soluções corretas e esses erros foram minimizados.
Uma versão preliminar do artigo sobre o experimento foi publicada no site da SSRN, anteriormente conhecida como Social Science Research Network, em julho de 2024. O artigo ainda não foi publicado em um periódico revisado por pares e ainda pode ser revisado.
Este é apenas um experimento em outro país, e serão necessários mais estudos para confirmar suas descobertas. Mas esse experimento foi grande, envolvendo quase mil alunos da 9ª à 11ª série durante o outono de 2023. Primeiro, os professores revisaram uma lição ensinada anteriormente com toda a sala de aula e, em seguida, suas salas de aula foram designadas aleatoriamente para praticar a matemática de uma das três maneiras: com acesso ao ChatGPT, com acesso a um tutor de IA com tecnologia do ChatGPT ou sem nenhum auxílio de alta tecnologia. Os alunos de cada série receberam os mesmos problemas de prática com ou sem IA. Em seguida, eles fizeram um teste para verificar se haviam aprendido bem o conceito. Os pesquisadores realizaram quatro ciclos desse tipo, dando aos alunos quatro sessões de 90 minutos de tempo de prática em quatro tópicos diferentes de matemática para entender se a IA tende a ajudar, prejudicar ou não fazer nada.
O ChatGPT também parece produzir excesso de confiança. Nas pesquisas que acompanharam o experimento, os alunos disseram que não achavam que o ChatGPT os fez aprender menos, embora tivessem aprendido. Os alunos com o tutor de IA achavam que tinham se saído significativamente melhor no teste, embora não tivessem se saído. (Esse também é outro bom lembrete para todos nós de que nossas percepções sobre o quanto aprendemos muitas vezes estão erradas).
Os autores compararam o problema do aprendizado com ChatGPT ao piloto automático. Eles contaram como o excesso de confiança no piloto automático levou a Administração Federal de Aviação a recomendar que os pilotos minimizassem o uso dessa tecnologia. Os reguladores queriam ter certeza de que os pilotos ainda saberiam como voar quando o piloto automático não funcionasse corretamente.
O ChatGPT não é a primeira tecnologia a apresentar uma compensação na educação. As máquinas de escrever e os computadores reduzem a necessidade de escrever à mão. As calculadoras reduzem a necessidade de aritmética. Quando os alunos têm acesso ao ChatGPT, eles podem responder a mais problemas corretamente, mas aprendem menos. Obter o resultado correto em um problema não os ajudará no próximo.
