A intelixencia artificial de ChatGPT obtén un 8,36 nas probas da ABAU

Varios profesores do instituto de ensino secundario (IES) Virgen del Carmen de Xaén probaron a capacidade da intelixencia artificial de ChatGPT someténdoa aos exames da avaliación do bacharelato para o acceso á universidade (ABAU), nos que obtivo como media unha puntuación de 8,36 sobre 14.

Juan de Deus Marín, profesor de Márketing do IES e promotor do estudo, explicou que esta idea xurdiu ante a democratización do uso desta intelixencia artificial, para comprobar a súa utilidade e as fontes das que se serve para elaborar unha información antes de que os alumnos empecen a experimentar sós con ela.

O grupo de profesores decidiu realizar esta investigación para avaliar a capacidade desta intelixencia artificial para resolver exames de acceso á universidade.

O ChatGPT tivo que responder a preguntas reais e próximas no tempo e ante a presenza dos profesores que participaron no tribunal da última ABAU sobre seis materias diferentes: Inglés, Matemáticas Aplicadas, Lingua Castelá, Historia de España, Economía da Empresa e Filosofía.

Carece de linguaxe técnica,  de pensamento crítico e de opinión persoal

Coa nota de corte, un 8,36 sobre 14, podería acceder a carreiras como Física, Química, Bioloxía, Dereito ou Administración e Dirección de Empresas (EADE).

O profesor Marín explicou que os resultados logrados seguiron os criterios de avaliación dos exames da ABAU de 2022 da Universidade de Xaén, aos que non tiña acceso a IA, "xa que ChatGPT está adestrada ata o 2021”.

O ChatGPT superou a ABAU, “coas súas luces e as súas sombras”, cunha puntuación de 9 en Inglés, “o que indica que ten un coñecemento sólido da gramática e a sintaxe do idioma”, aseguran os profesores.

Con todo, nas outras materias, as puntuacións foron moito máis baixas, cunha cualificación de 2,5 en Matemáticas Aplicadas; 2,75 en Química; 6 en Lingua Castelá; 4 en Historia de España; 5,5 en Economía da empresa; e 5,5 en Filosofía, mentres que en Bioloxía foi un 8,8.

Marín considera que "como o chat está pensado para desenvolver unha conversación cunha persoa as notas foron mellores en materias de letras", pero en cambio "non está preparado para realizar representacións gráficas, por iso é polo que suspendeu Matemáticas.

Malia que ChatGPT demostrou ter un bo coñecemento da gramática e a sintaxe, os profesores que participaron na corrección concluíron que as respostas da IA eran superficiais, carentes de profundidade e sen citar as súas fontes.

ChatGPT non utilizou unha linguaxe técnica e tratou os temas de maneira demasiado xeral, sen mostrar un pensamento crítico nin unha opinión persoal, nalgúns casos, mesmo pareceu inventar resultados para facer as súas respostas máis coherentes.

“É importante destacar que a ChatGPT só se lle proporcionaron as preguntas, sen ningún tipo de contexto ou información adicional. Isto pode influír na súa capacidade para responder con profundidade e, por tanto, nos seus resultados” sinalou Marín, quen cre que se lle deran un contexto, por exemplo comunicar que está a realizar un exame de Química, atoparía máis datos.

Os profesores entenden que a investigación demostra que, a pesar do grande avance da intelixencia artificial, "aínda hai moito por facer antes de que as máquinas poidan competir cos seres humanos en termos de coñecemento e pensamento crítico".