Cuando se le pidió al bot viral ChatGPT impulsado por Inteligencia Artificial (IA) que resolviera preguntas de los exámenes de sexto grado de Singapur, fracasó estrepitosamente.
PUBLICIDAD
Durante un experimento en febrero, el medio de noticias singapurense The Straits Times le pidió a ChatGPT que respondiera preguntas del examen de finalización de la escuela primaria. El PSLE es un examen que deben realizar todos los niños de 12 años en Singapur y determina a qué escuela secundaria asistirán.
ChatGPT recibió preguntas de los artículos de PSLE de 2020, 2021 y 2022 sobre matemáticas, ciencias e inglés.
¿Qué obtuvo el medio en el experimento?
Obtuvo un promedio de 16 de 100 puntos en los tres trabajos de matemáticas que tomó, según The Straits Times. Durante la prueba, no pudo entender ni responder ninguna pregunta que hiciera referencia a diagramas o gráficos, y recibió cero puntos en estas preguntas.
Pero ChatGPT también cometió errores con preguntas simples basadas en texto. Cuando se le preguntó por la suma de 60.000, 5.000, 400 y 3, dijo que la respuesta era 65.503, informó The Straits Times.
La respuesta correcta es 65.403.
El ChatGPT le fue mejor en preguntas científicas y otros idiomas
A ChatGPT le fue un poco mejor en los artículos científicos, obteniendo un promedio de 21 de 100 puntos. Cuando se probó ChatGPT en dos preguntas científicas de PSLE, una de 2020 y otra de 2022, acertó en ambas preguntas.
PUBLICIDAD
ChatGPT logró pasar las pruebas de inglés y obtuvo un promedio de 11 de 20 puntos en los tres exámenes que tomó, informó The Straits Times. Durante la prueba de inglés, ChatGPT todavía tuvo problemas, esta vez, con preguntas que contenían palabras que tienen múltiples significados.
Un ejemplo citado por The Straits Times fue la palabra “valor”. ChatGPT ignoró el contexto de la pregunta, donde “valor” se refería a los principios morales de uno, y respondió como si significara valor monetario.
¿Quién desarrollo ChatGPT?
ChatGPT fue desarrollado por la empresa de inteligencia artificial OpenAI y lanzado en noviembre. Tenía 100 millones de usuarios a fines de enero.
La incapacidad del bot para aprobar los exámenes de sexto grado de Singapur es sorprendente: logró aprobar un examen final en la escuela de negocios de Wharton, aprobó las pruebas en cuatro cursos de la facultad de derecho y aprobó cómodamente un examen de licencia médica de EE. UU.
Las universidades ahora están renovando los exámenes debido a la preocupación de que los bots de IA puedan usarse para hacer trampa. Este giro en las pruebas implica más exámenes orales, trabajo en grupo y evaluaciones escritas a mano en lugar de presentaciones mecanografiadas, según The Times.
