Los principales chatbots presentan indicios de trastornos cognitivos.
Un nuevo estudio ha revelado que los chatbots más populares muestran señales de deterioro cognitivo leve en pruebas diseñadas para detectar demencia. Las versiones más antiguas de estos modelos obtienen peores resultados, lo que recuerda los cambios asociados con el envejecimiento humano.
Los investigadores evaluaron las capacidades cognitivas de los modelos lingüísticos más destacados, incluidos GPT-4 y GPT-4o de OpenAI, Claude 3.5 de Anthropic y las versiones 1.0 y 1.5 de Gemini, desarrolladas por Alphabet. Para el análisis, se utilizó el Test Cognitivo de Montreal (MoCA), una herramienta empleada habitualmente para identificar alteraciones cognitivas y señales tempranas de demencia en personas mayores.
La prueba evalúa habilidades como la atención, la memoria, las competencias lingüísticas, las capacidades visoespaciales y las funciones ejecutivas. La puntuación máxima es de 30 puntos, siendo 26 o más un resultado considerado normal. Los resultados fueron interpretados por un neurólogo en ejercicio.
El mejor desempeño lo obtuvo el modelo GPT-4o, con 26 puntos sobre 30. GPT-4 y Claude alcanzaron 25 puntos cada uno. La puntuación más baja fue la de Gemini 1.0, con solo 16 puntos sobre 30 posibles.
Todos los chatbots demostraron dificultades significativas en tareas relacionadas con habilidades visoespaciales y funciones ejecutivas. En particular, presentaron problemas con el ejercicio de conectar secuencias de números y letras en orden ascendente, así como con la prueba de dibujo de un reloj. Además, los modelos Gemini fallaron en la tarea de recordar una secuencia de cinco palabras tras un intervalo.
Los autores del estudio señalan que, a pesar de los avances de la inteligencia artificial en el ámbito del diagnóstico médico, las deficiencias detectadas evidencian limitaciones importantes para el uso de chatbots en la práctica clínica. Esto pone en duda las suposiciones sobre una inminente sustitución de médicos por inteligencia artificial.