ИИ contra la mente: lo que dijo la prueba ARC-AGI sobre el futuro

La prueba para evaluar la Inteligencia Artificial General (AGI), desarrollada en 2019 por François Chollet, llevó a importantes conclusiones sobre las limitaciones de la tecnología. Los creadores de la prueba afirman que los resultados reflejan más bien las deficiencias que un verdadero avance en las investigaciones sobre AGI.

La prueba ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence) fue concebida como una herramienta para evaluar la capacidad de la IA de adquirir nuevas habilidades fuera de los datos de entrenamiento.

Hasta 2024, los mejores modelos de IA lograron resolver menos de un tercio de las tareas de ARC-AGI. Chollet criticó el enfoque de la industria en los grandes modelos de lenguaje (LLM), argumentando que estos no son capaces de realizar un "razonamiento" auténtico. Según las palabras de Chollet, los modelos LLM se basan exclusivamente en la memorización, lo que los hace vulnerables frente a tareas que exceden su conjunto de datos de entrenamiento.

Para fomentar investigaciones que trasciendan los LLM, Chollet, junto con Mike Knoop, cofundador de Zapier, anunciaron en junio de 2024 un concurso con un premio de $1 millón para crear un sistema de IA abierto capaz de superar la prueba ARC-AGI. El mejor resultado del concurso fue del 55,5%, casi un 20% superior al récord anterior, pero aún lejos del umbral del 85%, considerado "nivel humano" y necesario para ganar.

Como señaló Knoop en su blog, estos logros no indican un progreso significativo hacia la creación de AGI. Muchas de las propuestas del concurso utilizaron un enfoque de "fuerza bruta" para encontrar soluciones, lo que pone en duda el valor de las tareas de ARC-AGI como herramienta para evaluar la inteligencia general.

ARC-AGI incluye tareas en las que la IA debe generar respuestas correctas en forma de cuadrículas compuestas por cuadrados de colores. Las tareas están diseñadas para evaluar la capacidad de adaptarse a nuevos problemas. Sin embargo, la eficacia de este enfoque ha sido cuestionada.

Cuadrícula de respuestas generadas por ARC-AGI ( arcprize.org )

Los creadores de la prueba reconocen sus imperfecciones. Según Knoop, la prueba no ha cambiado desde su creación, y su crítica como herramienta para alcanzar la AGI sigue creciendo. Además, la misma noción de AGI genera debates: algunos expertos consideran que ya se ha alcanzado si se interpreta como la capacidad de la IA para superar a los humanos en la mayoría de las tareas.

Los especialistas planean presentar una segunda versión de la prueba ARC-AGI en 2025, cuyo objetivo principal es orientar los esfuerzos de la comunidad investigadora hacia la solución de problemas clave en el campo de la IA y acelerar la llegada de la AGI.