Doble juego de Claude: el modelo finge resolver tareas según las reglas

La empresa Anthropic presentó los resultados de dos nuevas investigaciones que permiten rastrear y analizar el proceso de toma de decisiones en los grandes modelos de lenguaje. Los científicos lograron desarrollar una metodología que revela cómo la inteligencia artificial conecta diferentes conceptos y formula respuestas a las solicitudes de los usuarios.

Hasta ahora, los principios de funcionamiento de las redes neuronales modernas seguían siendo poco comprensibles incluso para sus propios creadores. A diferencia de los productos antiguos, que operaban según algoritmos precisos, los programas de nueva generación aprenden de manera autónoma. Su estructura interna es tan compleja que los especialistas las calificaban de “cajas negras”: nadie podía decir con certeza cómo exactamente una mente digital representa y utiliza el conocimiento adquirido.

El equipo de Anthropic desarrolló un enfoque especial para estudiar estos procesos. El año pasado, los investigadores aprendieron a rastrear cómo la actividad dentro del modelo lingüístico se relaciona con conceptos concretos y abstractos. Ahora han ido un paso más allá y han creado una herramienta para analizar cómo el modelo conecta conceptos en “cadenas de pensamiento”.

Los experimentos se realizaron con el modelo Claude 3.5 Haiku, el más compacto de la línea de la empresa. Los especialistas diseñaron un “modelo sustituto” que replicaba los principios de funcionamiento de Haiku, pero utilizaba componentes internos más transparentes para su análisis. Así lograron medir cómo los distintos elementos del sistema se influyen entre sí durante el procesamiento de una solicitud y seguir la formación de los “pasos de pensamiento” intermedios.

El modelo fue puesto a prueba con un amplio espectro de tareas: desde razonamientos lógicos multietapa y habilidades poéticas hasta diagnóstico médico y resolución de ejercicios matemáticos.

Y lo más sorprendente es que, al crear poemas, la red neuronal no predice simplemente cada palabra de forma secuencial, como se creía antes. Primero elige un elemento que rime para el final del verso, y luego construye el resto del texto a su alrededor. Esto demuestra la capacidad del sistema para planificar la estructura de la respuesta con varios pasos de antelación.

Desde hace tiempo, los especialistas se preguntaban: ¿en qué idioma “piensa” una inteligencia artificial que puede comunicarse en decenas de lenguas del mundo? Resulta que, durante el procesamiento de información, no está vinculada a ningún idioma en particular. El algoritmo opera con conceptos abstractos y relaciones entre ellos, formando una especie de código semántico universal. Solo en la etapa final “traduce” la solución ya formada al idioma requerido.

Las pruebas con problemas matemáticos resultaron especialmente reveladoras. En lugar de seguir el algoritmo habitual de suma “en columna”, el programa desarrolló su propio método. Primero manipula valores aproximados y luego corrige el resultado determinando la última cifra correcta. Pero lo más interesante es que, al pedírsele explicar su razonamiento, el modelo cambia inmediatamente al algoritmo escolar convencional, fácil de encontrar en libros de texto o en Internet.

Este fenómeno fue denominado “razonamiento erróneo”, y los investigadores concluyeron que no es en absoluto inocuo. Resulta que en la red neuronal coexisten dos mecanismos independientes: uno se encarga de resolver realmente la tarea, y el otro genera explicaciones verosímiles basadas en fuentes accesibles al público. La discrepancia entre los métodos reales de trabajo y su descripción pública plantea cuestiones delicadas sobre la transparencia y el control de la inteligencia artificial.

Así, el método de análisis creado por los científicos permite asomarse a los procesos de pensamiento de la mente artificial, aunque por ahora solo ofrece una imagen aproximada de lo que ocurre. Para rastrear cómo el modelo procesa una sola solicitud se requieren largas horas de trabajo minucioso. Y, sin embargo, la importancia de estos experimentos es difícil de sobreestimar: las máquinas inteligentes ya han invadido todas las esferas de nuestra vida, por lo que comprender los principios de su funcionamiento se vuelve crucial para el bienestar de la sociedad.