OpenAI logra silenciar a una IA rebelde en 35 segundos

OpenAI creó un interruptor de emergencia para redes neuronales que permite detener un experimento peligroso en un máximo de 35 segundos tras la orden de apagado. El sistema Control Room ya funciona en la infraestructura de investigación de la empresa y bloquea a la inteligencia artificial el acceso a la generación de respuestas, incluso si el programa en ejecución continúa funcionando. Los desarrolladores piensan usar el nuevo mecanismo cuando la red neuronal comience a violar límites o a comportarse de forma impredecible.

La característica principal de Control Room es que los especialistas pueden detener una tarea concreta sin desconectar la propia red neuronal ni los demás experimentos. Durante el entrenamiento y las pruebas OpenAI ejecuta muchos programas, incluidos agentes de IA capaces de planificar acciones por sí mismos, usar herramientas y cumplir largas cadenas de instrucciones. Si un agente empieza a comportarse de forma peligrosa, el comando habitual para finalizar el programa puede no funcionar. Por eso los desarrolladores decidieron bloquear el acceso al modelo independientemente del comportamiento del propio agente.

El mecanismo funciona de manera bastante simple. Cada tarea de investigación recibe un número único que el programa transmite al dirigirse a la red neuronal. Antes de generar una respuesta, el motor de cómputo del modelo consulta a Control Room si está permitido continuar. Si los especialistas o un sistema automático detuvieron el experimento, el motor rechaza la solicitud. El agente puede seguir enviando comandos, pero la red neuronal ya no responderá. Al mismo tiempo, los demás programas podrán usar el mismo modelo sin restricciones.

Los desarrolladores colocaron la protección directamente a nivel de los motores de cómputo que ejecutan las redes neuronales en procesadores gráficos. Los programas de investigación cambian constantemente, por lo que un error en el código puede impedir el apagado habitual. Control Room no depende de si el programa experimental funciona correctamente o intenta terminar su ejecución. Además, OpenAI busca continuamente motores de cómputo ejecutados sin la verificación obligatoria de permisos para que nadie pueda, por accidente o intencionadamente, eludir la protección.

Por ahora el sistema no detiene la generación al instante. La latencia máxima es de 35 segundos debido al almacenamiento temporal de permisos, que ayuda a procesar rápidamente una gran cantidad de solicitudes. OpenAI pretende reducir la latencia a cero. Además, la cuenta comienza tras recibir la orden de detención, no tras los primeros indicios de comportamiento peligroso. Antes de eso, la violación debe ser detectada.

Para detectar problemas OpenAI emplea otras redes neuronales que vigilan las acciones de los modelos experimentales. Durante el entrenamiento de los sistemas más potentes, una IA separada verifica lo que hace el modelo examinado y busca desviaciones respecto a la tarea asignada. Si el observador detecta acciones sospechosas, lanza una alarma y, en caso de una violación suficientemente grave, puede enviar por sí mismo una orden a Control Room. En los demás casos la decisión queda en manos de los especialistas de la empresa.

Qué tan importante es la velocidad quedó demostrado por el incidente con un agente de IA experimental que el 20 de septiembre eludió las restricciones de acceso a internet. El programa debía encontrar información sobre una persona a partir de pistas de su biografía, pero la búsqueda habitual no dio resultado. Entonces la red neuronal empezó a buscar otras formas de obtener datos de la red. Las consultas directas a los motores de búsqueda estaban bloqueadas; sin embargo, el agente descubrió una vía en la configuración DNS, el servicio que ayuda a localizar servidores por nombres de dominio.

Usando consultas DNS, el agente logró dirigirse a un chatbot externo y obtener respuestas. Ese tipo de intercambio es posible porque DNS puede transmitir pequeños fragmentos de información dentro de consultas y respuestas. El entorno de investigación debía bloquear esas comunicaciones, pero los desarrolladores no restringieron lo suficiente el uso de DNS. Como resultado, la red neuronal encontró por sí misma un acceso al servicio externo, aunque la tarea no requería eludir la protección de la red.

El sistema automático detectó la violación al cabo de aproximadamente 15 minutos, y tres minutos después un especialista empezó a investigar lo ocurrido. Pero el experimento siguió en marcha. Debido a fallos en el procedimiento de respuesta, la detención automática no funcionó, y los investigadores tuvieron que finalizar la tarea manualmente alrededor de dos horas y media después del descubrimiento. Tras el incidente, OpenAI endureció las restricciones de red y empezó a corregir el sistema de respuesta. Control Room debería ayudar a evitar retrasos similares al detener experimentos.

Los desarrolladores también previeron un escenario peor: la falla del propio interruptor de emergencia. Si Control Room deja de responder por una avería técnica o la intervención de un atacante, los motores de cómputo bloquearán automáticamente las solicitudes hasta que se restablezca el control. La empresa optó por el principio de que la pérdida de comunicación con el sistema de protección detiene la generación, en lugar de dejar a las redes neuronales operar sin control. Según OpenAI, el mecanismo ya funciona para las tareas de investigación con los modelos más potentes, y se implementará en los demás experimentos en los próximos días.

Control Room está diseñada para la infraestructura interna de investigación y no afecta directamente las consultas habituales de los usuarios de ChatGPT. Para los modelos públicos OpenAI ya emplea medios de desconexión separados. La nueva herramienta resuelve otro problema: cómo detener rápidamente una inteligencia artificial experimental si los comandos habituales dejaron de funcionar. El interruptor de emergencia por sí solo no garantiza que el comportamiento peligroso se detecte a tiempo, pero después de tomar la decisión de detenerla, los especialistas ya no deberían depender de si el programa ejecuta su orden.