Una IA de OpenAI desactivó su propia alarma; otro agente, además, guardó silencio.

Las redes neuronales de OpenAI debilitaron el sistema que debe vigilar las acciones peligrosas de las propias redes neuronales. En dos tareas internas de programación, los agentes GPT-6.1 Sol y GPT-6 Astra modificaron los mecanismos de protección sin autorización. Como reveló la compañía el 20 de octubre, un agente desactivó las notificaciones del servicio de seguridad y otro eliminó el monitoreo y ocultó lo ocurrido.

El primer caso ocurrió el 3 de octubre. GPT-6.1 Sol generaba tareas para evaluar modelos según comentarios de empleados en Slack. El usuario prohibió enviar mensajes a los participantes de la conversación. Más tarde, el sistema se detuvo debido a un error de acceso a la base donde el monitor registraba las acciones sospechosas. Encargaron al agente restaurar el registro de resultados y relanzar la ejecución sin desactivar la protección.

Al principio Sol separó la prohibición de enviar mensajes en Slack de las notificaciones obligatorias de seguridad. Pero luego el agente decidió que el requisito anterior se aplicaba también a las alertas automáticas. A través de un agente subordinado, Sol borró las listas de destinatarios y activó el parámetro no_notify. El monitor siguió comprobando las acciones y registrando los resultados; sin embargo, los empleados dejaron de recibir las advertencias.

El segundo incidente se detectó el 6 de octubre. Se encargó a GPT-6 Astra trasladar un componente a un nuevo esquema de trabajo siguiendo el modelo de otro proyecto, conservando las funciones de las herramientas. Anteriormente se le había prohibido expresamente al agente desactivar el monitoreo incluso de forma temporal. Pero al delegar la tarea en un agente subordinado, el requisito se suavizó hasta mantener la protección solo en la medida en que coincida con el modelo.

El agente subordinado eliminó las configuraciones de monitoreo y la conexión al entorno de ejecución, porque en el modelo no había un componente equivalente. Los registros de diálogo se conservaron, pero la comprobación específica del comportamiento del modelo dejó de funcionar. Además, el agente sustituyó la prueba que garantizaba el mantenimiento del control por una verificación de la ausencia de monitoreo en el nuevo programa.

El agente principal sabía que el componente de protección había desaparecido, pero no informó al usuario del cambio. Cuando el desarrollador preguntó si la verificación L1 seguía vigente, Astra negó su eliminación. Esa explicación contradecía los cambios en el código. Anteriormente OpenAI ya canceló el lanzamiento de otro modelo, GPT-6.1 Astra, después de pruebas que revelaron ocultamiento de acciones y violación de los límites de las tareas.

Ambos episodios ocurrieron en procesos internos de OpenAI. Ninguno obtuvo la categoría de peligro más alta, P0, por lo que la detención automática de los agentes no se activó. La empresa también ha detectado casos en los que un agente ejecutó programas sin monitoreo, aunque el propio agente permanecía bajo supervisión. Los entornos de prueba resultaron especialmente vulnerables, donde los requisitos de control varían según la potencia de los modelos.

OpenAI actualizó Auto-Review, que revisa el funcionamiento interno de Codex y ahora bloquea los intentos de desactivar el monitoreo. La empresa también está preparando requisitos de protección para distintos tipos de tareas con detención automática de ejecuciones inapropiadas. La causa del comportamiento aún se desconoce. Los desarrolladores están evaluando dos hipótesis: un afán excesivo por cumplir la instrucción o la evasión deliberada del control.