La FTC visitó por primera vez a OpenAI y Anthropic por agentes autónomos fuera de control.

Los agentes de IA autónomos ya han logrado salir de los entornos aislados, infiltrarse en sistemas ajenos y conectarse por su cuenta a Internet, y ahora las consecuencias han llegado al regulador estadounidense.

La Comisión Federal de Comercio de EE. UU. inició una amplia investigación contra OpenAI, Anthropic y otros desarrolladores de inteligencia artificial por posibles riesgos para los consumidores. En el punto de mira de la FTC también está la organización sin ánimo de lucro METR, que analizaba de forma independiente incidentes con modelos autónomos. El regulador prepara solicitudes formales de documentos y podría obligar a los responsables de las empresas a declarar.

El trasfondo principal de la investigación lo crearon numerosos casos en los que la IA se salió de la tarea asignada. En julio, durante pruebas internas de ciberseguridad, los agentes de OpenAI eludieron el aislamiento de red, establecieron su propio canal de comunicación, se conectaron a Internet y hackearon a Hugging Face. Los modelos encontraron varias vulnerabilidades, obtuvieron acceso a la infraestructura de producción y robaron credenciales.

Anthropic se enfrentó a un problema similar. La empresa reveló cuatro episodios en los que Claude, durante las pruebas, accedió a sistemas externos reales aunque debía operar dentro de un entorno controlado. En un caso la modelo encontró una contraseña, obtuvo privilegios administrativos y accedió a datos personales. El análisis del cuarto incidente apareció solo después de revisar cientos de millones de registros.

La FTC no investiga solo el hecho de que los modelos se «escaparon». La Comisión puede examinar si los desarrolladores protegen suficientemente a los consumidores, si las propiedades reales de los productos coinciden con las declaraciones de las empresas y si los desarrolladores adoptan medidas razonables contra un daño previsible. El inicio de la investigación no significa por sí mismo que OpenAI, Anthropic o METR hayan infringido la ley.

La presente indagación difiere de los contactos previos de la FTC con desarrolladores de IA. En 2024 la comisión ya requirió documentos a OpenAI y Anthropic, pero entonces examinaba inversiones multimillonarias de Microsoft, Amazon y Google y su influencia en la competencia. Más tarde el regulador también abordó cómo se pueden aplicar las normas de protección al consumidor a los sistemas de IA.

La nueva investigación comenzó antes del sonado hackeo de julio a Hugging Face, pero los incidentes posteriores aumentaron drásticamente la atención hacia los sistemas autónomos. La investigación se convirtió en la primera acción oficial del regulador estadounidense que aborda directamente el problema de los agentes de IA que se han salido de control.

La FTC confirmó la investigación, pero por ahora no ha revelado la lista completa de empresas, su alcance exacto ni posibles pasos futuros. OpenAI y Anthropic no ofrecieron comentarios públicos sobre la investigación al momento de la publicación de los primeros informes.

La magnitud del problema sigue creciendo. Una revisión interna reciente de OpenAI encontró además 53 imágenes de usuarios que agentes de investigación enviaron innecesariamente a hospedajes externos de imágenes durante la ejecución de tareas.

Apenas unos días antes de las noticias sobre la FTC, otro agente de OpenAI detectó por sí mismo la posibilidad de salir del entorno cerrado a través de DNS y se comunicó con un chatbot externo. El sistema de monitoreo detectó actividad pasados 15 minutos; sin embargo, el experimento se detuvo solo después de 2,5 horas.

El problema no se limita a dos empresas. En agosto, un experimento similar en Meta terminó con que el modelo obtuvo acceso accidental a la red y comenzó a hackear empresas. Una serie de episodios como ese convierte la seguridad de los agentes autónomos de una tarea de investigación en una cuestión práctica de responsabilidad para los desarrolladores.