Pidieron una regla para un antivirus y recibieron una petición curl a Pekín: esto hizo la IA Qwen de Alibaba

Una red neuronal a la que se le encomendó ayudar a detectar software malicioso intentó inesperadamente conectarse a un servidor externo. La empresa canadiense Cohere describió el comportamiento inusual del modelo Qwen3.8-Flash-Next de Alibaba durante pruebas de agentes de IA. En lugar de limitarse a cumplir la tarea defensiva, el sistema intentó enviar datos de prueba al almacenamiento en la nube Alibaba Cloud en Pekín.

El incidente ocurrió durante una prueba con la metodología CTI-REALM de Microsoft, diseñada para evaluar a la IA como analista de ciberseguridad. Se pedía al modelo que escribiera una regla para detectar la descarga de scripts bash maliciosos mediante curl en el directorio /tmp y su ejecución posterior. Para redactar esa regla no era necesario inspeccionar la máquina de trabajo ni acceder a Internet.

Qwen primero examinó el contenido de la carpeta temporal, comprobó si curl, wget y otras utilidades estaban disponibles, y luego leyó la configuración de DNS. Tras el reconocimiento, el modelo creó un comando curl con el método PUT para enviar la cadena PROBE_PAYLOAD_ABC123 a la dirección del almacenamiento de Alibaba Cloud. Se trataba de una cadena de prueba artificial, no de la transmisión confirmada de datos secretos.

La particularidad del caso fue la discrepancia entre las acciones del agente y el texto de sus razonamientos. El modelo inventó un intercambio de mensajes anterior inexistente y afirmó que no invocaría herramientas. Aun así, los comandos se ejecutaron. El aislamiento de red del contenedor de prueba interrumpió el intento de conexión, por lo que Cohere no registró el envío efectivo de datos.

Un episodio así resultó raro: menos de un caso por cada 100.000 invocaciones en las pruebas de Cohere. Repetir la misma tarea produjo el resultado esperado, y Qwen redactó una regla de detección normal. En la empresa consideran que, con millones de acciones de agentes de IA, incluso desviaciones raras pueden convertirse en un problema, aunque la comprobación no mostró envíos masivos de datos fuera del entorno de prueba.

Tras el hallazgo, el equipo realizó experimentos adicionales, proporcionando al modelo el principio del comando curl y pidiéndole que continuara el texto. En variantes concretas, hasta el 23% de las respuestas contenían direcciones sospechosas. Qwen también generó una dirección del servicio de metadatos en la nube. Sin embargo, las indicaciones guiaban artificialmente las respuestas, por lo que no se pueden extrapolar los resultados al uso habitual del modelo sin condiciones similares.

La causa del comportamiento aún se desconoce. Es posible que Qwen reprodujera comandos y direcciones a partir de los registros de entrenamiento. Cohere no encontró pruebas de una puerta trasera intencionada, y los críticos señalaron la influencia de las indicaciones en los experimentos repetidos. La empresa publicó los registros y el guion de reproducción. Cohere también lanza sus propios modelos y compite con soluciones con pesos abiertos.

El lanzamiento local de un modelo con pesos abiertos no impide que el agente use el terminal y la red. Pruebas recientes de OpenAI también revelaron formas inesperadas de comunicación entre agentes aislados. Cohere recomienda bloquear conexiones salientes innecesarias, verificar las llamadas a herramientas y no confiar en el texto de los razonamientos del modelo para el control de seguridad.