El hackeo de Copilot: cómo los símbolos invisibles convirtieron al asistente de IA en un espía

Microsoft ha corregido vulnerabilidades graves en su asistente de IA, Copilot, que permitían a los atacantes robar correos electrónicos y otra información personal de los usuarios. Así lo informó el investigador de seguridad Johann Rehberger , quien previamente descubrió y reveló los detalles del ataque.

El exploit desarrollado por Rehberger es una cadena de acciones maliciosas específicas para modelos de lenguaje (LLM). Todo comienza con un correo electrónico de phishing que contiene un documento malicioso de Word. Este documento inicia el llamado ataque de inyección de prompt, un tipo particular de ataque contra sistemas de IA, en el que el atacante intenta engañar al modelo mediante entradas cuidadosamente formadas.

En este caso, el documento contenía instrucciones que obligaban a Copilot a hacerse pasar por un programa fraudulento llamado "Microsoft Defender for Copirate". Esto permitía al atacante tomar el control del chatbot y usarlo para interactuar con el correo electrónico del usuario.

El siguiente paso del ataque consistía en el uso automático de las herramientas de Copilot. El atacante daba órdenes al chatbot para buscar correos electrónicos adicionales y otra información confidencial. Por ejemplo, Rehberger pedía al bot que elaborara una lista de puntos clave de un correo electrónico anterior. La red neuronal encontraba y extraía códigos de autenticación de dos factores de Slack, si estos estaban presentes en el correo.

Para extraer los datos, el investigador utilizó una técnica de contrabando ASCII. Este método usa un conjunto de caracteres Unicode que imitan a los de ASCII, pero son invisibles en la interfaz de usuario. De esta manera, el atacante puede ocultar instrucciones para el modelo en un hipervínculo que parece absolutamente inofensivo.

Durante el ataque, Copilot generaba un enlace URL que parecía "inofensivo" pero que en realidad contenía símbolos Unicode ocultos. Si el usuario hacía clic en este enlace, el contenido de sus correos se enviaba a un servidor controlado por el atacante. Se podían robar códigos de autenticación de dos factores de Slack u otros datos confidenciales de los correos.

Rehberger también desarrolló una herramienta llamada ASCII Smuggler, que permite detectar etiquetas Unicode y "decodificar" mensajes que de otro modo permanecerían invisibles. Microsoft confirma: las vulnerabilidades han sido corregidas, aunque la empresa no ha revelado detalles específicos sobre las actualizaciones.

Esta cadena de exploits demuestra claramente los problemas actuales en la protección de modelos de lenguaje. Son especialmente vulnerables a ataques de inyección de prompt y otros métodos de hackeo desarrollados recientemente. Rehberger subraya la novedad de estas técnicas, señalando que "aún no tienen ni dos años".

Los expertos instan a las empresas que desarrollan sus propias aplicaciones basadas en Copilot u otros modelos de lenguaje a prestar mucha atención a estas cuestiones para evitar problemas de seguridad y privacidad de los datos.