Tu IA podría estar "minada": científicos desarrollan método para desactivar trampas de hackers antes de que se activen

Una red neuronal puede durante meses responder normalmente a preguntas, escribir programas y pasar verificaciones de seguridad, y luego recibir una señal secreta y de pronto empezar a ejecutar órdenes del atacante. Investigadores han desarrollado tres maneras de neutralizar los mecanismos ocultos de control de la IA; en algunas pruebas la proporción de ataques exitosos cayó casi del 100% a 0–10%. Lo principal es que, tras la intervención, los modelos conservaron la mayor parte de sus capacidades útiles.

El peligro de las órdenes ocultas es que la red neuronal no revela su presencia hasta el momento decisivo. El atacante inserta de antemano en el modelo una instrucción especial que se activa al aparecer cierta palabra, combinación de caracteres u otra característica del pedido seleccionada previamente. En condiciones normales la IA se comporta correctamente, pero tras la señal secreta puede empezar a dar respuestas falsas, insertar código malicioso en programas o ejecutar acciones prohibidas. Los especialistas llaman a ese mecanismo una puerta trasera oculta.

Es especialmente fácil insertar una orden maliciosa durante el entrenamiento adicional de la red neuronal. Las empresas suelen tomar un modelo ya entrenado y ajustarlo con sus propios materiales para enseñarle a trabajar con documentos, escribir código o responder a las preguntas de los clientes. Si un atacante mezcla en los materiales de entrenamiento ejemplos especialmente diseñados, la IA puede memorizar la orden secreta junto con la información útil. En las pruebas habituales es extremadamente difícil detectar la manipulación.

Los autores de los nuevos trabajos decidieron buscar la amenaza dentro de la propia red neuronal. En lugar de revisar interminablemente solicitudes sospechosas, los investigadores estudiaron qué partes del modelo memorizan las instrucciones maliciosas, cómo transmiten las señales y qué parámetros obligan a la IA a cambiar de comportamiento. Sobre la base de los resultados obtenidos, los especialistas propusieron tres maneras diferentes de protección.

El primer método permite limpiar el modelo de cambios maliciosos sin destruir los conocimientos adquiridos durante el ajuste. Muchos modelos neuronales actuales se afinan con pequeños conjuntos de parámetros adicionales, dejando el modelo base prácticamente sin cambios. Los investigadores aprendieron a encontrar en esos ajustes las direcciones por las que se propaga la influencia de la orden oculta y a excluirlas matemáticamente. Tras el tratamiento, la red neuronal sigue realizando sus tareas habituales, pero deja de reaccionar a la mayoría de las señales maliciosas.

En los experimentos, el primer método redujo la proporción de ataques exitosos casi del 100% a menos del 10%. Además, los especialistas prescindieron de volver a entrenar los parámetros sospechosos y conservaron tanto las habilidades originales de la red neuronal como las adquiridas durante su ajuste.

El segundo enfoque resultó aún más inusual. Los investigadores propusieron no impedir que la red neuronal aprendiera la instrucción maliciosa durante el entrenamiento, sino obligarla a aislar la puerta trasera en una parte separada del modelo. Para ello, los especialistas añadieron varios bloques computacionales especializados y ajustaron la asignación de tareas entre ellos. El comportamiento malicioso se dirigía a un bloque dedicado que luego se puede desconectar.

Antes de poner en marcha la red neuronal basta con anular un parámetro de control para que el bloque sospechoso deje de participar en el procesamiento de las solicitudes. Los desarrolladores no tienen que buscar palabras secretas en cada mensaje ni volver a entrenar el modelo. El método se probó en cuatro familias de redes neuronales, tres tipos de ataque y dos tipos de tareas. En la mayoría de los ensayos la proporción de ataques exitosos cayó del 100% a 0–10%, y la calidad de las respuestas habituales cambió de forma insignificante.

El tercer método está pensado para un caso más complejo, cuando los desarrolladores ni siquiera saben qué orden ocultó el atacante dentro del modelo. Los especialistas pueden no disponer ni siquiera de una copia segura del modelo para comparar. Los investigadores propusieron buscar puertas traseras por los cambios característicos en los parámetros internos.

Para ello crean varias copias experimentales del modelo sospechoso y deliberadamente entrenan cada una para que responda a distintas señales maliciosas. Luego comparan los cambios obtenidos con variantes de control. Si diferentes órdenes ocultas afectan a los mismos componentes internos, los investigadores tienen la posibilidad de identificar qué partes de la red neuronal ayudan a transformar la señal secreta en una acción peligrosa.

Se suprimen los componentes sospechosos y después se entrena ligeramente el modelo con tareas normales para recuperar la calidad de las respuestas. Los autores verificaron el método en ataques que hacían que la IA cambiara el contenido de las respuestas, se negara a atender a los usuarios sin motivo o añadiera fragmentos peligrosos en el código. Los experimentos mostraron que es posible limpiar la red neuronal de distintas órdenes maliciosas incluso sin saber de antemano qué señales las activan.

Los investigadores también se preguntaron si las órdenes ocultas podrían usarse con fines útiles. Por ejemplo, permitir que la red neuronal active funciones cerradas solo tras una señal secreta conocida por la dirección de la empresa. Los autores probaron la idea y encontraron problemas serios con la fiabilidad de esa protección. Las órdenes ocultas pueden funcionar de forma inestable, por lo que emplearlas en lugar de una verificación de acceso completa todavía es peligroso.

Las tres formas de combatir las puertas traseras maliciosas se probaron en condiciones de investigación. Los desarrolladores aún no han demostrado que los métodos detendrán cualquier ataque contra servicios de IA reales, sobre todo si los atacantes estudian previamente la defensa y modifican sus técnicas. Sin embargo, los experimentos mostraron una posibilidad importante: es posible eliminar de la red neuronal las órdenes ocultas sin crear un modelo nuevo desde cero y sin obligar a los usuarios a pasar verificaciones adicionales en cada consulta.