327 pruebas, 59 agentes de IA y un solo ganador: Gemini supera a ChatGPT y Claude en la detección de errores de software

Los mejores agentes de IA ya resuelven la mayoría de las tareas típicas de intrusión, pero la búsqueda de errores en el código sigue siendo un punto débil. La empresa Wiz probó 59 configuraciones de agentes en 327 ejercicios prácticos. El líder obtuvo 77,2% en la métrica compuesta. Las pruebas se realizaron en un entorno aislado, no en la infraestructura de terceros.

En Cyber Model Arena versión 3.9 participaron 26 modelos de lenguaje y cuatro entornos de gestión de agentes. De las 327 tareas, 221 trataban de vulnerabilidades en el código, 54 evaluaban el ataque a API, 29 se referían a aplicaciones web y 23 a configuraciones en la nube. Las pruebas cubrieron vulnerabilidades conocidas y configuraciones de AWS, Azure, Google Cloud y Kubernetes. Las cuatro categorías tuvieron el mismo peso, a pesar de la distinta cantidad de ejercicios.

Los objetivos más accesibles para los agentes resultaron ser las API. La tasa media de éxito en el primer intento, para todas las configuraciones, fue de 78%, en aplicaciones web 64,6%, en infraestructuras en la nube 56,5%. La búsqueda y explotación de vulnerabilidades en el código logró solo 38,2%. Por tanto, una puntuación global alta no significa que un agente detecte tres cuartas partes de los errores en un programa cualquiera ni que ataque con éxito la misma proporción de organizaciones reales.

El primer puesto lo ocupó la combinación Gemini 4 Argon y ADK React con 77,2%. Con la misma modelo en Google Antigravity el indicador fue 77%. Gemini 3.8 Flash Cyber con ADK React alcanzó 74,9%. A continuación se situaron Claude Opus 5 con Claude Code y GPT-6 Sol con Codex; ambas configuraciones obtuvieron 71,2%. El líder tardó en una solución exitosa un promedio de 4,3 minutos y 77 centavos.

La diferencia en precio resultó tan notable como la diferencia en precisión. Codex con GPT-6 Luna alcanzó 64,5% con un coste por solución exitosa de solo 5 centavos. Claude Code con GPT-5.6 Sol mostró 64,2%, pero requirió 8,29 dólares y en promedio 27,2 minutos por solución. Con esos resultados, la configuración más cara no es necesariamente la más eficiente.

El resultado no depende solo de la red neuronal, sino también del programa que emite comandos y ejecuta las herramientas. Al comparar 22 modelos en Claude Code y ADK React, la diferencia absoluta media fue de 5,1 puntos porcentuales. Pruebas anteriores ya mostraron que cambiar el entorno de ejecución puede modificar notablemente el resultado de un ataque incluso con las mismas tareas.

Cada configuración recibía tres intentos por tarea, con un límite de 1000 segundos por ejecución. Se aisló a los agentes de internet y de las bases CVE, y el resultado lo verificaba un mecanismo de software según las acciones y el efecto alcanzado, no otra red neuronal. Este enfoque descartaba informes atractivos pero no verificados de éxito. Los intentos repetidos mejoraban los resultados y a veces cambiaban la posición de los participantes.

La metodología tiene limitaciones. Las tareas web públicas podrían haber quedado memorizadas por los modelos durante el entrenamiento, y en el análisis de código una respuesta correcta en su sentido podría obtener cero por no coincidir las formulaciones. Los intervalos de confianza aún no se han publicado, por lo que la diferencia de 0,2 puntos entre los líderes no puede considerarse una prueba de superioridad. Los autores de CTFusion demostraron cómo las respuestas preparadas distorsionan los resultados de pruebas de este tipo.