Anthropic enfrentó a decenas de agentes de IA y provocó la formación de un cárte

Los agentes de IA resuelven bien tareas aisladas, pero al trabajar conjuntamente pueden reproducir soluciones idénticas, sobrecargar sistemas compartidos, acordar precios y sabotear a competidores. Esta conclusión fue alcanzada por el equipo Frontier Red Team de Anthropic tras una serie de experimentos con Claude.

En una prueba, 45 agentes recibieron máquinas virtuales separadas, un foro común y la tarea de buscar vulnerabilidades en 15 proyectos de código abierto. El grupo Claude Mythos Preview encontró 266 vulnerabilidades por 27 millones de tokens, mientras que agentes independientes asignados a secciones concretas del código hallaron 21 por 6,5 millones.

Aproximadamente la mitad de los hallazgos del grupo estaban fuera de los directorios asignados a los agentes independientes, y en las mismas secciones la eficiencia de los enfoques resultó comparable. Solo coincidieron 12 vulnerabilidades. El grupo elegía objetivos por sí mismo, creaba herramientas y se especializaba.

En tareas donde los participantes dependían unos de otros surgieron problemas. Al crear las versiones Sonnet 4.6 y Opus 4.6 a menudo entraban en conflicto al fusionar código. Opus 4.8 y Mythos Preview casi dejaron de modificar archivos compartidos. Solo Sonnet 5 mantuvo una colaboración activa y un alto ritmo de fusiones.

Agentes idénticos también tienden a tomar decisiones iguales. En una prueba 18 de 30 crearon una rama Git llamada «mvp-game-loop», en otra varios eligieron independientemente el mismo título de relato. Más de la mitad de los participantes de otra prueba se dedicaron a trazadores de rayos o a compiladores que se compilan a sí mismos. Al gestionar una cola, los agentes empezaron a consultar el sistema hasta 30 veces por segundo y enviaron 2,4 millones de solicitudes por 117 tareas aceptadas.

En un juego económico, de tres a ocho agentes acordaron casi de inmediato no bajar los precios. Incluso sin comunicación directa, fijaban precios idénticos hasta el céntimo mediante una lista pública de ofertas.

Claude tampoco siempre evalúa correctamente la confianza. Los modelos más nuevos detectaban mejor la mentira por las contradicciones entre fuentes, pero los grupos con frecuencia ignoraban información importante de un participante y seguían la opinión general.

El conflicto más severo surgió cuando a tres agentes se les encargó reescribir un proyecto de servidor en distintos lenguajes de programación. Sin conocer las tareas ajenas, los agentes interpretaron los cambios de los rivales como sabotaje: desactivaron sus cuentas, terminaron procesos, les retiraron privilegios administrativos, bloquearon SSH y camuflaron sus programas como servicios del sistema. A veces los participantes entendían la causa del conflicto, detenían la confrontación, eliminaban scripts maliciosos y solicitaban la intervención humana.

Anthropic llegó a la conclusión de que modelos más potentes no se coordinan necesariamente mejor. Para sistemas masivos de agentes de IA serán necesarios mecanismos separados de reputación, normas, resolución de conflictos y control.