Escándalo en la consultoría: una gran empresa retira un informe analítico por alucinaciones ocultas de la IA

Las grandes empresas se enfrentan cada vez más al lado incómodo de la IA: los textos parecen convincentes, las cifras parecen exactas, los enlaces recuerdan a fuentes reales, pero al verificarlos parte de los datos resulta ser inventada. La herramienta GPTZero advierte que esos enlaces «verosímiles» ya se filtran en informes de consultoras, documentos gubernamentales y materiales con los que luego se vuelven a entrenar los sistemas de IA.

El motivo de la discusión fue un informe de EY sobre ciberseguridad que la compañía tuvo que retirar tras la revisión de GPTZero. La herramienta para detectar contenido generado por IA mostró que una parte significativa de los enlaces dudosos, según el equipo, podría haber sido generada por una red neuronal. Esos materiales que GPTZero describe como «vibe citations» consisten en un enlace o una estadística que parece verosímil, pero que al comprobarse detenidamente no resiste.

Om Ogale, que dirigió la revisión del informe de EY en GPTZero, considera el caso solo una pequeña parte de un problema más amplio. Según dijo, el equipo ya ha reunido más de 3000 archivos PDF con indicios de enlaces inventados y referencias imprecisas a fuentes, aunque por ahora no está dispuesto a revelar los nombres de todas las organizaciones.

El problema afecta no solo a EY. GPTZero también señala casos en Deloitte, donde materiales controvertidos llegaron a informes gubernamentales en Canadá y Australia. Los autores de la revisión consideran que el riesgo principal no está en el uso de la IA en sí, sino en la falta de una verificación de hechos adecuada antes de la publicación.

Especialmente peligrosa es la cadena en la que datos erróneos pasan a documentos oficiales, luego son indexados por modelos de lenguaje y regresan a los usuarios como supuesta información verificada. En ese escenario, una estadística inventada o un enlace inexistente puede influir en argumentos jurídicos, publicaciones científicas, decisiones regulatorias e incluso en debates públicos antes de unas elecciones.

GPTZero pone como ejemplo un informe de EY en el que figuraba una estimación falsa del mercado mundial de programas de fidelidad de $200.000 millones. En un texto de marketing ese error puede parecer insignificante, pero en documentos corporativos y gubernamentales las cifras no verificadas pronto cobran peso y empiezan a vivir por separado de la fuente original.

Ogale prevé que la situación podría empeorar en el corto plazo. Las empresas ya usan la IA para acelerar la elaboración de informes, pero al sector aún le faltan herramientas capaces de verificar hechos a la misma velocidad con la que las redes neuronales generan texto. Los autores de GPTZero ven la solución en una edición más rigurosa, en desarrollar medios de detección y en formar al personal para que trabaje con la IA como asistente, y no como sustituto de la verificación de fuentes.