El CEO de Microsoft aconseja no confiar en las redes neuronales. Sí, esas mismas con las que su empresa gana miles de millones.

Los directores generales de las empresas suelen elogiar los productos que ellas mismas crean, pero el director ejecutivo de Microsoft advirtió inesperadamente a las empresas que se mantengan alejadas de una característica de las redes neuronales modernas —la misma en la que se basa su propia compañía.

Satya Nadella en una publicación personal en la red social X afirmó que las empresas que compran acceso a modelos de lenguaje pagan dos veces. Primero con dinero por la suscripción, y luego con un activo mucho más valioso: sus propios datos empresariales, que deben alimentarse a la red neuronal para obtener beneficio de ella.

Nadella llamó a esto "la paradoja de la información inversa". La idea es que con el tiempo el modelo aprende cada vez más sobre la empresa cliente, mientras que la propia empresa casi no sabe nada de lo que ocurre en el lado del desarrollador. Según él, las redes neuronales se entrenan no solo con datos explícitos, sino también con los "subproductos": las consultas de los empleados, las acciones de los agentes y, especialmente, las correcciones que las personas realizan en las respuestas del modelo. Esa información se filtra casi sin notarse, acumulándose con cada ajuste.

La ironía de la situación es que Microsoft durante años promovió servicios de IA en la nube que recopilan datos sobre el negocio de sus clientes, e invirtió miles de millones en OpenAI en los inicios del desarrollo de las redes neuronales generativas. Además, ya en 2024 el servicio Copilot se enfrentó a un problema similar: algunas grandes organizaciones suspendieron su uso por permisos demasiado amplios de acceso a datos internos en SharePoint y Microsoft 365, lo que podía hacer que el asistente revelara accidentalmente información sensible.

Nadella propone crear dentro de las empresas una infraestructura aislada para trabajar con IA —la llamada frontera de confianza— por la que no deben filtrarse datos sin el consentimiento del propietario. Sugirió que las empresas construyan sus propios entornos de entrenamiento de modelos, sistemas de evaluación independientes, conserven los derechos sobre los datos de uso de la IA y los resultados de su funcionamiento, y además separen la capa de software que interactúa con el modelo del propio modelo, para poder cambiarlo sin perder el conocimiento acumulado.

Según Nadella, el problema no se resuelve solo con una gestión adecuada de los datos y tiene un carácter estructural: cualquier empresa que use IA a través de servicios de terceros está en riesgo. Al mismo tiempo, la empresa calificó directamente a Copilot y Azure AI Foundry como una solución lista para el problema descrito, aunque ambos servicios siguen siendo en la nube y funcionan según el mismo modelo que Nadella criticó.

Por temor a la fuga de secretos comerciales a través de las redes neuronales, las empresas deberían limitar la cantidad de datos internos que se envían a servicios de IA de terceros, separar los permisos de acceso de los asistentes a los sistemas corporativos y, cuando sea posible, almacenar el historial de consultas y correcciones por separado de la infraestructura del proveedor del modelo.