Errores fantasma: la IA, el nuevo dolor de cabeza para los desarrolladores de código abierto

Los desarrolladores de software de código abierto enfrentan un nuevo problema: una avalancha de informes de errores de baja calidad generados por inteligencia artificial. Los expertos advierten que la situación comienza a parecerse a la inundación de desinformación en redes sociales, contra la que los sistemas de verificación de hechos luchan sin éxito.

Seth Larson , especialista en seguridad de la Python Software Foundation, compartió sus observaciones en una publicación reciente. Según él, ha habido un aumento notable en la cantidad de informes de vulnerabilidades tipo spam generados por modelos de lenguaje. Estos informes parecen muy convincentes, lo que obliga a los desarrolladores a dedicar tiempo a analizarlos minuciosamente y refutarlos.

Esto representa un problema particularmente serio para grandes proyectos de código abierto como Python, WordPress y Android, que son la columna vertebral de Internet moderno. La mayoría de estos proyectos son mantenidos por pequeños grupos de entusiastas voluntarios que trabajan sin remuneración. Las vulnerabilidades reales en bibliotecas de código ampliamente utilizadas pueden ser muy peligrosas, ya que su explotación podría causar daños a gran escala.

El desarrollador Daniel Sternberg criticó abiertamente a un usuario en HackerOne por enviar un informe generado por IA sobre un error:
"Enviaste un informe sin sentido, aparentemente generado por inteligencia artificial, mencionando un supuesto problema de seguridad, probablemente porque la IA te convenció de su existencia. Luego, nos hiciste perder tiempo al omitir que fue un programa quien lo hizo por ti, y continuaste la discusión respondiendo con más tonterías, también probablemente generadas por IA".

La generación de código es una aplicación cada vez más popular de los modelos de lenguaje a gran escala, aunque los debates sobre su utilidad siguen activos entre los desarrolladores. Herramientas como GitHub Copilot o el generador de código de ChatGPT son eficaces para crear estructuras básicas de proyectos y localizar funciones en bibliotecas de programación. Sin embargo, los modelos de lenguaje, como cualquier sistema de IA, a veces generan código incorrecto o incompleto. No comprenden la programación a un nivel conceptual, sino que trabajan basándose en modelos probabilísticos que predicen posibles resultados en función de los datos con los que fueron entrenados.

Para desarrollar un proyecto completo, los desarrolladores todavía necesitan un conocimiento profundo del lenguaje que utilizan, habilidades para depurar código y una visión clara de la arquitectura general de la aplicación. Los expertos señalan que las herramientas de generación de código tendrán el mayor impacto en programadores principiantes, y que ya existen aplicaciones simples creadas exclusivamente con IA.

Plataformas como HackerOne, que recompensan económicamente la identificación de vulnerabilidades, probablemente incentivan de forma involuntaria el uso de herramientas como ChatGPT para analizar código y enviar informes falsos de errores generados por redes neuronales.

Aunque el spam no es un fenómeno nuevo en Internet, las tecnologías inteligentes han facilitado enormemente su producción masiva. Es probable que combatir este problema requiera el desarrollo de nuevos mecanismos de protección, como sistemas CAPTCHA más avanzados.