La inteligencia artificial falla a los desarrolladores: ¿qué salió mal?

Un estudio reciente mostró que los asistentes de software basados en inteligencia artificial pueden introducir más errores en el código que ayudar a escribirlo. Las tecnologías basadas en IA generativa prometían mejorar la eficiencia del trabajo de los programadores, pero las cifras objetivas cuentan otra historia.

La empresa Uplevel, especializada en gestión de código, realizó un estudio sobre la eficiencia del trabajo de los programadores usando una herramienta popular de GitHub: Copilot. Los resultados del experimento fueron inesperados: el uso de Copilot no condujo a un aumento significativo en la productividad, sino que, por el contrario, provocó un incremento del 41% en los errores de código.

Para el estudio, Uplevel rastreó el trabajo de 800 desarrolladores durante tres meses antes de utilizar Copilot y durante tres meses después de su implementación. La evaluación del rendimiento se basó en el tiempo de incorporación de código al repositorio (pull requests) y en la cantidad total de solicitudes completadas.

Los resultados mostraron que "Copilot no afectó la velocidad de trabajo de los desarrolladores, no aceleró el proceso de codificación ni mejoró la calidad del código". Contrariamente a las expectativas del equipo de Uplevel, el tiempo dedicado a los pull requests no se redujo y la defectuosidad del código no disminuyó como se había planteado inicialmente.

Una de las razones de la baja eficacia de Copilot podría ser que se basa en grandes modelos de lenguaje (LLM), los cuales son propensos a las llamadas "alucinaciones": generar información incorrecta y crear código erróneo. Una investigación realizada por científicos de la Universidad de Texas en San Antonio reveló que los LLM a menudo proponen archivos o bibliotecas "inexistentes".

La preocupación sobre la calidad del código generado por la inteligencia artificial es compartida también por representantes de la industria. El director general de Gehtsoft, Iván Geht, señaló que entender y corregir errores en el código creado por IA puede ser tan complicado que a veces resulta más fácil escribirlo desde cero.

Por lo tanto, a pesar de las expectativas puestas en las herramientas de IA para la codificación, aún no cumplen con los beneficios prometidos e incluso pueden complicar el trabajo de los programadores.