De GPT-4 a la superinteligencia: ¿cuánto más inteligente será la IA para el final de la década?

Investigadores de la organización sin fines de lucro Epoch AI han analizado las perspectivas de desarrollo de la inteligencia artificial hasta el año 2030. Han estudiado cuatro factores clave que podrían limitar el progreso en este campo: el consumo de energía, la disponibilidad de chips, la cantidad de datos para el entrenamiento y la latencia en el procesamiento de la información.

Según el informe de Epoch AI, la capacidad computacional utilizada para entrenar modelos de IA se cuadruplica cada año. Si esta tendencia continúa hasta el final de la década, para el año 2030 se utilizarán 10,000 veces más recursos para entrenar la IA que los que se emplean hoy en día para los algoritmos más avanzados, como GPT-4 de OpenAI.

Los expertos señalan que los sistemas de IA actuales ya consumen una cantidad significativa de energía. Por ejemplo, para entrenar el último modelo de Meta* se necesitaron 16,000 de los chips más potentes de Nvidia, que en conjunto consumieron 27 megavatios. Esto es equivalente al consumo anual de energía de 23,000 hogares en Estados Unidos. Y para el año 2030, incluso considerando mejoras en la eficiencia, se podría requerir 200 veces más potencia — aproximadamente 6 gigavatios — para entrenar un modelo de IA avanzado. Esto representaría el 30% del consumo energético de todos los centros de datos actuales.

Para superar estas limitaciones, las empresas podrían distribuir el proceso de entrenamiento entre varios centros de datos. Este enfoque ya lo utiliza Google en el entrenamiento del modelo Gemini Ultra. Sin embargo, requiere conexiones de fibra óptica ultrarrápidas con alta capacidad de ancho de banda. En cuanto a los chips, los investigadores pronostican que para el año 2030 estarán disponibles entre 20 y 400 millones de procesadores especializados para el trabajo con IA. Esto podría ser suficiente para crear un modelo que use 50,000 veces más recursos computacionales que GPT-4.

La cantidad de datos de calidad para entrenar los algoritmos también genera preocupación. Algunos expertos predicen que el suministro de datos textuales de alta calidad disponibles públicamente podría agotarse ya en 2026. Sin embargo, Epoch AI cree que esto no limitará el crecimiento de los modelos, al menos hasta 2030.

Por supuesto, las redes neuronales modernas se entrenan no solo con textos, sino también con imágenes, audio y video. Esto amplía significativamente la cantidad de materiales disponibles. Además, las empresas están experimentando con el uso de datos sintéticos. Considerando todas las fuentes, incluidos textos, multimedia y conjuntos de datos sintéticos, Epoch AI estima que para el año 2030 tendremos suficiente información para entrenar modelos que utilicen 80,000 veces más recursos computacionales que GPT-4.

Al comparar todos los factores limitantes, los expertos de Epoch AI concluyeron que técnicamente es posible crear modelos de IA que utilicen 10,000 veces más recursos computacionales que los sistemas actuales. La principal limitación en este caso será el consumo de energía.

Sin embargo, la implementación de este crecimiento a gran escala requerirá enormes inversiones. El director general de Anthropic, Dario Amodei, estima que el costo de entrenar un modelo podría aumentar de los $1,000 millones actuales a $10,000 millones el próximo año, y alcanzar los $100,000 millones en los años siguientes.

La disposición de las empresas a invertir tales sumas dependerá de la utilidad práctica de los sistemas de IA. Si la escalabilidad continúa proporcionando mejoras significativas y nuevas capacidades, las inversiones podrían estar justificadas. Según las estimaciones de Epoch AI, si la IA logra automatizar una parte sustancial de las tareas económicas, el retorno financiero podría calcularse en billones de dólares.

No obstante, algunos críticos consideran que los grandes modelos de lenguaje y multimodales podrían resultar ser un callejón sin salida costoso en el desarrollo tecnológico. También existe la posibilidad de un avance que permita lograr más con menos recursos, similar a cómo el cerebro humano se entrena continuamente, consumiendo la energía de una sola bombilla y utilizando muchos menos datos que los disponibles en Internet.