Magic presenta un modelo con una ventana de contexto de 100 millones de tokens

La empresa Magic , especializada en inteligencia artificial, ha hecho un anuncio sorprendente. Los desarrolladores afirman haber creado un modelo de lenguaje grande (LLM) con una ventana de contexto de 100 millones de tokens. Este logro podría ser un gran avance en la solución de uno de los problemas más comunes en los chatbots actuales: su memoria limitada.

Los tokens son las unidades básicas de texto que procesan los modelos de lenguaje. Pueden representar tanto palabras enteras como partes de ellas. Una ventana de contexto de 100 millones de tokens puede contener un volumen de texto equivalente a aproximadamente 750 novelas. Esto supera con creces la cantidad de información necesaria para mantener un diálogo coherente y abre nuevas posibilidades para trabajar con grandes volúmenes de datos.

Naresh Dullam, vicepresidente de desarrollo de software en JPMorgan Chase, comenta: «Los modelos de lenguaje grandes tienen limitaciones en la cantidad de información que pueden procesar. Sin embargo, la capacidad de atención está creciendo constantemente. Ahí radica la ventaja de una ventana de contexto larga. Cuanta más información puede retener un modelo en su memoria, más datos se le pueden proporcionar para su análisis».

Si Magic realmente ha logrado desarrollar un modelo con una ventana de contexto de 100 millones de tokens, rompería el récord establecido por Google Gemini 1.5 Pro, cuyo límite es de 2 millones. Otros LLM populares, como las últimas versiones de Claude de Anthropic, GPT de OpenAI y Llama de Meta, tienen ventanas de contexto de 200 000 tokens o menos.

Para probar su modelo, Magic ha desarrollado una nueva herramienta llamada HashHop, disponible en GitHub. Los autores señalan que los métodos tradicionales de evaluación de la memoria de IA prueban insertando una frase extraña en un documento largo, como incluir una cita sobre una reunión de café en medio de “Moby Dick”. Sin embargo, las redes neuronales pueden aprender a identificar frases que no encajan en el contexto, lo que las hace exitosas en las pruebas pero ineficaces al buscar información importante en textos largos.

HashHop evalúa la capacidad de la IA para extraer información de manera diferente. Se le proporciona a la inteligencia artificial un documento largo lleno de hashes (secuencias aleatorias de letras y números) y se le pide que encuentre uno específico. En la prueba HashHop, el modelo de Magic fue capaz de recordar los hashes con una precisión del 95 % en una ventana de contexto de 100 millones de tokens. En términos simples, esto significa que podría recordar una sola frase de un corpus equivalente a 750 novelas.

Eric Steinberger, director general de Magic, declaró en el podcast No Priors: «En la práctica, usar un contexto ampliado simplemente funciona mejor». La empresa se ha centrado en esta solución en lugar de entrenar el modelo con datos especializados adicionales o utilizar algoritmos de búsqueda externa. Esto permite a los usuarios cargar todos los datos necesarios directamente en la consulta. «Nuestro modelo ve todos los datos al mismo tiempo», subraya Steinberger.

Sin embargo, no se debe asumir que las ventanas de contexto largas resuelven todos los problemas, y algunos investigadores recomiendan ser cautelosos con las afirmaciones de Magic. Daniel Hashabi, profesor asociado de informática en la Universidad Johns Hopkins, comenta: «Las descripciones de un modelo con una ventana de contexto tan grande suenan ambiciosas, si son precisas. Sin embargo, los factores clave aquí son la implementación práctica y la eficiencia de la tecnología. Después de revisar brevemente la entrada del blog, noté que la información es bastante vaga. Faltan evaluaciones claras, una descripción de la arquitectura y detalles del proceso de entrenamiento». De hecho, todo lo que tenemos es una entrada en el blog: Magic aún no ha publicado un artículo científico, como es común en la comunidad, y el modelo aún no está disponible para el público.

Dullam coincide con las preocupaciones de Hashabi sobre la practicidad y eficiencia del modelo, señalando que un contexto largo puede tener sus desventajas. «Si tienes un contexto ilimitado, surge la tentación de introducir demasiada información. Las personas suelen hacer eso», señala. Como resultado, la respuesta del modelo de lenguaje puede incluir "ruido", lo que reduce la calidad y precisión. Además, esto aumenta significativamente los requisitos de recursos computacionales y de memoria en comparación con otros métodos, como la generación con búsqueda ampliada (RAG).

Aunque sin una versión accesible públicamente las ventajas de la ventana de contexto de 100 millones de tokens de Magic siguen siendo teóricas, este logro destaca una tendencia importante: las ventanas de contexto en los modelos de lenguaje están creciendo, y rápidamente. La versión original de GPT-3.5 de OpenAI tenía una ventana de contexto de solo 4096 tokens. Hoy en día, GPT-4o tiene una ventana de 128 000 tokens. Esta mejora de treinta veces en menos de dos años refleja también un aumento impresionante en la calidad del rendimiento de los modelos durante ese tiempo.