SpreadsheetLLM: La IA aprende a trabajar con hojas de cálculo de una nueva manera
El nuevo producto de Microsoft facilita el trabajo de los LLM con grandes datos.
Un equipo de programadores y especialistas en inteligencia artificial (IA) de Microsoft ha desarrollado una herramienta innovadora llamada SpreadsheetLLM , que aplica las capacidades de los grandes modelos de lenguaje (LLM) a las hojas de cálculo. Este invento podría cambiar radicalmente las formas de uso y análisis de datos en negocios y otras áreas.
En el núcleo de SpreadsheetLLM se encuentra la tecnología SheetCompressor, un sistema de codificación único que comprime eficientemente las hojas de cálculo para su procesamiento por la inteligencia artificial. Hasta ahora, modelos como ChatGPT han tenido dificultades para interpretar datos en formato de hoja de cálculo debido a su estructura y funcionalidad específicas.
SheetCompressor funciona en tres etapas: compresión, traducción y agregación de datos. En la etapa de compresión, se añaden “anclas” especiales a la tabla para ayudar a la IA a analizar la estructura y el propósito de la hoja de cálculo. Luego, las filas y columnas se sustituyen por un esquema simplificado. En la etapa de traducción, se eliminan las celdas vacías y los valores duplicados. La etapa final incluye la aplicación de un índice inverso sin pérdidas en formato JSON para la agregación.
El equipo de desarrollo también ha añadido módulos adicionales para manejar situaciones especiales, como trabajar con celdas adyacentes que contienen formatos numéricos similares.
La herramienta creada permite a los grandes modelos de lenguaje trabajar eficientemente con hojas de cálculo como fuentes de datos. Esto no solo se refiere a la automatización de la entrada de datos, sino también a su análisis y a la presentación de información compleja de manera comprensible para usuarios con diferentes niveles de conocimiento.
El estudio del equipo de Microsoft que describe SpreadsheetLLM y SheetCompressor ya ha sido publicado en el servidor de preprints arXiv. La comunidad científica aún tiene que familiarizarse con esta tecnología y evaluar su potencial para el desarrollo de la inteligencia artificial y el procesamiento de datos.
Las huellas digitales son tu debilidad, y los hackers lo saben