Phi Silica de Microsoft: el modelo más compacto y sus enormes posibilidades

Microsoft ha presentado Phi Silica , el primer Small Language Model (SLM) para optimizar el rendimiento de la inteligencia artificial en computadoras personales. Este producto ayudará a resolver el problema de los altos costos computacionales que a menudo sobrecargan las unidades centrales y de procesamiento gráfico, reduciendo la eficiencia general del sistema.

Con solo 3,3 mil millones de parámetros, Phi Silica es el modelo más compacto de la familia Phi de Microsoft. A pesar de su pequeño tamaño, muestra un rendimiento notable: la latencia en la generación del primer token es de 650 tokens por segundo, y el consumo de energía es de solo 1,5 vatios. Esto permite liberar recursos de la CPU y GPU para otras tareas, asegurando un funcionamiento fluido de las demás aplicaciones.

Phi Silica está diseñada específicamente para las unidades de procesamiento neural (NPU) de las nuevas computadoras personales Copilot+. La generación de tokens del modelo utiliza la caché KV en la NPU y opera en la CPU, produciendo alrededor de 27 tokens por segundo. Los desarrolladores tendrán acceso a la API de Phi Silica a través del Windows App SDK, lo que les ayudará a crear aplicaciones innovadoras con AI en el ecosistema de Windows.

Las funcionalidades de Phi Silica incluirán el reconocimiento óptico de caracteres (OCR), efectos de estudio, subtítulos en vivo y una API para el seguimiento de la actividad del usuario. En el futuro, se planea agregar incrustaciones vectoriales, una API para la generación de respuestas aumentadas por recuperación (RAG) y la referencia automática de texto.

Phi Silica forma parte de la serie Phi-3 junto con los modelos Phi-3-mini (3,8 mil millones de parámetros), Phi-3-small (7 mil millones de parámetros), Phi-3-medium (14 mil millones de parámetros) y el recientemente anunciado Phi-3-vision (4,2 mil millones de parámetros). Sin embargo, Phi Silica será el primer modelo avanzado de pequeño tamaño que se distribuirá con Windows, marcando un paso importante en la ampliación del acceso de los usuarios finales a las capacidades avanzadas de inteligencia artificial.

Las primeras computadoras Copilot+ con soporte para Phi Silica saldrán a la venta a mediados de junio de 2024. Estarán equipadas con procesadores Snapdragon X Elite y Plus de Qualcomm basados en la arquitectura Arm. Más adelante, en el tercer trimestre de 2024, se espera el lanzamiento de portátiles Copilot+ con procesadores Lunar Lake de Intel.