Meta ha lanzado los pesos del modelo de IA Muse Spark Open con 816 mil millones de parámetros. El desarrollo fue llevado a cabo por la división Meta Superintelligence Labs. El modelo está diseñado para programación, razonamiento complejo y operación autónoma de agentes de IA. Está construido sobre la arquitectura MoE: de los 816 mil millones de parámetros, solo 42 mil millones se utilizan para procesar cada token. La ventana de contexto es de 1 millón de tokens, y el modelo acepta texto, imágenes, audio y video. Meta llama a Muse Spark Open la red neuronal estadounidense más poderosa con pesos abiertos hasta la fecha.
Para el despliegue local, Meta, en colaboración con Apple, optimizó el modelo para Mac Studio con procesadores M5 Ultra. Cada dispositivo está equipado con memoria unificada de hasta 512 GB con un ancho de banda de 1.2 TB/s. Según los desarrolladores, dos computadoras en tándem pueden acomodar completamente los parámetros del modelo y operar sin servidores en la nube. Se utilizó el marco MLX y la tecnología RDMA sobre Thunderbolt 5 para conectar los dispositivos.
En las pruebas, dos Mac Studios con un esquema de distribución tensorial entregaron alrededor de 25 tokens por segundo, y con un esquema de tubería, alrededor de 15.7. Con cuatro dispositivos, la velocidad aumentó a 36.7 tokens por segundo con un contexto de 8192 tokens. Se utilizó cuantización de cuatro bits, reduciendo el volumen de memoria para los parámetros a aproximadamente 493 GB.
Para el despliegue, se requieren dos Mac Studios con 512 GB de memoria o cuatro dispositivos con 256 GB. Según Engadget, la segunda opción costará aproximadamente $38,000. La configuración de 512 GB aún no ha sido lanzada: Apple prometió lanzarla a finales de octubre.
Muse Spark Open está disponible en Hugging Face bajo la Licencia del Modelo Muse. Permite el uso comercial con condiciones: las empresas con ingresos superiores a $20 millones al año que proporcionen acceso a través de API necesitan un acuerdo separado con Meta.
Este material se ha preparado exclusivamente con fines informativos y no constituye asesoramiento ni recomendación financiera.
Artículos relacionados
