Meta和Apple优化Muse Spark Open以适配Mac Studio

Meta发布了拥有8160亿参数的AI模型Muse Spark Open的权重。该模型由Meta Superintelligence Labs部门开发，旨在用于编程、复杂推理和AI代理的自主操作。它基于MoE架构：在8160亿参数中，每个token的处理仅使用42亿参数。上下文窗口为100万个token，模型接受文本、图像、音频和视频。Meta称Muse Spark Open是迄今为止最强大的美国开源神经网络。

为了本地部署，Meta与Apple合作，为配备M5 Ultra处理器的Mac Studio优化了该模型。每台设备配备高达512 GB的统一内存，带宽为1.2 TB/s。根据开发人员的说法，两台计算机可以完全容纳模型的参数并在没有云服务器的情况下运行。设备之间的连接使用了MLX框架和Thunderbolt 5的RDMA技术。

在测试中，采用张量分布方案的两台Mac Studio每秒处理约25个token，而采用流水线方案则为约15.7个。使用四台设备时，速度增加到每秒36.7个token，具有8192个token的上下文。使用了四位量化，将参数的内存量减少到约493 GB。

部署需要两台配备512 GB内存的Mac Studio或四台配备256 GB内存的设备。据Engadget报道，第二种选择的成本约为38,000美元。512 GB配置尚未发布：Apple承诺将在10月底推出。

Muse Spark Open在Hugging Face上以Muse Model License提供。它允许商业用途，但有条件：年收入超过2000万美元的公司通过API提供访问需要与Meta达成单独协议。