Meta открыла веса ИИ-модели Muse Spark Open на 816 млрд параметров. Разработкой занималось подразделение Meta Superintelligence Labs. Модель предназначена для программирования, сложных рассуждений и автономной работы ИИ-агентов. Она построена на архитектуре MoE: из 816 млрд параметров при обработке каждого токена задействуются только 42 млрд. Контекстное окно составляет 1 млн токенов, модель принимает текст, изображения, аудио и видео. Meta называет Muse Spark Open самой мощной американской нейросетью с открытыми весами на сегодняшний день.
Для локального запуска Meta совместно с Apple оптимизировала модель под Mac Studio с процессорами M5 Ultra. Каждое устройство оснащено унифицированной памятью до 512 ГБ с пропускной способностью 1,2 ТБ/с. По словам разработчиков, два компьютера в связке вмещают параметры модели целиком и работают без облачных серверов. Для объединения устройств использовали фреймворк MLX и технологию RDMA over Thunderbolt 5.
В тестах два Mac Studio с тензорной схемой распределения выдавали около 25 токенов в секунду, с конвейерной около 15,7. С четырьмя устройствами скорость выросла до 36,7 токена в секунду при контексте 8192 токена. Использовалась четырехбитная квантизация, сократившая объем памяти под параметры примерно до 493 ГБ.
Для запуска нужны два Mac Studio с 512 ГБ памяти или четыре устройства с 256 ГБ. По оценке Engadget, второй вариант обойдется примерно в $38 000. Конфигурация с 512 ГБ еще не поступила в продажу: Apple обещала выпустить ее в конце октября.
Muse Spark Open доступна на Hugging Face под лицензией Muse Model License. Она разрешает коммерческое использование с оговорками: компаниям с выручкой более $20 млн в год, предоставляющим доступ по API, нужен отдельный договор с Meta.
Материал подготовлен исключительно в ознакомительно-информационных целях и не является финансовым советом и рекомендацией.
Похожие статьи
