Meta 816 миллиард параметрлері бар Muse Spark Open атты AI моделінің салмақтарын шығарды. Бұл дамуды Meta Superintelligence Labs бөлімі жүзеге асырды. Модель бағдарламалау, күрделі ойлау және AI агенттерінің автономды жұмыс істеуі үшін жасалған. Ол MoE архитектурасына негізделген: 816 миллиард параметрдің тек 42 миллиарды әрбір токенді өңдеу үшін қолданылады. Контекстік терезе 1 миллион токеннен тұрады, және модель мәтін, сурет, аудио және бейнені қабылдайды. Meta Muse Spark Open-ды қазіргі уақытқа дейінгі ашық салмақтары бар ең қуатты америкалық нейрондық желі деп атайды.
Жергілікті орналастыру үшін Meta Apple компаниясымен бірлесе отырып, модельді M5 Ultra процессорлары бар Mac Studio үшін оңтайландырды. Әрбір құрылғы 1.2 TB/s өткізу қабілеті бар 512 ГБ дейінгі біріккен жадпен жабдықталған. Әзірлеушілердің айтуынша, екі компьютер модельдің параметрлерін толығымен орналастырып, бұлтты серверлерсіз жұмыс істей алады. Құрылғыларды қосу үшін MLX фреймворкі және Thunderbolt 5 технологиясы арқылы RDMA қолданылды.
Сынақтарда, екі Mac Studio тензорлық тарату схемасымен секундына шамамен 25 токен, ал құбыр схемасымен шамамен 15.7 токен берді. Төрт құрылғымен жылдамдық 8192 токен контекстімен секундына 36.7 токенге дейін артты. Төрт биттік кванттау қолданылды, бұл параметрлер үшін жад көлемін шамамен 493 ГБ-қа дейін азайтты.
Орналастыру үшін 512 ГБ жадпен екі Mac Studio немесе 256 ГБ жадпен төрт құрылғы қажет. Engadget мәліметінше, екінші нұсқа шамамен $38,000 тұрады. 512 ГБ конфигурациясы әлі шығарылған жоқ: Apple оны қазан айының соңында іске қосуды уәде етті.
Muse Spark Open Hugging Face платформасында Muse Model License лицензиясымен қолжетімді. Ол коммерциялық пайдалануға мүмкіндік береді, бірақ жылдық табысы $20 миллионнан асатын компаниялар API арқылы қолжетімділік ұсыну үшін Meta-мен бөлек келісім жасауы қажет.
Бұл материал тек таныстыру-ақпараттық мақсатта дайындалған және қаржылық кеңес не ұсыным болып табылмайды.
Ұқсас мақалалар
