Meta는 8160억 개의 매개변수를 가진 AI 모델 Muse Spark Open의 가중치를 공개했습니다. 이 개발은 Meta Superintelligence Labs 부서에 의해 수행되었습니다. 이 모델은 프로그래밍, 복잡한 추론 및 AI 에이전트의 자율 운영을 위해 설계되었습니다. MoE 아키텍처를 기반으로 하며, 8160억 개의 매개변수 중 420억 개만 각 토큰 처리를 위해 사용됩니다. 컨텍스트 윈도우는 100만 토큰이며, 텍스트, 이미지, 오디오 및 비디오를 수용합니다. Meta는 Muse Spark Open을 현재까지 가중치가 공개된 가장 강력한 미국의 신경망이라고 부릅니다.
로컬 배포를 위해 Meta는 Apple과 협력하여 M5 Ultra 프로세서가 장착된 Mac Studio에 모델을 최적화했습니다. 각 장치는 1.2 TB/s의 대역폭을 가진 최대 512 GB의 통합 메모리를 갖추고 있습니다. 개발자에 따르면, 두 대의 컴퓨터가 모델의 매개변수를 완전히 수용하고 클라우드 서버 없이 작동할 수 있습니다. 장치 연결에는 MLX 프레임워크와 Thunderbolt 5를 통한 RDMA 기술이 사용되었습니다.
테스트에서는 텐서 분배 스킴을 사용한 두 대의 Mac Studio가 초당 약 25개의 토큰을 전달했으며, 파이프라인 스킴에서는 약 15.7개를 전달했습니다. 네 대의 장치를 사용하면 8192 토큰의 컨텍스트에서 초당 36.7개의 토큰으로 속도가 증가했습니다. 4비트 양자화를 사용하여 매개변수의 메모리 용량을 약 493 GB로 줄였습니다.
배포를 위해서는 512 GB 메모리를 가진 두 대의 Mac Studio 또는 256 GB를 가진 네 대의 장치가 필요합니다. Engadget에 따르면, 두 번째 옵션의 비용은 약 $38,000입니다. 512 GB 구성은 아직 출시되지 않았으며, Apple은 이를 10월 말에 출시할 것이라고 약속했습니다.
Muse Spark Open은 Muse Model License 하에 Hugging Face에서 사용할 수 있습니다. 연간 수익이 2000만 달러를 초과하는 회사가 API를 통해 액세스를 제공하려면 Meta와 별도의 계약이 필요합니다.
이 자료는 정보 제공 목적으로만 작성되었으며 재무 자문이나 권장 사항을 구성하지 않습니다.
관련 도움말
