Meta hat die Gewichte des KI-Modells Muse Spark Open mit 816 Milliarden Parametern veröffentlicht. Die Entwicklung wurde von der Meta Superintelligence Labs-Abteilung durchgeführt. Das Modell ist für Programmierung, komplexes Denken und den autonomen Betrieb von KI-Agenten konzipiert. Es basiert auf der MoE-Architektur: Von den 816 Milliarden Parametern werden nur 42 Milliarden für die Verarbeitung jedes Tokens verwendet. Das Kontextfenster umfasst 1 Million Tokens, und das Modell akzeptiert Text, Bilder, Audio und Video. Meta nennt Muse Spark Open das bisher leistungsstärkste amerikanische neuronale Netzwerk mit offenen Gewichten.
Für die lokale Bereitstellung hat Meta in Zusammenarbeit mit Apple das Modell für Mac Studio mit M5 Ultra-Prozessoren optimiert. Jedes Gerät ist mit einem einheitlichen Speicher von bis zu 512 GB mit einer Bandbreite von 1,2 TB/s ausgestattet. Laut den Entwicklern können zwei Computer im Tandem die Parameter des Modells vollständig aufnehmen und ohne Cloud-Server arbeiten. Das MLX-Framework und RDMA über Thunderbolt 5-Technologie wurden verwendet, um die Geräte zu verbinden.
In Tests lieferten zwei Mac Studios mit einem Tensorverteilungsschema etwa 25 Tokens pro Sekunde und mit einem Pipeline-Schema etwa 15,7. Mit vier Geräten erhöhte sich die Geschwindigkeit auf 36,7 Tokens pro Sekunde bei einem Kontext von 8192 Tokens. Eine Vier-Bit-Quantisierung wurde verwendet, wodurch das Speichervolumen für Parameter auf etwa 493 GB reduziert wurde.
Für die Bereitstellung sind zwei Mac Studios mit 512 GB Speicher oder vier Geräte mit 256 GB erforderlich. Laut Engadget wird die zweite Option etwa 38.000 $ kosten. Die 512 GB-Konfiguration wurde noch nicht veröffentlicht: Apple versprach, sie Ende Oktober auf den Markt zu bringen.
Muse Spark Open ist unter der Muse Model License auf Hugging Face verfügbar. Sie erlaubt die kommerzielle Nutzung unter Bedingungen: Unternehmen mit einem Umsatz von über 20 Millionen $ pro Jahr, die Zugang über API bieten, benötigen eine separate Vereinbarung mit Meta.
Das Material dient ausschließlich zu Informationszwecken und stellt keinen finanziellen Rat oder Empfehlung dar.
Ähnliche Artikel
