أصدرت Meta أوزان نموذج الذكاء الاصطناعي Muse Spark Open مع 816 مليار معلمة. تم تطويره بواسطة قسم Meta Superintelligence Labs. النموذج مصمم للبرمجة والاستدلال المعقد وتشغيل وكلاء الذكاء الاصطناعي بشكل مستقل. يعتمد على بنية MoE: من بين 816 مليار معلمة، يتم استخدام 42 مليار فقط لمعالجة كل رمز. نافذة السياق هي مليون رمز، ويقبل النموذج النصوص والصور والصوت والفيديو. تسمي Meta نموذج Muse Spark Open أقوى شبكة عصبية أمريكية بأوزان مفتوحة حتى الآن.
للنشر المحلي، قامت Meta بالتعاون مع Apple بتحسين النموذج لجهاز Mac Studio مع معالجات M5 Ultra. كل جهاز مجهز بذاكرة موحدة تصل إلى 512 جيجابايت مع عرض نطاق 1.2 تيرابايت/ثانية. وفقًا للمطورين، يمكن لجهازين كمبيوتر معًا استيعاب معلمات النموذج بالكامل والعمل بدون خوادم سحابية. تم استخدام إطار عمل MLX وتكنولوجيا RDMA عبر Thunderbolt 5 لربط الأجهزة.
في الاختبارات، قدم جهازان من Mac Studio مع مخطط توزيع التنسور حوالي 25 رمزًا في الثانية، ومع مخطط الأنابيب حوالي 15.7. مع أربعة أجهزة، زادت السرعة إلى 36.7 رمزًا في الثانية مع سياق من 8192 رمزًا. تم استخدام التكميم بأربعة بتات، مما قلل حجم الذاكرة للمعلمات إلى حوالي 493 جيجابايت.
للنشر، يتطلب الأمر جهازين من Mac Studio بذاكرة 512 جيجابايت أو أربعة أجهزة بذاكرة 256 جيجابايت. وفقًا لـ Engadget، ستكلف الخيار الثاني حوالي 38,000 دولار. لم يتم إصدار تكوين 512 جيجابايت بعد: وعدت Apple بإطلاقه في نهاية أكتوبر.
يتوفر Muse Spark Open على Hugging Face بموجب ترخيص نموذج Muse. يسمح بالاستخدام التجاري بشروط: الشركات التي تحقق إيرادات تزيد عن 20 مليون دولار سنويًا وتوفر الوصول عبر API تحتاج إلى اتفاقية منفصلة مع Meta.
أُعدت هذه المادة لأغراض معلوماتية وتعريفية فقط ولا تشكل نصيحة أو توصية مالية.
مقالات ذات صلة
