قدمت Nvidia منصة Open Agent Safety Platform – وهي منصة مفتوحة مصممة لمراقبة تصرفات الوكلاء الذكاء الاصطناعي المستقلين. وذكرت الشركة أن الحل يسمح بتحديد حدود وصول واضحة للنماذج والتحقق من الصلاحيات اللازمة فعليًا لأداء مهمة معينة. تعتقد Nvidia أن هذا النهج يمكن تطبيقه عند اختبار أنظمة الذكاء الاصطناعي الأكثر تعقيدًا، خاصة تلك التي يمكنها تنفيذ تسلسل من الإجراءات بشكل مستقل في الخدمات الخارجية والبيئات الحاسوبية. ظهرت المنصة في ظل تقارير من الشركات التكنولوجية عن حالات قامت فيها أنظمة الذكاء الاصطناعي بتنفيذ عمليات خارج الحدود المحددة مسبقًا. من بين هذه الحوادث – اختراق وكلاء الذكاء الاصطناعي لشركة OpenAI لشركة Hugging Face، وكذلك اختراق موقع وزارة الصحة الأسترالية. وأبلغت Anthropic وMeta عن حالات مماثلة خاصة بهما.
صرح نائب رئيس Nvidia للذكاء الاصطناعي المؤسسي، جاستين بويتانو، أن المنصة الجديدة، وفقًا للمعلومات المتاحة، كان يمكن أن توقف اختراق Hugging Face إذا تم تطبيقها في المختبرات الرائدة في المراحل المبكرة من تقييم النماذج.
أحد مكونات المنصة هو OpenShell. يتيح هذا الأداة للمطورين التحقق رسميًا مما إذا كان الوكيل الذكاء الاصطناعي يمتلك الصلاحيات الكافية للعمل وما إذا كان يحصل على وصول زائد. يتم توزيع الحل كبرنامج مفتوح المصدر، مما يجعله قابلًا للتكيف للعمل مع منصات الحوسبة من مختلف الشركات المصنعة، بما في ذلك Arm وIntel. المكون الثاني، Sentry، يمثل طبقة حماية منفصلة تعمل مباشرة على الرقائق. يراقب باستمرار تصرفات الوكيل الذكاء الاصطناعي، ووفقًا لـ Nvidia، يمكنه التدخل عند اكتشاف سلوك يتجاوز الحدود المحددة. وذكرت الشركة أن الوكيل المشبوه يمكن عزله في غضون ميلي ثانية.
عند الإطلاق، ذكرت Nvidia أن أكثر من 100 منظمة تستخدم المنصة. من بين هذه المنظمات تم ذكر Microsoft وPerplexity وAccenture وJPMorgan Chase. وأعلنت الشركة بشكل منفصل أن مجلس الإدارة وافق على إضافة 150 مليار دولار لإعادة شراء الأسهم، مما يرفع إجمالي برنامج إعادة الشراء إلى 235 مليار دولار.
مقالات ذات صلة
