وصف الباحثون من الصين سلوكًا حيث يطلب وكيل الذكاء الاصطناعي الذي لديه وصول إلى أدوات خارجية المزيد من البيانات الشخصية أكثر مما هو مطلوب للمهمة. ظهر التأثير في جميع النماذج السبعة التي تم اختبارها. يُطلق على العمل اسم OverAct، وقد اقترح مؤلفوه طريقة للحد من شهية الوكلاء: بدون الوصول إلى الإجابة الصحيحة، يتم تقليص الطلبات الزائدة إلى النصف تقريبًا. لفت الانتباه إلى البحث مؤلف مدونة Superman في X. وفقًا له، يمنح المطورون المساعد وصولًا إلى التقويم أو الملف أو القاعدة وينتظرون الامتثال لمبدأ الامتيازات الدنيا، بينما يجلب النموذج كل ما يمكن الوصول إليه. يسمي هذا انجراف السلوك وليس خللًا: النظام يهدف إلى حل المهمة بأي ثمن ويعتبر القيود عائقًا. يعبر المؤلفون أنفسهم بشكل أكثر ليونة، مشيرين إلى توسيع الإجراءات خارج ما يتبع مباشرة من كلمات المستخدم.
أعد المقالة تاولين تشانغ وجيوهين وان من جامعة هيفي للتكنولوجيا، وهانيو وانغ وتينغيوان هو من جامعة شرق الصين للمعلمين، وكذلك تشينغيو وانغ من Alibaba Cloud Computing. جمع المؤلفون مجموعة اختبارات OverAct: ثمانية مجالات تحتوي على بيانات شخصية حساسة، تقييم وفقًا لقواعد واضحة، بدون نموذج حكم. اجتازت سبعة نماذج من أربع عائلات الاختبار، وخرجت جميعها عن الحدود المسموح بها. في مثال مع وكيل بنكي، يطلب المستخدم التحقق من الرصيد، لكن المساعد يقوم برفع تاريخ العمليات وبيانات الحساب التراكمي ومعلومات البطاقات. في حالة أخرى، يؤدي السؤال عن موعد الطبيب إلى تحميل الأدوية والتحاليل وتاريخ التشخيصات. كان التأثير الرئيسي هو دقة الطلب: كلما كانت الصياغة أكثر غموضًا، كلما وسع الوكيل تفسير الصلاحيات. كلما زادت الأدوات المتاحة، كلما زادت الفائض ببطء، ولم تؤثر العشوائية في الإعدادات على شيء تقريبًا. الاستنتاج: السبب في طبيعة الوكيل وليس في التوليد العشوائي.
ردًا على ذلك، اقترح المؤلفون طريقة SelfAudit. تعمل أثناء التوليد ولا تتطلب إعادة تدريب: يجب على الوكيل تبرير كل طلب برابط إلى مهمة المستخدم، ويتم استبعاد الطلبات غير المبررة مسبقًا. أظهر التحليل أن التأثير الرئيسي يأتي من التصفية وليس التفسير. ينخفض فائض الطلبات على البيانات الشخصية بنسبة 43%. في سياق التنظيم: كانت النرويج الأولى في تقييد ارتداء نظارات الذكاء الاصطناعي في الحدائق والمتاحف ومراكز التسوق والأماكن التي تحتوي على غرف تبديل الملابس، وأشارت النائبة من كازاخستان يكاترينا سميشليفا إلى أنها تدرب النماذج، حيث يمكن تنظيم ما تفهمه فقط. التفويض الزائد مثال نموذجي: لا يبدو كاختراق أو هجوم، لذلك لا يقع ضمن الصيغ القياسية للوصول المحظور.
أُعدت هذه المادة لأغراض معلوماتية وتعريفية فقط ولا تشكل نصيحة أو توصية مالية.
مقالات ذات صلة
