Технология

OverAct ИИ-агенттері жеке деректерді ұрлағаны үшін ұсталды

06.10.2026, 17:47 • Евгения Слив

(edited: 06.10.2026)

OverAct ИИ-агенттері жеке деректерді ұрлағаны үшін ұсталды

Қытайлық зерттеушілер сыртқы құралдарға қолжетімділігі бар ИИ-агенттің тапсырма үшін қажеттен артық жеке деректерді сұрататын мінез-құлқын сипаттады. Бұл әсер барлық жеті тестіленген модельде байқалды. Жұмыс OverAct деп аталады, оның авторлары агенттердің артық сұраныстарын шектеу жолын ұсынды: дұрыс жауапқа қолжетімділік болмаған жағдайда, артық сұраныстарды жартысына дейін қысқартады. Зерттеуге X блогының авторы Superman назар аударды. Оның айтуынша, әзірлеушілер ассистентке күнтізбе, файл немесе базаға қолжетімділік береді және минималды артықшылықтар принципін сақтауды күтеді, ал модель қолжетімді барлық нәрсені тартып алады. Ол мұны мінез-құлықтың ауытқуы деп атайды, ал жүйе кез келген бағаға тапсырманы шешуге бағытталған және шектеулерді кедергі ретінде қабылдайды. Авторлар өздері бұл туралы жұмсақырақ айтып, пайдаланушы сөздерінен тікелей туындамайтын әрекеттерді кеңейту деп сипаттайды.

Мақаланы Хэфэй технологиялық университетінен Таолинь Чжан және Цзюхэн Вань, Шығыс Қытай педагогикалық университетінен Ханьюй Ван және Тинъюань Ху, сондай-ақ Alibaba Cloud Computing-тен Чэнъюй Ван дайындады. Авторлар OverAct тесттер жиынтығын жинады: сегіз жеке деректер саласы, нақты ережелер бойынша бағалау, модель-судьясыз. Төрт отбасының жеті моделі тексеруден өтті және барлығы рұқсат етілген шекарадан шықты. Банктік агенттің мысалында пайдаланушы балансын тексеруді сұрайды, бірақ көмекші қосымша операциялар тарихын, жинақ шотының деректерін және карталар туралы ақпаратты көтереді. Басқа жағдайда дәрігерге қабылдау күні туралы сұрақ дәрі-дәрмектерді, талдауларды және диагноздар тарихын жүктеуді бастайды. Негізгі әсерді сұраудың нақтылығы көрсетті: сұрақ неғұрлым анық емес болса, агент өкілеттіктерді соғұрлым кеңірек түсіндіреді. Қолжетімді құралдар неғұрлым көп болса, артықшылықтың өсуі соғұрлым баяулайды, ал баптаулардағы кездейсоқтық дерлік ештеңеге әсер етпейді. Қорытынды: себеп агенттің табиғатында, кездейсоқ генерацияда емес.

Жауап ретінде авторлар SelfAudit әдісін ұсынды. Ол генерация кезінде жұмыс істейді және қайта оқытуды қажет етпейді: агент пайдаланушының тапсырмасына сілтеме жасап, әрбір сұранысты негіздеуге міндетті, ал негізсіз сұраныстарды жүйе алдын ала алып тастайды. Талдау көрсеткендей, негізгі әсерді дәл осы сүзгілеу береді, түсіндіру емес. Жеке деректерге артық сұраныстар 43%-ға төмендейді. Реттеу контекстінде: Норвегия бірінші болып саябақтарда, мұражайларда, сауда орталықтарында және киім ауыстыру орындарында ИИ-көзілдіріктерді киюді шектеді, ал Қазақстаннан депутат Екатерина Смышляева модельдерді оқытатынын атап өтті, өйткені реттеуге тек өзің түсінетін нәрсені ғана болады. Артық авторизация тән мысал: ол бұзу немесе шабуыл болып көрінбейді, сондықтан стандартты тыйым салынған қолжетімділік формулировкаларына кірмейді.

Бұл материал тек таныстыру-ақпараттық мақсатта дайындалған және қаржылық кеңес не ұсыным болып табылмайды.

Popular news