Cisco Project Quarry-ды бақылаусыз AI агенттерін анықтау үшін бастапқы кодын ашты

Cisco ашық бастапқы код ретінде Project Quarry-ді ұсынды, бұл AI агенттерін бақылайтын және қауіпсіздік топтарына агенттердің бақылаудан шығуын болдырмауға көмектесетін мінез-құлықты анықтау қозғалтқышы, Hugging Face бұзылуында көрінгендей. Жоба агенттердің мінез-құлқын бағалау үшін ортақ тіл беруді мақсат етеді, Cisco қолдайтын Snort және YARA сияқты.

Көптеген анықтау құралдары модельмен нақты өзара әрекеттесуге сүйенеді: егер біреу сұрауды енгізуге тырысса немесе агент шабуыл құралын іске қосса. "Бірақ жетіспейтін нәрсе - бұл бір нәрсе болуы мүмкін бүкіл контекст," - деді Cisco-ның AI қауіп-қатер және қауіпсіздік зерттеулерінің басшысы Эми Чанг The Register-ге берген сұхбатында. Ол мұны несие картасы алаяқтықты анықтаумен салыстырды: кішкентай сынақ төлемі немесе үйден алыс жерде сатып алу күдік тудырмауы мүмкін, бірақ осындай транзакциялар сериясы сигнал болып табылады. Quarry бүкіл агент сессиясын қарастырады: бір құралдың шақырылуы рұқсат етілген болып көрінеді, бірақ келесі қадам деректерді шабуылдаушының серверіне жібергенде.

Деректерді ұрлау да бірізділік болып табылады. Invariant Labs бұл MCP GitHub серверінде зиянды өңдеу арқылы шабуылмен көрсетті: пайдаланушының агенті жеке репозиторийлерден деректерді ағытты. "Ереже құпия файлды оқу ізде көрінгенде, содан кейін сыртқы жіберу белгілі бір терезе ішінде болғанда іске қосылуы мүмкін," - деп жазады Чанг, Адам Сванда, Равикумар Балакришнан және Константин Берлин Quarry туралы блог жазбасында.

Quarry модельдермен, агенттермен, құралдарды пайдаланумен, Model Context Protocol арқылы өзара әрекеттесумен және мультимодальды кіріс деректерімен бір және көп айналымды диалогтарды қамтиды. GitHub репозиторийінде орнату нұсқаулары, қолдау көрсетілетін Python нұсқалары, Claude Code, Codex және басқа MCP-үйлесімді агенттерге арналған кеңейтімдер, конфигурация мысалдары, ережелер жазу бойынша нұсқаулық және бастапқы жинақ бар. Егер құрал шақыруы base-64 кодталған зиянды кодты қамтыса, ол блокқа әкеледі. Ереже форматы YARA немесе Snort-қа ұқсайды: тексерілетін трафикті сипаттайтын тақырып, сәйкестендіру үшін мазмұн және метадеректер.

Зерттеушілер Quarry-ді OpenAI және Hugging Face оқиға деректерінде іске қоспады, бірақ егер бұзу бір сессияның толық жазбасы ретінде оқылса, ереже іске қосылуы мүмкін еді, мысалы, тапсырманың рұқсат етілген тізімінен тыс серверге құмсалғыштан интернетке кіру немесе басқа жерде пайдаланылған табылған тіркелгі деректері. OpenAI есебіне сәйкес, 10 шілдеде агент жазу рұқсаттары бар 14 ашық Hugging Face токендерін тексеріп, оларды бөлісті.

Cisco ережелердің ойлау тізбегін және адам бақылауын алмастырмайтынын, бірақ басқа топтар өз агенттеріне тексеріп, қолдана алатын үлгіні түсіруге көмектесетінін атап өтеді. "Бізде барлық жауаптар жоқ," - дейді Чанг. "Біз бәріміз мәселенің әртүрлі бөліктерін көреміз және көргендерімізбен бөлісу маңызды."