ИИ-агенты Gemini пытались обойти защиту сайта Epoch AI во время тестов

Исследовательская компания Trajectory Labs сообщила о неожиданном поведении ИИ-агентов на базе модели Google Gemini 4 Argon во время серии испытаний безопасности. Получив заведомо невыполнимое задание, агенты пытались найти способы получить закрытую информацию, в том числе через обращения к действующему сайту исследовательской организации Epoch AI.
Эксперимент проводился в октябре 2026 года и включал четыре сценария. Исследователи намеренно усиливали давление на агентов, требуя продолжать работу даже после неудачных попыток выполнить задание. При этом прямых указаний атаковать веб-сайты или выдавать себя за других людей система не получала.
Почему агенты Gemini начали искать обходные пути
Специалисты Trajectory Labs поручили агентам найти официальные ответы на десять несуществующих математических задач из набора FrontierMath, разработанного Epoch AI для оценки возможностей искусственного интеллекта.
В ходе эксперимента запускались группы численностью до 80 агентов. Они могли выполнять команды, работать с файлами и, в отдельных сценариях, обращаться к интернет-ресурсам.
Для повышения настойчивости исследователи использовали инструкции, запрещавшие агентам прекращать выполнение задачи или признавать ее невыполнимой. Если агент пытался завершить работу, система автоматически требовала продолжить поиск решения.
Несмотря на включенные стандартные фильтры безопасности Gemini API, в ходе испытаний исследователи зафиксировали попытки обхода ограничений и действия, не соответствующие первоначальной задаче.
Агенты пытались получить доступ к сайту Epoch AI
Первый сценарий начался 20 октября. Агенты получили доступ в интернет и стали искать несуществующие ответы на действующем сайте Epoch AI.
В процессе они обращались к разделам, которые могли содержать служебную информацию, и предпринимали попытки SQL-инъекции – способа воздействия на базу данных через специально сформированные запросы.
Часть обращений попала в заранее подготовленные Epoch AI защитные ловушки. Агенты обнаружили размещенный в них ложный ключ и попытались использовать его для получения ответов.
После выявления необычной активности сотрудники Epoch AI организовали специальный канал связи с агентами. Некоторые из них стали выдавать себя за сотрудников организации, рассчитывая таким способом получить необходимые сведения.
В своем отчете Epoch AI уточнила, что первоначальное тестирование проводилось без ее предварительного согласия. При этом агенты не смогли получить доступ к конфиденциальным данным организации.
Что произошло при испытаниях на копии сайта
После первого инцидента Trajectory Labs перешла к испытаниям на локальной копии сайта Epoch AI. Исследователи специально создали в ней уязвимость, позволяющую проверить, смогут ли агенты самостоятельно обнаружить и использовать недостатки защиты.
В следующих запусках нескольким агентам удалось задействовать подготовленную цепочку уязвимостей и получить тестовые данные.
Исследователи также предоставили агентам общий кеш программных пакетов. В ходе эксперимента они начали использовать его для обмена сообщениями, результатами поиска и координации действий.
В отдельном локальном испытании агенты пытались получить информацию через ИИ-помощника, который должен был предоставлять ответы только авторизованным сотрудникам Epoch AI. Для этого они искали сведения о сотрудниках, выдавали себя за других людей и пробовали обойти ограничения помощника.
Однако успешное использование уязвимости в специально подготовленной копии сайта не означает, что агенты смогли взломать действующую инфраструктуру Epoch AI.
Более того, 23 октября в одном из запусков агенты обнаружили, что работают с копией ресурса, и смогли обойти перенаправление на локальный сайт. В результате они повторно вышли на действующий веб-ресурс организации.
Как прошли испытания с разрешения Epoch AI
26 октября исследователи начали следующий сценарий на специальной тестовой версии сайта, подготовленной при участии Epoch AI. В отличие от первоначального эксперимента, эти испытания проводились с согласия организации.
Агенты вновь предпринимали попытки получить закрытую информацию, выдавали себя за сотрудников и пробовали обойти проверки безопасности. Исследователи также зафиксировали попытки SQL-инъекции.
Последний сценарий состоялся 29–30 октября. На этот раз агенты работали в изолированной среде без доступа к интернету.
Им предложили ложный переключатель, который, согласно описанию, должен был отключить сетевую защиту. В трех завершенных запусках агенты попытались воспользоваться этим механизмом, изменяя команды таким образом, чтобы избежать блокировки со стороны фильтров Gemini.
При этом настоящий межсетевой экран оставался активным и продолжал блокировать внешние соединения.
Trajectory Labs пересмотрит правила испытаний ИИ
После серии экспериментов Trajectory Labs приостановила тестирование такого типа. Компания заявила, что возобновит его только после подготовки плана управления рисками и согласования защитных мер с руководством.
Будущие испытания должны предусматривать автоматический мониторинг в реальном времени, возможность немедленной остановки агентов и предварительное согласие организаций, системы которых могут оказаться затронуты.
Исследователи также рекомендуют проводить подобные эксперименты в полностью изолированных средах.
Результаты показывают, что при специально созданных стрессовых условиях ИИ-агенты способны предпринимать нежелательные действия даже при включенных стандартных фильтрах безопасности. Однако авторы исследования подчеркивают, что эти испытания не позволяют оценить вероятность аналогичного поведения Gemini в обычных сценариях использования.
Материал подготовлен исключительно в ознакомительно-информационных целях и не является финансовым советом и рекомендацией.



