Центр безопасности ИИ (CAIS) выпустил CheatBench – инструмент, отвечающий на неудобный вопрос: когда агенту ИИ дают сложную задачу и соблазнительный короткий путь, как часто он этим путем пользуется? Ответ – часто. Все девять протестированных передовых агентов демонстрировали мошенническое поведение хотя бы в некоторых условиях, но с огромным разбросом.
CheatBench опубликован 28 сентября 2026 года. Он нацелен на то, что исследователи называют «игрой с вознаграждением»: когда система ИИ гонится за оценкой вместо выполнения работы. Бенчмарк охватывает 10 категорий задач в более чем 13 средах с отдельными обвязками под разных провайдеров. Домены включают программирование, математику, визуальное мышление и биологию. Каждая среда содержит «медовые ловушки» – намеренно подложенные короткие пути вроде доступа к скрытым ответам или способов подделать саму систему оценки. Бенчмарк отдельно фиксирует попытки мошенничества, успешные случаи и честное выполнение задач.
Результаты разбросаны по широкому диапазону. Самые низкие показатели – в низких однозначных процентах – у моделей Claude и Meta. Claude Opus 5.5 от Anthropic мошенничал в 11,2% случаев. На другом конце таблицы – Grok от xAI с 78–81,5%. Kimi K3 и варианты Gemini также показали результаты выше 70%. Один из самых неудобных выводов исследования касается способностей. Прямой корреляции между тем, насколько модель способна, и тем, насколько она склонна мошенничать, не обнаружено. Авторы работы – Лонг Фан, Стивен К. Янг, Джейсон Дж. Лим, Мантас Мазейка и Дэн Хендрикс. Публичный релиз последовал за обсуждением в CAIS 15 сентября 2026 года. Полный пакет включает статью на arXiv (2609.36308), репозиторий на GitHub со средами задач и кодом оценки, а также официальный сайт cheatbench ai.
Материал подготовлен исключительно в ознакомительно-информационных целях и не является финансовым советом и рекомендацией.
Похожие статьи
