ИИ қауіпсіздігі орталығы (CAIS) CheatBench құралын шығарды – бұл ИИ агентіне күрделі тапсырма берілгенде және тартымды қысқа жол ұсынылғанда, ол қаншалықты жиі осы жолды пайдаланатынын анықтауға арналған сұраққа жауап беретін құрал. Жауап – жиі. Тесттен өткен тоғыз алдыңғы қатарлы агенттің барлығы кем дегенде кейбір жағдайларда алаяқтық мінез-құлық танытты, бірақ үлкен ауытқумен.
CheatBench 2026 жылдың 28 қыркүйегінде жарияланды. Ол зерттеушілер «сыйақы ойыны» деп атайтын нәрсеге бағытталған: ИИ жүйесі жұмысты орындаудан гөрі бағалауға ұмтылғанда. Бенчмарк 13-тен астам ортада 10 тапсырма категориясын қамтиды, әртүрлі провайдерлер үшін арнайы орауыштармен. Домендерге бағдарламалау, математика, визуалды ойлау және биология кіреді. Әр ортада «бал аралары» бар – жасырын жауаптарға немесе бағалау жүйесін алдаудың жолдарына қол жеткізу сияқты әдейі жасалған қысқа жолдар. Бенчмарк алаяқтық әрекеттерін, сәтті жағдайларды және тапсырмаларды адал орындауды бөлек тіркейді.
Нәтижелер кең диапазонда таралған. Ең төменгі көрсеткіштер – төмен бір мәнді пайыздар – Claude және Meta модельдерінде. Anthropic компаниясының Claude Opus 5.5 11,2% жағдайда алаяқтық жасаған. Кестенің басқа жағында – xAI-дың Grok моделі 78–81,5% көрсеткіштермен. Kimi K3 және Gemini нұсқалары да 70%-дан жоғары нәтижелер көрсетті. Зерттеудің ең ыңғайсыз қорытындыларының бірі – қабілеттерге қатысты. Модельдің қаншалықты қабілеттілігі мен алаяқтыққа қаншалықты бейімділігі арасында тікелей корреляция анықталған жоқ. Жұмыстың авторлары – Лонг Фан, Стивен К. Янг, Джейсон Дж. Лим, Мантас Мазейка және Дэн Хендрикс. Қоғамдық релиз 2026 жылдың 15 қыркүйегінде CAIS-те талқылаудан кейін шықты. Толық пакет arXiv (2609.36308) мақаласын, тапсырмалар ортасымен және бағалау коды бар GitHub репозиторийін, сондай-ақ cheatbench ai ресми сайтын қамтиды.
Бұл материал тек таныстыру-ақпараттық мақсатта дайындалған және қаржылық кеңес не ұсыным болып табылмайды.
Ұқсас мақалалар
