Компания OpenZeppelin выявила ошибки в бенчмарке OpenAI

1 час назадЕвгения Слив

Эксперты OpenZeppelin подвергли ревизии инструмент EVMbench, выпущенный OpenAI при поддержке инвестфонда Paradigm. Платформа создавалась для оценки того, насколько эффективно искусственный интеллект способен выявлять и устранять ошибки в смарт-контрактах. Специалисты по кибербезопасности одобрили саму постановку задачи, но решили проверить качество решения методами, которые обычно применяют к самым защищенным протоколам.

Итогом стали два существенных замечания. Во‑первых, выборка для тестирования оказалась «загрязнена»: в нее включили 120 реальных уязвимостей, обнаруженных в 2024–2025 годах. Однако проверяемые модели обучались на данных, актуальных до августа 2025‑го, а значит, могли просто «вспомнить» готовые ответы, а не продемонстрировать навык поиска новых угроз. Во‑вторых, как минимум четыре уязвимости из категории высокого риска в реальности не воспроизводились, хотя система засчитывала их обнаружение как успех.

В OpenZeppelin не сомневаются, что ИИ изменит подход к безопасности блокчейнов, но предостерегают от поспешных решений. Бенчмарки и обучающие данные, по их мнению, обязаны отвечать тем же жестким критериям, что и сами защищаемые контракты. Иначе велик риск выстроить оценку на недостоверной основе.

Популярные статьи