Бутерин поддержал отказ Moonshot AI от хакерских навыков в модели Kimi K3.1 Pro

Соучредитель Ethereum Виталик Бутерин поддержал решение компании Moonshot AI исключить топовые хакерские навыки из новой модели Kimi K3.1 Pro. Он считает, что ограничивать возможности ИИ лучше, чем ограничивать пользователей. Однако у такой защиты есть измеримая цена: по данным Moonshot, отфильтрованная модель решила 81% задач на внутреннем тесте на создание средств эксплуатации уязвимостей, тогда как неотфильтрованная – 90,5%.

Бутерин объяснил свою позицию: дискриминировать сценарии использования гораздо менее вредно, чем дискриминировать пользователей. «Я не против того, что Kimi 3.1 сознательно исключает из обучающих данных топовые наступательные кибервозможности. Дискриминировать сценарии использования гораздо менее плохо, чем дискриминировать пользователей. И миру действительно нужно все время, которое он может получить, чтобы подготовиться, укрепить системы и проверить старый код», – написал он в соцсети X.

Moonshot, базирующаяся в Пекине, планирует выпустить открытые веса модели до 4 ноября. После этого любой сможет скачать ее и запустить на собственном оборудовании. Поэтому компания, по ее словам, удалила связанные с кибербезопасностью данные из обучающего корпуса и среды обучения с подкреплением, сохранив общие задачи по программированию.

По мнению Бутерина, атаки с использованием ИИ в итоге ударят в полную силу. До этого момента разработчикам нужно время, чтобы укрепить системы, проверить устаревший код и проверить новое программное обеспечение. Угроза уже заметна: ранее в этом году Binance Research выяснила, что ИИ примерно вдвое лучше находит способы эксплуатации программных контрактов, чем обнаруживает их уязвимости.

Что будет, если первая волна рисков пойдет плохо

Бутерин предупредил и о другой развилке. Если эта первая волна обернется плохо, он ждет закрытых моделей, проверок личности буквально на все и навязчивого надзора. В таком сценарии доступ к ИИ мог бы зависеть от удостоверений и гражданства, а часть людей стала бы пользователями второго, третьего или четвертого сорта, написал он.

Бутерин давно выступает за запуск открытых моделей ИИ на собственном оборудовании – об этом говорят его локальные тесты на ноутбуке. При этом он не ждет, что фильтрация сохранится навсегда: на вопрос, построят ли другие лаборатории такие возможности все равно, он ответил утвердительно. По подсчетам самой Moonshot, конкурирующая открытая модель DeepSeek V4.1-Flash уже набрала 85,7% на том же тесте.