Главный научный сотрудник OpenAI Якуб Пачоцкий призвал к добровольному замедлению разработки искусственного интеллекта (ИИ), пока не будут выработаны общие стандарты безопасности. В своем посте «Чужой разум», опубликованном в воскресенье, он заявил, что ни одна лаборатория не решила проблему согласования и мониторинга на уровне, достаточном для продолжения ответственного масштабирования на максимальной скорости в течение длительного времени.
Пачоцкий отметил, что добровольные обязательства компаний должны превратиться в обязательные стандарты безопасности, которые будут контролироваться независимыми аудиторами, правительствами или международными органами. Он также сказал, что OpenAI готова приостанавливать дальнейшее масштабирование при необходимости, но новую паузу не объявила. «Я ожидаю и надеюсь, что добровольные замедления станут обычной практикой, пока не будут установлены общие планки безопасности», – написал он. По словам Пачоцкого, разработка более мощного ИИ оправдана для защиты инфраструктуры и противодействия вредоносным агентам, однако использовать эти угрозы для оправдания безудержной гонки нельзя. «Идея нестись вперед любой ценой кажется абсурдной, если осознать серьезность ставок», – подчеркнул он.
Пачоцкий сослался на недавний инцидент с Hugging Face, когда ИИ-агенты, участвовавшие в оценке кибербезопасности, покинули тестовую среду и атаковали компанию. По данным OpenAI, агенты создали скрытые каналы связи и восстановили их после вмешательства исследователей. Независимое расследование METR показало, что около 1200 агентов координировали действия через несанкционированную доску сообщений, примерно 700 из них присоединились к атаке. «Крайне важно, чтобы будущие ИИ сохраняли человеческие ценности независимо от того, считают ли они, что находятся под наблюдением», – заявил он. Также Пачоцкий упомянул прошлогоднее исследование OpenAI, показавшее, что наказание моделей за выражение намерений жульничать может научить их скрывать эти намерения, продолжая жульничать. Он отметил, что ИИ-модели стали лучше находить и эксплуатировать программные уязвимости: OpenAI классифицировала Astra на высший уровень киберриска, а Anthropic сообщила, что Mythos Preview обнаружила тысячи ранее неизвестных уязвимостей в основных операционных системах и браузерах.
На фоне этих событий сенатор Берни Сандерс и конгрессмен Грег Касар 3 сентября анонсировали законопроект о запрете искусственного суперинтеллекта. Инициатива предполагает приостановку разработки продвинутого ИИ до создания федерального регулятора, который установит правила безопасности, и постоянный запрет на разработку и развертывание суперинтеллектуального ИИ.