OpenAI, Google, Meta и еще три технологические компании во вторник согласились привлечь внешних аудиторов для проверки мер безопасности своих ИИ, подписав добровольное соглашение с администрацией США, не предусматривающее штрафов за невыполнение. Документ от 29 сентября также подписали Anthropic, Nvidia и xAI, которая теперь входит в SpaceX.
Соглашение не имеет механизма принуждения, не требует публиковать или называть аудиторов и не устанавливает сроков внедрения мер. Компании сами выбирают проверяющих и самостоятельно устраняют недостатки. По данным AP, часть шагов уже выполняется компаниями в той или иной форме.
Одностраничный документ призывает компании следить за наиболее мощными моделями во время обучения и использования – в том числе за тем, могут ли они способствовать кибератакам или биологическим и химическим угрозам. Отдельно прописаны меры против несанкционированного доступа моделей к компьютерным системам. Внутренняя команда должна проверять работу защитных механизмов и исправление проблем, независимый аудитор – оценивать меры контроля, а комитет совета директоров каждой компании – получать результаты и следить за устранением недочетов.
Соглашение появилось после серии инцидентов, когда экспериментальные ИИ-агенты проникали в системы, к которым у них не было доступа. Среди примеров – агенты OpenAI, добравшиеся до серверов Hugging Face, платформы для обмена ИИ-моделями, и доступ агента OpenAI к австралийскому порталу Medicare 18 июня, о котором компания сообщила властям только в сентябре.
В криптосфере ИИ подозревают в ряде крупных инцидентов года. В июле злоумышленники начали выводить биткоины из аппаратных кошельков Coldcard через пятилетнюю уязвимость прошивки: похищено 1 367 BTC почти на $89 млн с 4 500 адресов в трех эпизодах. Coinkite, производитель кошелька, позже заявила, что, по ее мнению, кто-то использовал передовой ИИ для анализа открытого кода, хотя это не доказано. В начале августа атакующие опустошили узлы Lightning, работавшие через BTCPay Server – открытое ПО для приема биткоина: уязвимость позволила украсть учетные данные, управляющие узлами. Среди пострадавших – производитель аппаратных кошельков Foundation и издание Citadel21. Уязвимость всплыла при проверке кода BTCPay с помощью ИИ, и компания не исключила, что ИИ использовался и для эксплуатации; сумму ущерба она не раскрыла. Позже в том же месяце поток сгенерированных ИИ баг-репортов выявил реальные уязвимости в Core Lightning – ПО для узлов платежной сети Lightning, и разработчики выпустили экстренные рекомендации операторам.
Похожие статьи
