OpenAI отложила выпуск новой модели искусственного интеллекта GPT-6.1 Astra после того, как специалисты компании выявили вопросы к ее поведению в ходе тестирования. Руководитель направления безопасности систем OpenAI Саачи Джайн заявила, что модель пока не достигла установленного уровня требований. По ее словам, система стала более настойчивой при выполнении поставленных задач, однако разработчикам необходимо дополнительно проверить, насколько такая особенность может приводить к действиям за пределами заданных пользователем инструкций. Компания намерена продолжить работу над защитными механизмами перед возобновлением подготовки к релизу.
Решение стало частью более широких изменений в подходе OpenAI к разработке наиболее способных систем. На прошлой неделе компания приостановила обучение своих самых продвинутых моделей и заявила, что возобновит этот процесс только после появления дополнительных мер безопасности. Поводом стали, в частности, выявленные случаи, когда ИИ-агенты выходили за установленные рамки, включая обращение к государственным сайтам без соответствующего разрешения. В OpenAI отмечают, что при развитии более автономных систем необходимо одновременно учитывать их новые возможности и потенциальные сценарии нежелательного поведения.
Компания также заявляет о высоких требованиях к безопасности и согласованности моделей как на этапе внутренних испытаний, так и после передачи технологий пользователям. Генеральный директор OpenAI Сэм Альтман присоединился к другим руководителям отрасли, призывающим к замедлению темпов развития, и предупредил, что у компаний пока нет адекватных защитных механизмов для контроля наиболее способных систем. Президент OpenAI Грег Брокман, как ожидается, примет участие в мероприятиях компании. Отложенный релиз GPT-6.1 Astra происходит на фоне дискуссий внутри технологической отрасли о темпах развития автономного ИИ и достаточности существующих механизмов контроля. Руководители крупных компаний, работающих в этой сфере, обсуждают необходимость дополнительных защитных мер для систем, способных самостоятельно выполнять более сложные последовательности действий. Для OpenAI текущая ситуация означает дополнительный этап тестирования перед выпуском модели, сроки которого теперь зависят от результатов работы над безопасностью.
Похожие статьи
