Axi · Сквозной — фон контента (skin) · 16 кат.Axi · Сквозной — фон контента (skin) · 16 кат.

Член совета OpenAI предложил приостановить совершенствование ИИ-алгоритмов

• Евгения Слив (обновлено: )
Член совета OpenAI предложил приостановить совершенствование ИИ-алгоритмов

Член совета директоров OpenAI и руководитель Alignment Research Center Пол Кристиано предложил временно приостановить совершенствование некоторых алгоритмов искусственного интеллекта. В интервью Дваркешу Пателю, опубликованном 16 ноября, он объяснил инициативу недостаточной защищенностью ведущих ИИ-лабораторий и рисками утечки передовых технологических разработок.

По мнению Кристиано, продолжение ускоренного развития моделей без усиления мер безопасности может привести к ситуации, когда новые алгоритмы и методы обучения станут доступны сторонним организациям раньше, чем разработчики смогут обеспечить необходимый контроль над собственными системами.

Почему Кристиано предлагает замедлить разработку ИИ

Основное предложение касается двух направлений: предварительного обучения моделей (pre-training) и обучения с подкреплением (reinforcement learning, RL). Эти методы используются для развития возможностей современных систем искусственного интеллекта.

Кристиано считает, что разработчикам следует временно отказаться от дальнейших алгоритмических улучшений в этих областях, пока они не смогут надежно защищать результаты исследований.

Особое внимание эксперт уделил рискам кибератак на исследовательские лаборатории. Потенциальная утечка весов моделей, исходного кода или сведений о методах обучения может позволить другим участникам рынка быстрее воспроизводить достижения ведущих разработчиков.

При этом Кристиано не предлагает полностью прекращать исследования в области искусственного интеллекта. Работы, связанные с повышением безопасности, оценкой поведения моделей и совершенствованием механизмов контроля, по его мнению, должны продолжаться.

При каких условиях разработку можно возобновить

Возвращение к ускоренному совершенствованию алгоритмов Кристиано связывает с выполнением нескольких условий. ИИ-компании должны повысить защищенность исследовательской инфраструктуры, обеспечить сохранность технологических разработок и научиться надежнее оценивать управляемость создаваемых систем.

Отдельная проблема заключается в том, что возможности моделей могут развиваться быстрее, чем инструменты проверки их безопасности. В таких условиях разработчики рискуют столкнуться с поведением ИИ, которое сложно своевременно обнаружить или ограничить.

Кристиано не назвал конкретную дату возможного возобновления работ. По его оценке, существенное усиление защиты может потребовать нескольких месяцев, а в отдельных случаях – от шести до двенадцати. Этот срок является предварительной оценкой, а не установленным графиком.

Предложение не отражает официальную позицию OpenAI

Во время интервью Кристиано отдельно подчеркнул, что высказывает личную точку зрения и не выступает от имени совета директоров OpenAI.

Таким образом, его заявление не означает, что компания уже приняла решение о новой приостановке обучения моделей или согласовала подобные меры с другими разработчиками.

Предложение Кристиано затрагивает более широкий вопрос развития индустрии: насколько быстро ИИ-компании могут совершенствовать свои технологии, сохраняя контроль над результатами исследований и обеспечивая защиту от утечек.

Эксперт считает, что обсуждение этих рисков должно выходить за пределы отдельных лабораторий. При этом вопрос о практической реализации временной паузы и согласовании общих требований безопасности остается открытым.

Материал подготовлен исключительно в ознакомительно-информационных целях и не является финансовым советом и рекомендацией.

Популярные статьи