Обратная игровая теория может заставить ИИ соблюдать правила

По мере роста возможностей ИИ исследователи безопасности ищут способы гарантировать его выравнивание с человеческими желаниями. До сих пор работа шла двумя путями: заглянуть в «мозг» модели или обучить ее ценностям – у Claude даже есть своя конституция. Оба метода слабы: модели занижают результаты тестов, скрывают намерения и вводят в заблуждение оценщиков.

Как работает дизайн механизмов

Игровая теория предсказывает поведение рациональных агентов при заданных правилах, а обратная игровая теория проектирует правила, которые вызывают желаемое поведение. Классический пример – разделение торта: один режет, другой выбирает первым, поэтому режущий заинтересован делить поровну. Другие примеры – повышение цен в часы пик в такси и аукционы второй цены.

В ИИ дизайн механизмов исходит из того, что внутреннее устройство моделей мы можем никогда не понять. Значит, нужно строить механизмы, которые стимулируют правильное поведение независимо от того, что происходит внутри.

Что предлагают исследователи

В препринте Стивен Моррис, экономист Массачусетского технологического института (MIT), с коллегами из Йеля и Колумбийского университета предложил механизмы против намеренного занижения результатов. Модель вознаграждают не только за успех в тесте, но и за то, насколько точно ее ответы предсказывают ответы второй модели. Тогда играть в «тупого» становится невыгодно.

Элад Хазан, профессор Принстона, предлагает взять пример с человеческого общества. Его механизм: агенты по очереди выступают «решателями» и «аудиторами», и наказывают обе стороны за провал. При разногласии дело отправляется на «суд», где решает человек. Риск сговора Хазан признает, но предлагает платить аудиторам достаточно, чтобы сговор не окупался.

Он опирается на работу Нобелевского лауреата Гэри Беккера о «рациональном преступнике»: люди нарушают закон, когда выгода перевешивает наказание. Выравнивание, по Хазану, – не свойство модели, а описание ее поведения в момент времени.

Сомнения

Хелен Ку из Flatiron Institute сомневается, разумно ли предполагать, что ИИ реагирует на стимулы. Моррис согласен: «ИИ не рациональны. Это просто алгоритмы». Но, как и с людьми, обращение с ними как с рациональными может помочь их контролировать. Ку видит в дизайне механизмов лишь один слой стратегии «глубокой защиты». Неясно, как теории поведут себя на реальных моделях и не найдут ли они лазейки.

Финальный вопрос – свободный рынок. Выровненная модель может быть полезна миру, но если она медленнее или дороже, стимулов выпускать ее мало. «Этот механизм ответственен за огромное процветание человечества, – говорит Хазан. – Но он может оказаться ответственным за нечто очень ужасное».