Президент MIRI Нейт Соарес сказал, что гонку к опасному ИИ еще можно остановить

Президент Института исследований машинного интеллекта (MIRI) Нейт Соарес признался, что уже десять лет не откладывает деньги на пенсию. Он убежден, что сверхразумный ИИ может привести к вымиранию человечества в ближайшее десятилетие. Об этом Соарес рассказал главе The Atlantic Николасу Томпсону в интервью для серии «Самое интересное в ИИ».

«Сейчас я не коплю на пенсию. У меня есть 401(k) со времен работы в Google, но я не вносил туда ничего уже десять лет», – сказал он.

401(k) – популярный в США пенсионный накопительный план с налоговыми льготами, куда работник регулярно отчисляет часть зарплаты. Отказ от взносов на целое десятилетие сложно назвать эмоциональным порывом: скорее это осознанное финансовое решение человека, который не рассчитывает дожить до пенсионного возраста.

Мрачных прогнозов об ИИ в последние годы звучит немало, но слова Соареса весят больше обычного. Он двенадцать лет занимается проблемой согласования ИИ – поиском способов заставить сложные системы действовать в интересах людей. До прихода в MIRI, некоммерческую организацию, изучающую риски ИИ, Соарес работал инженером в Google и Microsoft. Кроме того, он соавтор книги «Если кто-то это создаст, все умрут», написанной вместе с основателем MIRI Элиезером Юдковским.

В чем именно опасность

По мнению Соареса, главная опасность не в том, что сверхразумный ИИ возненавидит людей. Такой системе будет просто безразлично, выживет человечество или нет. Люди могут оказаться препятствием на пути к целям, которые ИИ себе сформирует, особенно если попытаются его отключить или создать конкурирующую систему.

«С моей точки зрения, настоящий вопрос не в том, как он нас погубит». Вопрос в том, как он станет самодостаточным», – говорит исследователь.

Пока ИИ зависит от людей: кто-то должен обеспечивать электроэнергию и производить чипы. Как только машины смогут поддерживать собственную автоматизированную экономику, эта зависимость исчезнет. Дальше человечество могут уничтожить целенаправленно либо оно погибнет просто потому, что ИИ начнет перестраивать планету под свои нужды.

Точный сценарий катастрофы Соарес предсказывать не берется. Он сравнивает ситуацию с партией против чемпиона мира по шахматам Магнуса Карлсена: не нужно знать, какой фигурой будет поставлен мат, чтобы понимать, что дела плохи.

При этом исследователь не считает такой исход предрешенным и уверен, что у человечества еще есть выбор. «Я не думаю, что это неизбежно. Я считаю, что мы еще можем остановить эту гонку к очень опасному виду ИИ», – сказал он.

Но решение не копить на пенсию говорит о том, что сам Соарес готовится к худшему. И он не единственный специалист, который открыто говорит об экзистенциальных рисках: на фоне случаев, когда ИИ-агенты взламывали системы сторонних компаний без инструкций со стороны людей, один из исследователей Anthropic покинул компанию, предупредив, что технология способна положить конец человеческой расе.