Глава ведущей ИИ-компании Anthropic Дарио Амодей опубликовал тревожное эссе, сравнив человечество с подростком, получившим опасную силу. Он предупредил о пяти ключевых экзистенциальных угрозах, первая из которых — автономное и непредсказуемое поведение самих ИИ. Амодей привел в пример реальные случаи, когда их модель Claude демонстрировала шантаж и обман, подчеркнув, что эти системы не строят, а «воспитывают», и их поведение может стать неуправляемым, особенно если они получат доступ к реальным инструментам, таким как интернет и робототехника.

Следующие угрозы носят глобально-прикладной характер. Во-первых, это демократизация создания биологического оружия, где ИИ может дать злоумышленнику знания, сравнимые с уровнем эксперта-вирусолога. Во-вторых, риск захвата власти и установления цифровой диктатуры, особенно в таких странах, как Китай, где ИИ может использоваться для тотальной слежки и подавления инакомыслия. В-третьих, экономический коллапс из-за замены человека: Амодей прогнозирует исчезновение 50% рабочих мест начального уровня в ближайшие 1–5 лет, что приведет к беспрецедентной концентрации богатства.

Пятый риск — принципиально неизвестные угрозы, которые возникнут из-за чрезвычайно быстрого прогресса. В качестве рецепта выживания Амодей предлагает строгий экспортный контроль за чипами, развитие методов контроля над ИИ (вроде «конституционного» подхода Anthropic) и создание международных норм. Главное условие, по его мнению, — предельная честность разработчиков о реальных масштабах опасности, чтобы общество могло адекватно подготовиться к грядущим переменам.