Основанный экс-сотрудниками Google стартап Physical Intelligence представил модель 0.7, работающую по принципу «зрение-язык-действие». По утверждению создателей, система совершила значительный скачок в обобщении навыков и успешно выполняет операции, которым ее не учили целенаправленно. Во время тестов робот с 0.7 освоил управление незнакомой аппаратной конструкцией, аккуратно сложил футболки, не имея заранее загруженных сценариев, и частично приготовил батат в неизвестном ему аэрогриле.

Главная инновация заключается в том, что машине можно задать не только цель, но и способ ее достижения. Нейросеть воспринимает текстовые описания, параметры скорости и качества, а также визуальные ориентиры в виде картинок с ожидаемым итогом. Это дает возможность смешивать информацию из разных источников и менять тактику действий прямо на ходу, не прибегая к повторному обучению. Подобная гибкость долгое время считалась уделом больших языковых моделей и была практически недосягаема в робототехнике.

Хотя 0.7 еще не всегда обходится без детальных поэтапных инструкций при решении трудных задач, разработчики видят в ней первый шаг на пути к созданию по-настоящему универсальных механизмов, приспосабливающихся к новой обстановке без ручной перенастройки.