Известный разработчик поставил нейросети сложную задачу в популярной игре. Уян Чжоу поручил модели GPT Astra добыть ценный алмаз. Программист включил запись экрана и спокойно лег спать ночью. Утром драгоценный камень уже лежал в инвентаре игрового персонажа. Авторы эксперимента выложили специальный тулкит в полный открытый доступ. Ключевая деталь эксперимента заключается в методе управления компьютером. Агент полностью обходится без специальных модов и программного интерфейса. Модель просто смотрит на экран и двигает обычную мышь. Искусственный интеллект самостоятельно нажимает нужные клавиши на клавиатуре. Набор для операционной системы Windows умеет только три вещи. Он передает агенту обычные скриншоты и отправляет события ввода. Тулкит позволяет опционально проверять полученный результат визуально. В комплект не входят сама модель и клиент популярной игры. Сохранение мира и интерфейс внутренней памяти тоже отсутствуют полностью.
Настройка проекта занимает всего несколько простых шагов для пользователя. Папку нужно открыть как локальный проект на компьютере Windows. Пользователь должен войти в мир и оставить окно игры видимым. Затем нужно передать агенту репозиторий вместе с игровой целью. Уян Чжоу отдельно уточнил полное отсутствие предварительных знаний об игре. Все необходимые навыки агент выстроил на ходу после задачи. Исходники открыли именно для упрощения будущих сложных прогонов. Разработчик не давал конкретных указаний вроде копания длинных штреков. Модель самостоятельно выбрала стратегию параллельного копания длинных тоннелей. В другом прогоне агент нашел гораздо более интересное решение задачи. После двух смертельных падений модель поставила обычную деревянную лодку. Данная хитрость помогла полностью погасить урон от сильного падения. Персонаж успешно добрался до самого дна глубокой пещеры живым.
Скепсиса в комментариях набралось не меньше чем искреннего восторга. Прогон шел в специальном мирном режиме без спавна мобов. Задача фактически свелась к банальному поиску нужного ресурса. На третьей минуте записи агент прошел мимо алмазной руды. Модель просто не заметила ценный ресурс во время поиска. Человек тоже может так пропустить но шанс значительно ниже. Экран отладки модель включала и выключала многократно без причины. Агент ломала обычный верстак киркой вместо правильного топора. Факелы расставлялись там где освещение совсем не требовалось. Точный расход токенов разработчик публично не указал совсем. Чжоу попросил сотрудника компании OpenAI обнулить ему лимит. Данный шаг нужен ради проведения более длинных игровых сессий. Команда планирует дистиллировать полученные действия в локальную модель Qwen. Новая модель имеет двадцать семь миллиардов полезных параметров.
Тулкит собрал Чжоу вместе со своим коллегой Тяньюй Вэем. Репозиторий распространяется по специальной лицензии Apache два ноль. Сам сценарий с алмазом давно служит стандартным тестом качества. Среда Minecraft Diamond строится вокруг двенадцати последовательных этапов. Путь к добыче алмаза требует прохождения по дереву технологий. Игроку нужно освоить более трехсот семидесяти девяти рецептов крафта. Управление компьютером стало основным направлением новой модели Astra. Данная нейросеть официально вышла третьего сентября текущего календарного года. На симуляциях в бенчмарке OSWorld модель показывает отличные результаты. Новый показатель достигает семидесяти двух процентов против шестидесяти пяти. Предыдущая версия Sol тратила на задачу семьдесят пять минут. Новая модель справляется с аналогичной задачей за сорок минут.