Google представила Gemini Decisions API для быстрого принятия решений

Google 11 ноября представила Gemini Decisions API на базе модели Gemini Decision 1. В отличие от обычных генеративных систем, сервис не пишет ответы, а оценивает заранее заданные варианты действий и возвращает их вероятности. Разработчики могут применять его для распределения запросов между ИИ-моделями, проверки правил и выбора инструментов в работе агентов.

Как работает Gemini Decision 1

В одном обращении API принимает общий набор данных и до 1 000 независимых вопросов. Модель анализирует текст, изображения, аудио, видео и PDF в пределах контекста 262 144 токена. Она поддерживает три вида решений: ответ «да/нет», выбор из нескольких вариантов и оценку по заданной шкале. Каждый результат сопровождается показателем уверенности, который позволяет направлять спорные случаи на дополнительную проверку.

Скорость и стоимость нового API

Google установила цену $0,10 за миллион входных токенов, не взимая плату за выходные токены: модель не создает их при работе. Общие входные данные учитываются один раз, но инструкции к каждому вопросу добавляют расход токенов. По собственным измерениям компании, при контексте до 16 000 токенов обработка занимала 150–250 мс от запроса до ответа, а задержка почти не менялась при увеличении числа вопросов со 1 до 100. Эти показатели не гарантируют одинаковую скорость при любом объеме данных.

Что показали тесты и где доступен сервис

В испытании JevBench модель набрала 92,2%, а ошибка калибровки вероятностей составила 0,0250, следует из данных Google. Однако на тесте When2Call она уступила TypeSafe Jev 1.14, поэтому говорить о превосходстве по всем задачам нельзя. Внутри Google новый API уже используют для маршрутизации запросов в Gemini Notebook, где компания сообщает о снижении задержки повседневных запросов до 40%. Разработчикам доступна предварительная версия через Gemini API и Google AI Studio, включая бесплатный тариф для тестирования.