AWS добавила модель Kimi K3.1 Pro Highspeed с контекстом на 1 млн токенов

Amazon Web Services (AWS), облачное подразделение Amazon, добавило модель искусственного интеллекта Kimi K3.1 Pro Highspeed китайской компании Moonshot AI на платформу Amazon Bedrock. Модель поддерживает контекстное окно объемом до 1 млн токенов и доступна через глобальные профили обработки запросов, а также отдельные профили для США и Индии.

Kimi K3.1 Pro Highspeed создана на основе Kimi K3 с архитектурой класса 3 трлн параметров и открытыми весами. При дополнительном обучении разработчики использовали больше вычислительных ресурсов, уделяя внимание выполнению сложных многоэтапных задач и снижению количества фактических ошибок.

По заявлению Moonshot AI, скорость генерации выходных токенов у версии Highspeed в 2–3 раза выше, чем у стандартной Kimi K3.1 Pro. Независимые результаты сравнительного тестирования в публикации AWS не приводятся.

Модель поддерживает работу с изображениями и внешними инструментами

Kimi K3.1 Pro Highspeed поддерживает обработку изображений, вызов внешних инструментов, формирование структурированных ответов и настройку глубины рассуждений. Эти возможности позволяют использовать модель для анализа документов, финансового моделирования и программирования.

Для разработчиков, уже использующих Kimi K3 через Amazon Bedrock, предусмотрена возможность перехода на новую версию путем изменения идентификатора модели без существенной переработки существующей интеграции.

Согласно документации AWS, запросы обрабатываются внутри инфраструктуры компании и не передаются Moonshot AI. Amazon также заявляет, что пользовательские данные не применяются для обучения модели, а содержимое запросов и ответов не сохраняется после обработки.

AWS предусмотрела несколько тарифных режимов

Для Kimi K3.1 Pro Highspeed доступны режимы Priority, Standard и Flex, различающиеся стоимостью и условиями обработки запросов.

Тариф Flex предусматривает стоимость на 50% ниже Standard, но допускает более длительное ожидание ответа. Режим может использоваться для задач, не требующих минимальной задержки, включая обработку документов и автоматизированные вычислительные процессы.

Дополнительно модель поддерживает сохранение повторяющихся частей запросов для повторного использования, что может сократить расходы при работе с большими объемами одинакового контекста.

Фактические затраты на использование модели зависят от выбранного региона, тарифного режима и количества обрабатываемых токенов. AWS не представила в исходной публикации независимого сравнения общей стоимости выполнения задач с конкурирующими моделями.