AWS Introduce el Modelo Kimi K3.1 Pro de Alta Velocidad con Contexto de 1 Millón de Tokens

Amazon Web Services (AWS), la división de nube de Amazon, ha añadido el modelo de inteligencia artificial Kimi K3.1 Pro Highspeed de la empresa china Moonshot AI a la plataforma Amazon Bedrock. El modelo admite una ventana de contexto de hasta 1 millón de tokens y está disponible a través de perfiles de procesamiento globales, así como perfiles separados para EE. UU. e India.

Kimi K3.1 Pro Highspeed se basa en Kimi K3 con una arquitectura de clase 3 billones de parámetros y pesos abiertos. Durante el entrenamiento adicional, los desarrolladores utilizaron más recursos de computación, enfocándose en realizar tareas complejas de múltiples pasos y reducir el número de errores fácticos.

Según Moonshot AI, la velocidad de generación de salida de tokens de la versión Highspeed es 2–3 veces mayor que la del Kimi K3.1 Pro estándar. No se proporcionan resultados de pruebas comparativas independientes en la publicación de AWS.

El modelo admite trabajar con imágenes y herramientas externas

Kimi K3.1 Pro Highspeed admite el procesamiento de imágenes, la invocación de herramientas externas, la formación de respuestas estructuradas y la personalización de la profundidad de razonamiento. Estas capacidades permiten que el modelo se utilice para análisis de documentos, modelado financiero y programación.

Para los desarrolladores que ya utilizan Kimi K3 a través de Amazon Bedrock, existe la opción de actualizar a la nueva versión cambiando el identificador del modelo sin una reestructuración significativa de la integración existente.

Según la documentación de AWS, las solicitudes se procesan dentro de la infraestructura de la empresa y no se transmiten a Moonshot AI. Amazon también afirma que los datos de los usuarios no se utilizan para el entrenamiento del modelo, y el contenido de las solicitudes y respuestas no se guarda después del procesamiento.

AWS ha proporcionado varios modos de precios

Para Kimi K3.1 Pro Highspeed, están disponibles los modos Priority, Standard y Flex, que difieren en costo y condiciones de procesamiento de solicitudes.

La tarifa Flex ofrece un costo un 50% menor que el Standard pero permite tiempos de respuesta más largos. Este modo se puede utilizar para tareas que no requieren una latencia mínima, incluyendo el procesamiento de documentos y procesos computacionales automatizados.

Además, el modelo admite guardar partes recurrentes de solicitudes para su reutilización, lo que puede reducir costos al trabajar con grandes volúmenes de contexto idéntico.

Los costos reales de usar el modelo dependen de la región elegida, el modo de precios y el número de tokens procesados. AWS no proporcionó una comparación independiente del costo total de ejecución de tareas con modelos competidores en la publicación original.