AWS, 100만 토큰 컨텍스트를 가진 Kimi K3.1 Pro 고속 모델 출시

Amazon Web Services (AWS)의 클라우드 부문인 Amazon은 중국 회사 Moonshot AI의 Kimi K3.1 Pro Highspeed 인공지능 모델을 Amazon Bedrock 플랫폼에 추가했습니다. 이 모델은 최대 100만 토큰의 컨텍스트 윈도우를 지원하며, 글로벌 처리 프로필뿐만 아니라 미국과 인도의 별도 프로필을 통해 제공됩니다.

Kimi K3.1 Pro Highspeed는 Kimi K3를 기반으로 하며, 3조 매개변수의 아키텍처와 공개 가중치를 가지고 있습니다. 추가 훈련 동안 개발자들은 더 많은 컴퓨팅 자원을 사용하여 복잡한 다단계 작업을 수행하고 사실 오류의 수를 줄이는 데 중점을 두었습니다.

Moonshot AI에 따르면, Highspeed 버전의 토큰 출력 생성 속도는 표준 Kimi K3.1 Pro보다 2-3배 빠릅니다. 독립적인 비교 테스트 결과는 AWS 출판물에 제공되지 않았습니다.

모델은 이미지 및 외부 도구와의 작업을 지원합니다

Kimi K3.1 Pro Highspeed는 이미지 처리, 외부 도구 호출, 구조화된 응답 형성 및 추론 깊이 맞춤화를 지원합니다. 이러한 기능은 문서 분석, 금융 모델링 및 프로그래밍에 모델을 사용할 수 있게 합니다.

Amazon Bedrock을 통해 이미 Kimi K3를 사용 중인 개발자는 기존 통합을 크게 재작업하지 않고 모델 식별자를 변경하여 새 버전으로 업그레이드할 수 있는 옵션이 있습니다.

AWS 문서에 따르면, 요청은 회사의 인프라 내에서 처리되며 Moonshot AI로 전송되지 않습니다. Amazon은 또한 사용자 데이터가 모델 훈련에 사용되지 않으며, 요청 및 응답의 내용은 처리 후 저장되지 않는다고 명시합니다.

AWS는 여러 가지 가격 모드를 제공합니다

Kimi K3.1 Pro Highspeed에는 비용과 요청 처리 조건이 다른 Priority, Standard 및 Flex 모드가 제공됩니다.

Flex 요금제는 Standard보다 50% 낮은 비용을 제공하지만 더 긴 응답 시간을 허용합니다. 이 모드는 문서 처리 및 자동화된 계산 프로세스를 포함하여 최소 지연 시간이 필요하지 않은 작업에 사용할 수 있습니다.

또한, 모델은 요청의 반복되는 부분을 재사용하기 위해 저장하는 것을 지원하여 동일한 컨텍스트의 대량 작업 시 비용을 절감할 수 있습니다.

모델 사용의 실제 비용은 선택한 지역, 가격 모드 및 처리된 토큰 수에 따라 다릅니다. AWS는 원래 출판물에서 경쟁 모델과의 작업 실행 전체 비용에 대한 독립적인 비교를 제공하지 않았습니다.