AWS Kimi K3.1 Pro жоғары жылдамдықтағы моделін 1 миллион токен контекстімен таныстырды

Amazon Web Services (AWS), Amazon-ның бұлттық бөлімі, Amazon Bedrock платформасына қытайлық Moonshot AI компаниясының Kimi K3.1 Pro Highspeed жасанды интеллект моделін қосты. Модель контексттік терезені 1 миллионға дейінгі токендермен қолдайды және жаһандық өңдеу профильдері арқылы, сондай-ақ АҚШ пен Үндістан үшін бөлек профильдер арқылы қолжетімді.

Kimi K3.1 Pro Highspeed Kimi K3 негізінде жасалған, 3 триллион параметрлік архитектурасы және ашық салмақтары бар. Қосымша оқыту кезінде әзірлеушілер күрделі көпқадамдық тапсырмаларды орындауға және фактілік қателер санын азайтуға назар аудара отырып, көбірек есептеу ресурстарын пайдаланды.

Moonshot AI компаниясының мәліметі бойынша, Highspeed нұсқасының токен шығару жылдамдығы стандартты Kimi K3.1 Pro-ға қарағанда 2–3 есе жоғары. AWS жарияланымында тәуелсіз салыстырмалы тестілеу нәтижелері берілмеген.

Модель суреттермен және сыртқы құралдармен жұмыс істеуді қолдайды

Kimi K3.1 Pro Highspeed суреттерді өңдеуді, сыртқы құралдарды шақыруды, құрылымдық жауаптар қалыптастыруды және ойлау тереңдігін баптауды қолдайды. Бұл мүмкіндіктер модельді құжаттарды талдау, қаржылық модельдеу және бағдарламалау үшін пайдалануға мүмкіндік береді.

Amazon Bedrock арқылы Kimi K3 пайдаланатын әзірлеушілер үшін жаңа нұсқаға модель идентификаторын өзгерту арқылы елеулі интеграцияны қайта өңдеусіз жаңартуға мүмкіндік бар.

AWS құжаттамасына сәйкес, сұраулар компания инфрақұрылымында өңделеді және Moonshot AI-ға жіберілмейді. Amazon сондай-ақ пайдаланушы деректері модельді оқыту үшін пайдаланылмайтынын және сұраулар мен жауаптардың мазмұны өңдеуден кейін сақталмайтынын мәлімдейді.

AWS бірнеше баға режимдерін ұсынды

Kimi K3.1 Pro Highspeed үшін Priority, Standard және Flex режимдері қолжетімді, олар құны мен сұрауларды өңдеу шарттарымен ерекшеленеді.

Flex тарифі Standard-қа қарағанда 50% төмен құн ұсынады, бірақ жауап беру уақыты ұзағырақ болуы мүмкін. Бұл режим минималды кідірісті қажет етпейтін тапсырмалар, соның ішінде құжаттарды өңдеу және автоматтандырылған есептеу процестері үшін пайдаланылуы мүмкін.

Сонымен қатар, модель сұраулардың қайталанатын бөліктерін қайта пайдалану үшін сақтауды қолдайды, бұл үлкен көлемдегі бірдей контекстпен жұмыс істеу кезінде шығындарды азайтуы мүмкін.

Модельді пайдаланудың нақты шығындары таңдалған аймаққа, баға режиміне және өңделген токендер санына байланысты. AWS түпнұсқа жарияланымда бәсекелес модельдермен тапсырмаларды орындаудың жалпы құнын тәуелсіз салыстыруды ұсынбаған.