구글, 빠른 의사 결정을 위한 Gemini Decisions API 공개

11월 11일, Google은 Gemini Decision 1 모델을 기반으로 한 Gemini Decisions API를 도입했습니다. 일반적인 생성 시스템과 달리, 이 서비스는 응답을 생성하지 않고 사전 정의된 행동 옵션을 평가하여 그 확률을 반환합니다. 개발자는 이를 AI 모델 간 요청 분배, 규칙 확인, 에이전트 운영에서 도구 선택에 사용할 수 있습니다.

Gemini Decision 1의 작동 방식

단일 호출에서 API는 일반 데이터 세트와 최대 1,000개의 독립적인 질문을 수락합니다. 이 모델은 262,144 토큰의 컨텍스트 내에서 텍스트, 이미지, 오디오, 비디오 및 PDF를 분석합니다. 세 가지 유형의 결정을 지원합니다: 예/아니오 답변, 다중 선택, 주어진 척도에 대한 평가. 각 결과에는 신뢰 점수가 첨부되어 있어 논쟁의 여지가 있는 경우 추가 검토를 위해 지시될 수 있습니다.

새로운 API의 속도와 비용

Google은 백만 입력 토큰당 $0.10의 가격을 책정했으며, 모델이 작동 중에 출력 토큰을 생성하지 않기 때문에 출력 토큰에 대한 요금은 부과되지 않습니다. 일반 입력 데이터는 한 번만 계산되지만 각 질문에 대한 지침은 토큰 사용량에 추가됩니다. 회사의 자체 측정에 따르면, 최대 16,000 토큰의 컨텍스트에서 처리 시간은 요청에서 응답까지 150–250 ms가 소요되었으며, 질문 수가 1에서 100으로 증가해도 지연 시간은 거의 변하지 않았습니다. 이러한 수치는 모든 데이터 볼륨에 대해 동일한 속도를 보장하지 않습니다.

테스트 결과 및 서비스 이용 가능성

JevBench 시험에서, 모델은 92.2%의 점수를 기록했으며, Google 데이터에 따르면 확률 보정 오류는 0.0250이었습니다. 그러나 When2Call 테스트에서는 TypeSafe Jev 1.14에 뒤쳐져 모든 작업에서 우수하다고 할 수는 없습니다. Google 내에서는 새로운 API가 이미 Gemini Notebook에서 요청 라우팅에 사용되고 있으며, 회사는 일상적인 요청 지연 시간이 40% 감소했다고 보고합니다. 개발자는 Gemini API와 Google AI Studio를 통해 테스트를 위한 무료 플랜을 포함한 초기 버전에 액세스할 수 있습니다.