타입세이 AI의 결정 모델 'Jev', AI 게이트웨이에서 사용 가능
TypeSafe AI's Jev now available on AI Gateway
Vercel Blog소프트웨어의 결정 과정을 위한 확률적 모델 'Jev'가 AI Gateway를 통해 출시되어 활용 가능해졌습니다. Jev는 입력된 상태(State)를 기반으로 구조화되고 타입이 지정된 답변을 직접 도출하는 것이 특징입니다.
- 일반 LLM과 달리, Jev는 여러 질문을 병렬로 평가하고 정형화된 답변 및 확률을 즉시 반환하여 불필요한 텍스트 생성을 제거합니다. 이 덕분에 워크플로우 평가 속도와 비용 효율성이 대폭 향상됩니다.
- 에이전트의 다음 도구 선택, 위험도 점수 산정, 모델 출력 검증 등 복잡한 비즈니스 로직을 자동화하는 데 유용하며, AI 시스템의 신뢰성과 제어력을 높여줍니다.
- AI SDK 7의 실험적 `evaluate` API를 통해 접근할 수 있으며, 평가할 상태와 질문들을 명확히 정의해야 합니다. Zero Data Retention 등 다양한 데이터 처리 옵션도 지원합니다.
TypeSafe AI가 개발한 확률적 의사결정 모델 Jev가 AI Gateway를 통해 제공됩니다. Jev는 소프트웨어 워크플로우에 특화된 모델로, 입력된 상태(state)를 기반으로 타입이 지정되고 구조화된 답변을 직접 도출합니다. 일반적인 언어 모델()이 단위의 텍스트를 생성하고 이를 애플리케이션에서 파싱 및 검증하는 방식과 달리, Jev는 선언된 모든 질문들을 병렬로 평가하여 정형화된 답변과 확률값을 즉시 반환함으로써 불필요한 텍스트 생성을 제거합니다.
이러한 구조적 특성 덕분에 워크플로우 자동화에 매우 효율적입니다. TypeSafe의 보고에 따르면, Jev는 워크플로우 평가 측면에서 LLM 대비 최대 193.6배 빠르고 444.6배 저렴하다고 합니다. 주요 활용 사례로는 루프 내 다음 도구 또는 서브 에이전트를 선택하는 작업, 사용자에게 재요청할지 중단할지 결정하는 로직, 특정 행동 전 위험도나 긴급도를 점수화하거나 모델 출력을 검증하여 가드레일을 적용하는 등의 비즈니스 로직 자동화가 있습니다.
개발자는 AI 7에서 제공되는 실험적 `evaluate` 를 통해 Jev에 접근할 수 있습니다. 이 평가 호출을 위해서는 평가 대상이 되는 공유 상태(state)와 함께, 어떤 결정을 내릴지 정의한 질문들(questions)의 맵 구조가 필수적으로 지정되어야 합니다. 또한, Zero Data Retention 및 No Training과 같은 다양한 데이터 처리 옵션을 요청별로 활성화할 수 있습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- SDK
- 특정 서비스나 기기를 쉽게 쓰도록 묶어 둔 개발 도구 모음.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.