AI 게이트웨이, 확률 기반 의사결정 모델 Jev 지원 확대
AI Gateway now supports TypeSafe clients and an HTTP API for Jev
Vercel BlogAI 게이트웨이가 확률 기반 의사결정 모델인 Jev 기능을 TypeSafe 클라이언트와 HTTP API를 통해 지원하며 활용 범위를 넓혔습니다.
- 개발자는 기존 평가 로직을 유지하는 TypeSafe 방식과 모든 환경에서 직접 호출 가능한 HTTP API 등 다양한 방식으로 접근할 수 있습니다.
- 단순 텍스트 생성 대신 확률 기반의 구조화된 답변을 받아, 애플리케이션의 의사결정 흐름을 더욱 정교하고 안정적으로 구축할 수 있습니다.
- 모든 Jev 요청은 AI 게이트웨어를 통해 통합 관리되므로 사용량 추적이 용이하며, 기존 클라이언트도 쉽게 마이그레이션 가능합니다.
AI Gateway가 확률 기반의 의사결정 모델인 Jev 기능을 지원하며 애플리케이션의 흐름 제어에 활용 범위를 넓혔습니다. Jev는 상태(State)를 입력받아 확률이 부여된 타입화된 답변을 출력하는 방식으로, 텍스트 생성 과정에서 발생하는 파싱 문제를 방지합니다. 이를 통해 요청 라우팅, 콘텐츠 플래그 지정, 우선순위 점수 산정 등 애플리케이션의 의사결정 과정을 더욱 정교하고 안정적으로 구축할 수 있습니다.
개발자는 Jev 기능을 세 가지 방식으로 호출할 수 있습니다. 첫째, 기존 TypeSafe 클라이언트를 수정 없이 AI Gateway에 연결하는 방식입니다. 둘째, 모든 언어 및 프레임워크에서 직접 호출 가능한 HTTP 를 이용하는 방법이며, 셋째는 TypeScript 애플리케이션에서 AI 를 사용하는 방법입니다. 세 경로 모두 요청은 AI Gateway를 통해 통합 관리되어 사용량 추적과 관리가 용이합니다.
기존 TypeSafe 클라이언트를 마이그레이션할 경우, `systemOne` 호출이나 응답 형태 등 기존의 평가 로직을 변경하지 않고도 연결할 수 있습니다. 새로운 통합 시에는 모델 이름을 `typesafe-ai/jev`로 지정하고, `boolean`, `choice`, `score` 세 가지 질문 유형 중 하나를 사용하여 의사결정 기능을 구현할 수 있습니다.
용어 풀이
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- SDK
- 특정 서비스나 기기를 쉽게 쓰도록 묶어 둔 개발 도구 모음.