개발도구 도구
DiffusionGemma 기반 로컬 Jev 호환 추론 API 소개
githubnext/localjev
GitHubDiffusionGemma를 활용하여 Jev 표준을 준수하는 로컬 추론 API(LocalJev)가 오픈AI와 호환되는 엔드포인트로 구현되었습니다.
세 줄 요약
- 이 시스템은 Jev의 타입 기반 의사결정(Decision) API 요구사항에 맞춰, 복잡한 질의를 분류 프롬프트로 변환하고 모델로부터 JSON 형태의 확률 벡터를 추출합니다.
- 덕분에 일반적인 챗봇 답변을 넘어, 고객 문의의 부서 분류나 좌절도 점수 등 구조화된 데이터를 정밀하게 추출하여 활용할 수 있습니다.
- 다만, 추출된 확률값이 로짓에서 직접 읽힌 것이 아닌 모델 자체의 '보고' 값이므로, 중요한 결정에 사용하기 전 반드시 성능 검증이 필요합니다.
LocalJev는 DiffusionGemma를 백엔드로 사용하여 오픈AI와 호환되는 Chat Completions 엔드포인트로 구현된, 로컬 환경에서 작동하는 Jev(typed decision) 호환 입니다. 이 시스템은 일반적인 챗봇 답변을 넘어, 고객 문의의 부서 분류나 좌절도 점수 등 구조화된 데이터를 정밀하게 추출할 수 있도록 설계되었습니다.
LocalJev는 Jev가 요구하는 타입 기반 의사결정(Decision) API를 구현하기 위해 복잡한 질의를 분류 로 변환하고, DiffusionGemma에게 JSON 형태의 확률 스칼라/벡터를 요청합니다. 이 과정은 1. `state`와 typed Jev 질문을 분류 프롬프트로 번역하고, 2. 모델로부터 JSON 확률 값을 얻어낸 후, 3. 결과를 검증하고 정규화하여 최종적으로 일반적인 Jev 응답 형태로 반환하는 과정을 거칩니다.
다만, 이 과정에서 생성되는 확률값은 모델이 자체 보고(self-reported)하는 값이며, OpenJev처럼 로짓에서 직접 읽어낸 값이 아니므로, 중요한 결정에 사용하기 전에는 반드시 성능 검증이 필요합니다. LocalJev를 사용하려면 Bun 1.2 이상과 실행 중인 oMLX 서버가 필요하며, `bun install` 명령어를 통해 설치할 수 있습니다.
용어 풀이
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- 프롬프트
- AI에게 주는 지시나 질문 글.