Qwen3.5 기반의 소형 의사결정 모델 'Kev' 소개
Kev: Tiny Jev-like family of decision models built on top of Qwen3.5
Hacker NewsQwen3.5를 기반으로 개발된 'Kev'는 하나의 입력 상황(State)을 분석하여 부서 분류, 긴급도 점수 등 여러 유형의 질문에 동시에 답변하는 의사결정 모델입니다.
- 단순한 단일 라벨 대신 선택지별 확률과 점수 분포를 제공함으로써, 고객 문의 처리와 같은 복잡한 시나리오에서 정교하고 다각적인 분석 결과를 얻을 수 있습니다.
- 여러 정보를 한 번에 추출해야 하는 비즈니스 프로세스(예: 콜센터 상담 기록 분석)에 적용 가능하여, 기존보다 훨씬 효율적이고 깊이 있는 데이터 이해를 돕습니다.
- 모델은 크기별로 0.8B, 4B, 9B가 제공되며, 메모리 제약이나 최고 정확도 요구 수준에 맞춰 적절한 모델을 선택하는 것이 중요합니다.
Kev는 Qwen3.5를 기반으로 구축된 일련의 소형 의사결정 모델입니다. 이 모델은 하나의 입력 상태(State) 텍스트를 분석하여 부서 분류, 긴급도 점수 등 여러 유형의 질문에 동시에 답변할 수 있습니다. Kev는 단순한 단일 라벨 대신 선택지별 확률과 점수 분포를 제공함으로써, 고객 문의 처리와 같은 복잡한 시나리오에서 정교하고 다각적인 분석 결과를 얻을 수 있으며, `noul` (Yes/No), `choice` (다중 선택), `score` (점수 평가) 등 다양한 질문 유형을 지원합니다. 모델은 0.8B, 4B, 9B 세 가지 크기로 제공되며, 및 Apple Silicon 환경에서 구동 가능합니다.
Kev를 사용하려면 Python 3.12 이상과 uv가 필요하며, `git clone` 명령어를 통해 저장소를 클론하고 로컬 서버를 실행할 수 있습니다. 는 TypeSafe의 System One과 호환되어 있어, 외부 를 사용하여 로컬 서버에 연결할 수 있습니다. 개발자는 Kev-0.8B, Kev-4B, Kev-9B 중 필요에 따라 모델을 선택할 수 있으며, 일반적으로 정확도와 보정(calibration)이 중요할 경우 Kev-9B 사용이 권장됩니다.
모델의 성능은 다양한 평가 지표로 제시되는데, 예를 들어 Kev-9B는 새로운 출처 데이터셋에서 0.852의 테스트 점수를 기록했습니다. 이 모델들은 Qwen3.5 기반으로 구축되었으며, 이전 세대(Qwen3) 대비 개선된 성능을 보여주었습니다. 개발자들은 `KEV_DATE_FACTS=1`과 같은 옵션 설정을 통해 날짜 간 일수 계산 등의 추가 기능을 활용할 수 있습니다.
용어 풀이
- CUDA
- 엔비디아 GPU에서 계산 프로그램을 돌리게 해 주는 개발 플랫폼.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- SDK
- 특정 서비스나 기기를 쉽게 쓰도록 묶어 둔 개발 도구 모음.