Qwen 기반 의사결정 모델 Kev 소개
jaredpalmer/kev
GitHubKev는 Qwen 기반의 소형 의사결정 모델로, 복잡한 텍스트에서 부서 분류(선택지), 긴급도(예/아니오), 감정 점수 등 다양한 구조화된 정보를 단일 요청으로 추출하는 것이 핵심입니다.
- Yes/No, 객관식, 점수 평가 등 여러 질문 유형을 하나의 API로 처리하며, 0.8B부터 27B까지 모델 크기를 조절하여 어떤 환경에서도 유연하게 배포할 수 있습니다.
- 단순히 텍스트를 생성하는 기존 LLM과 달리, Kev는 확률 기반의 정량적 답변을 제공해 고객 지원 및 업무 자동화 과정에 직접적인 의사결정 단계를 추가합니다.
- 최상의 성능을 원한다면, 사용자의 고유 데이터로 모델을 미세 조정(Fine-tuning)해야 합니다. 이를 통해 도메인 특화된 높은 정확도를 확보하고 시스템에 완벽하게 통합할 수 있습니다.
Kev는 Qwen3.5 및 Qwen3.8을 기반으로 구축된 소형 의사결정 모델군입니다. 이 모델은 단일 요청만으로 Yes/no(`noul`), 객관식(choice), 점수 평가(score) 등 다양한 구조화된 질문 유형을 처리할 수 있습니다. 기본적으로 보정된 확률을 제공하며, 는 TypeSafe의 System One과 호환되어 기존 시스템에 쉽게 통합될 수 있도록 설계되었습니다.
모델은 크기별로 0.8B부터 27B까지 네 가지 버전이 제공됩니다. 사용 환경에 따라 정확도와 구동 가능성을 고려하여 선택할 수 있습니다. 예를 들어, 작은 크기가 중요하면 Kev-0.8B를 사용할 수 있으며, 가장 높은 정확도를 원한다면 B200, H200, H100 80 GB가 필요한 Kev-27B를 활용할 수 있습니다. 또한, 단일 명령어로 HTTPS 엔드포인트를 배포할 수 있으며 유휴 상태일 때는 자동으로 스케일링됩니다.
사용자의 고유한 도메인이나 라벨링 카테고리에 맞게 모델을 (Fine-tuning)하는 것이 가능합니다. Kev는 사전 학습된 를 사용하거나 자체적으로 훈련시킬 수 있으며, 특히 지원 티켓 분류와 같은 특정 업무 워크로드에 대해 미세 조정 시 높은 정확도 향상을 보였습니다. 이 과정은 코딩 스킬을 통해 Modal 환경에서 진행할 수 있습니다.
용어 풀이
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.