제브스틸러: 대형 LLM의 답변을 모방하고 불일치율까지 보장하는 로컬 모델

대규모 언어 모델(Jev)을 이용한 텍스트 분류는 일반적으로 API 호출에 의존하며, 이는 에이전트 루프나 실시간 시스템에서 단계당 약 300ms의 지연 시간을 발생시켜 전체 예산에 큰 부담을 줄 수 있습니다. Jevstiller는 이러한 문제를 해결하기 위해 개발된 로컬 모델로, Jev의 답변 패턴을 학습하여 CPU 환경에서 약 15ms 만에 응답합니다. 이 시스템의 핵심은 단순히 속도를 높이는 것을 넘어, '계약(contract)'을 제공한다는 점입니다. 즉, 설정한 기준(예: 98%) 이상의 요청에 대해서는 Jev가 반환했을 레이블과 동일하게 답변할 확률을 통계적으로 보장합니다.

이러한 신뢰성을 확보하기 위해 기존의 단순 임계값 기반 방식은 데이터 샘플링에 따라 측정된 불일치율(disagreement)이 불안정하다는 문제가 있었습니다. Jevstiller는 이 문제를 해결하고자, 훈련 과정에서 '불일치' 자체를 손실 함수로 삼아 정확한 통계적 경계(bound)를 계산합니다. 이는 단순히 가장 느슨한 임계값을 선택하는 것이 아니라, 모든 요청에 대한 불일치율을 측정하여 통계적으로 유효한 상한선을 설정함으로써 신뢰성을 높입니다.

시스템의 안정성은 배포 후에도 유지되어야 합니다. Jevstiller는 지속적인 재학습(retraining) 과정을 거치며, 원본 모델이나 트래픽 패턴이 변경될 경우를 대비해 '감사 슬라이스'라는 고정된 비율의 요청을 Jev에게 보내어 모니터링합니다. 이 감사 과정은 로컬 모델이 예측하지 못하는 변화나 드리프트가 발생했을 때 이를 포착하고, 문제가 감지되면 시스템 전체를 안전하게 재시작할 수 있도록 보장합니다.