개발도구 도구
LLM 출력을 확률적 결정으로 변환하는 AnyJev
nokia-applied-research/AnyJev
GitHubAnyJev는 LLM의 출력을 단순 텍스트 생성이 아닌, 확률 기반의 구조화된 '결정(Decision)' 형태로 변환하여 모델의 판단에 신뢰할 수 있는 근거를 제시하는 기술입니다.
세 줄 요약
- 핵심은 L2 방식으로, 적은 양의 레이블(100~300개)만으로 모델 내부 상태에 특화된 헤드를 학습시켜 높은 정확도와 낮은 추론 비용을 동시에 달성했다는 점입니다.
- LLM 출력을 단순 예측이 아닌 확률적 근거로 제시함으로써, 금융 분류나 복잡한 의사결정 지원 시스템 등 고정밀 자동화 분야 구축에 혁신적인 기반을 제공합니다.
- 다만, L2 헤드는 질문과 모델별로 독립 학습해야 하며, 여기서의 '정확도'는 기준이 되는 교사 LLM과의 일치율을 의미한다는 점을 유념해야 합니다.
AnyJev는 (LLM)의 일반 텍스트 생성을 넘어, 선택지나 예/아니오와 같은 구조화된 질문에 대해 신뢰할 수 있는 확률 기반 '결정(Decision)'을 도출하는 기술입니다. 기존 LLM의 원시 로짓은 옵션 순서가 바뀌면 답변이 달라지는 등 신뢰도가 낮으며, AnyJev는 이를 해결하기 위해 L0, L1, 그리고 가장 정교한 L2 수준의 결정 모델을 제공합니다.
특히 L2 방식은 질문당 100~300개의 레이블을 사용하여 학습된 폐쇄형 헤드(closed-form head)를 활용하며, 이는 LLM 내부 상태(hidden state)에서 읽어옵니다. 이 방식을 통해 원시 로짓 대비 '자동 결정 가능성'이 7.7%에서 52.0%로 크게 향상되는 등 높은 정확도와 낮은 추론 비용을 동시에 달성할 수 있습니다.
실제 구현 과정에서는 `anyjev` 라이브러리를 사용하여 모델을 트렁케이트하고, vLLM과 같은 서빙 엔진에 통합하여 결정 엔드포인트를 구축합니다. 이 방식은 추가적인 파싱이나 패치된 엔진 없이도 작동하며, L2는 일반 포워드 패스보다 비용이 적게 들면서도 높은 신뢰성을 유지하는 것이 특징입니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.