LLM 출력을 정량적 의사결정 모델로 변환하는 AnyJev
nokia-applied-research/AnyJev
GitHubAnyJev는 LLM의 출력을 직접 분석하여 텍스트 생성이나 파싱 없이도 선택지 기반의 정량적 의사결정 모델을 구축하는 프레임워크입니다.
- 가장 진보된 'L2' 기법은 질문당 소수의 레이블만으로 모델 성능을 극대화하며, 안전하게 자동화 가능한 결정률이 기존 대비 7.7%에서 최대 52.0%까지 향상되었습니다.
- 단순한 텍스트 출력을 넘어 확률적 분포를 통해 의사결정을 내리게 함으로써, LLM의 답변 불안정성(옵션 순서에 따른 변화 등) 문제를 해결하고 신뢰도를 높입니다.
- L2는 질문별로 독립적인 헤드를 활용하며, 모델 깊이 중 중간 블록을 사용하는 것이 효율적이지만, 텍스트 생성 전 과정이 아닌 특정 결정(typed-decision)에만 적용 가능하다는 특징이 있습니다.
AnyJev는 (LLM)의 일반적인 텍스트 생성이나 파싱 과정을 거치지 않고, 선택지 기반의 정량적 의사결정 모델을 구축할 수 있도록 설계된 프레임워크입니다. 이 방식은 LLM에게 '선택'과 같은 유형화된 질문(typed question)을 던지고, 그 결과로 나오는 다음 분포의 원시 로짓에서 확률적 분포를 읽어 의사결정을 내립니다. 이를 통해 옵션 순서 변경에 따라 답변이 바뀌거나 신뢰하기 어려운 기존 LLM 출력의 불안정성 문제를 해결합니다.
가장 진보된 'L2' 기법은 질문당 100~300개의 레이블을 사용하여 모델 성능을 극대화하는 방식입니다. L2를 적용했을 때, 옵션 순서 역전 시 답변이 바뀌는 비율(Answer flips when options are reversed)이 원시 로짓의 0.230에서 0.073으로 크게 감소했습니다. 또한, 자동 결정 가능성(Auto-decidable at ≤5% error) 측면에서 기존 대비 7.7%에서 최대 52.0%까지 향상된 결과를 보여줍니다.
L2 배포는 질문별로 독립적인 폐쇄형 헤드(closed-form head)를 활용하며, 이는 모델의 를 건드리지 않고도 작동합니다. 이 과정은 단 한 번의 전방향 추론(one prompt per state)만으로 이루어지며, L0 방식에 비해 비용이 적게 듭니다. 따라서 AnyJev는 LLM을 단순한 답변기가 아닌, 신뢰할 수 있는 확률적 의사결정 엔드포인트로 변환하는 데 초점을 맞추고 있습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 프롬프트
- AI에게 주는 지시나 질문 글.