LLM 의사결정 확률 직접 읽기 기술 OpenJev 소개
TheoLeeCJ/openjev
GitHub오픈소스 프로젝트 OpenJev는 LLM이 텍스트를 생성하는 대신, 구조화된 의사결정 확률 값(logits)을 직접 출력하여 시스템 로직에 활용하는 새로운 방식을 구현했습니다.
- 모델 출력을 JSON 파싱이나 토큰 디코딩 과정 없이 바로 읽어내기 때문에, 기존 방식 대비 처리 속도가 수 배 이상 빠르며 상태 재사용 효율성도 극대화됩니다.
- 이는 LLM을 단순한 대화형 모델이 아닌, 시스템의 논리적 판단(if/else)에 직접 활용하는 방향으로 발전시켜 AI 에이전트 설계 패러다임을 바꿀 잠재력을 보여줍니다.
- 본 프로젝트는 상용 서비스 Jev의 '인터페이스 패턴'을 오픈 모델로 재현한 것이며, 실제 독점 모델이나 학습 과정과 동일하다는 의미는 아닙니다.
OpenJev는 (LLM)을 단순한 텍스트 생성 도구가 아닌, 시스템의 논리적 판단에 활용하는 새로운 인터페이스 패턴을 구현합니다. 이 방식은 모델이 답변 문장을 생성하고 이를 JSON으로 파싱하거나 디코딩 루프를 거치는 기존 방법과 달리, 구조화된 의사결정 확률(logits)을 직접 읽어냅니다. 따라서 별도의 텍스트 처리 과정 없이 바로 시스템 로직에 활용할 수 있어 효율성이 높습니다.
이러한 접근 방식은 성능 면에서 큰 개선을 보여줍니다. 예를 들어, 특정 테스트 환경에서 직접 로짓을 읽는 경우 중앙값 시간이 1.023초였으나, 자기회귀(Autoregressive) JSON 배열 생성 방식을 사용했을 때는 5.332초가 소요되었습니다. 또한 OpenJev는 하나의 긴 상태를 미리 불러와 여러 기준에 걸쳐 병렬로 평가할 수 있는 'Shared-state aware' 기능을 제공하여 효율성을 극대화합니다.
OpenJev를 실행하기 위해서는 Python 3.10 이상 버전과 환경이 필요하며, 4B BF16 모델을 로드할 수 있는 가 요구됩니다. 프로젝트는 가상 환경 설정 및 라이브러리 설치 과정을 제공하고 있으며, 실제 사용 시에는 `--mode direct`와 같은 옵션을 사용하여 특정 모델(예: Qwen/Qwen3.5-4B)과 입력 파일(`examples/decisions.jsonl`)을 지정하여 로짓 스코어를 얻는 명령어가 제시됩니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- CUDA
- 엔비디아 GPU에서 계산 프로그램을 돌리게 해 주는 개발 플랫폼.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.