개발도구 도구
LLM의 구조화된 결정 추출 기술 SemIf 소개
TheoLeeCJ/SemIf
GitHubSemIf는 LLM이 텍스트 생성 대신 미리 정의된 옵션에 대한 확률값(logits)을 직접 출력하는 시스템입니다. 이를 통해 복잡한 추론 과정에서 구조화되고 유형화된 결정을 빠르고 정확하게 추출할 수 있습니다.
세 줄 요약
- 기존의 JSON 기반 텍스트 생성 방식 대비, 로짓 직접 읽기 방식은 추론 속도가 수 배 이상 빨라지며, 공유 상태 재사용 기능으로 시스템 효율성을 극대화했습니다.
- 이 기술은 LLM 에이전트가 단순 대화를 넘어 분류, 라우팅 등 복잡하고 반복적인 비즈니스 결정을 신뢰성 있고 빠르게 수행하는 핵심 인프라를 제공합니다.
- 본 프로젝트는 독립 연구 결과물이며, 정확한 성능을 위해서는 워크로드별 온도 보정(Calibration) 과정이 필수적입니다. 다양한 하드웨어 및 백엔드를 지원하며 테스트가 진행되었습니다.
SemIf는 (LLM)이 추론 과정에서 텍스트를 생성하는 대신, 미리 정의된 옵션에 대한 확률값(logits)을 직접 읽어내는 방식을 구현한 시스템입니다. 이는 가 라우팅이나 증거 검토와 같은 작은 결정을 내릴 때, 모델이 답변 문장을 생성하고 이를 다시 소프트웨어가 파싱해야 하는 과정을 생략하여 효율성을 높이는 것이 핵심입니다.
실제 테스트 결과에 따르면, 직접 로짓을 읽는 방식은 기존의 자기회귀(autoregressive) JSON 배열 생성 방식보다 월등히 빠릅니다. 예를 들어, 특정 워크로드에서 직접 로짓을 읽는 데 1.023초가 소요된 반면, JSON 배열 생성이 완료되는 데는 5.332초가 걸렸습니다. 또한, 하나의 긴 상태를 미리 불러와 여러 기준에 걸쳐 병렬로 평가하는 공유 상태(shared-state) 기능을 지원하여 시스템의 처리 효율성을 극대화합니다.
이 프로젝트는 독립적인 연구 결과물이며, 브라우저에서 대기열 없이 바로 실행 가능한 데모를 제공합니다. Apple Silicon 환경에서는 MLX 백엔드를 통해 직접 로짓 스코어링을 수행할 수 있으며, Qwen3.5-4B 모델 등을 사용하여 특정 워크로드에서 0.813의 높은 정확도를 기록했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.