오픈 LLM 기반 구조화된 의사결정 시스템 SemIf 공개
TheoLeeCJ/SemIf-OpenJev
GitHub오픈 LLM을 활용해 '런타임 정의 의사결정(if-else 패턴)'을 추출하는 SemIf가 공개되었습니다. 이 시스템은 일반적인 텍스트 생성 및 파싱 과정 없이, 모델이 직접 옵션별 확률 값을 읽어내는 것이 핵심입니다.
- 기존 방식 대비 결정 속도가 월등히 빠르며, 특히 하나의 상태를 여러 기준에 걸쳐 재사용할 때 병렬 처리를 통해 처리 효율을 극대화합니다. 이는 LLM 기반 시스템의 실시간 의사결정 능력을 혁신적으로 개선합니다.
- 복잡한 비즈니스 로직이나 시스템 판단이 필요한 영역에서, 단순 텍스트 출력을 넘어 신뢰성 높고 구조화된 의사결정 결과를 얻을 수 있게 됩니다. AI 시스템의 실용성이 크게 높아질 것으로 기대됩니다.
- 본 프로젝트는 독립적인 연구 결과물이며, 모델 성능은 사용된 오픈 모델과 평가 워크로드에 따라 달라집니다. 따라서 실제 적용 시에는 반드시 검증이 필요합니다.
SemIf는 오픈 모델을 활용하여 런타임에 정의되는 의미론적 결정(semantic decisions) 패턴, 즉 if-else 로직을 추출하는 독립적인 연구 프로젝트입니다. 기존의 기반 가 의사결정을 위해 텍스트를 생성하고 이를 소프트웨어가 다시 파싱해야 하는 방식과 달리, SemIf는 모델로부터 옵션별 확률 값을 직접 읽어내는 방식을 사용합니다. 이 접근법은 답변 문장이나 JSON 수리 과정 없이 타입화된 옵션의 확률을 바로 활용하여 시스템의 의사결정 과정을 구조화하고 신뢰성을 높입니다.
이러한 방식은 성능 면에서 큰 개선을 보여줍니다. 예를 들어, 21개의 기준에 대한 결정 비교 시, 직접적인 타입 로짓(Direct typed logits) 읽기 방식은 1.023초가 소요된 반면, 자가회귀적 JSON 배열 생성 방식은 5.332초가 걸렸습니다. 또한, 하나의 상태를 여러 의사결정 기준에 걸쳐 재사용하는 워크로드에서는 병렬 접미사(Parallel suffixes) 방식을 통해 최대 20.03 decisions/s의 처리 속도를 달성하며 효율성을 극대화합니다.
SemIf는 Apple Silicon을 위한 MLX 백엔드 지원과 PyTorch/MPS를 포함한 다양한 환경에서 구동 가능하며, 모델이 상태(state)와 기준(criteria)에 대한 결정을 내릴 때 이를 추적하고 감사할 수 있도록 설계되었습니다. 이 프로젝트는 TypeSafe의 서비스인 Jev의 인터페이스 패턴을 오픈 모델로 재현한 것이며, 사용된 모든 결과물과 환경은 투명하게 기록되어 검증이 가능합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.