지식 격자를 활용한 결정론적 다단계 질의응답 시스템 LatWeave
Meet, Compare, or Abstain: LatWeave for Deterministic Multi-Hop Question Answering on Knowledge Lattices
arXiv현재 LLM 기반 QA 시스템은 환각(Hallucination) 위험과 근거 추적이 어렵다는 구조적 한계를 가지고 있습니다.
- LatWeave는 지식을 다차원 격자에 구조화하고, 복합적인 질문 답변을 '만남', '비교', '포기' 등 3가지 결정론적 연산으로 처리합니다.
- 답변 생성 과정에 LLM을 사용하지 않아 모든 단계를 완벽하게 검증(Audit)할 수 있으며, 모르는 경우에도 정확히 '정보 부족'으로 판단하는 것이 핵심 강점입니다.
- 다만, 지식이 불완전하거나 일반 텍스트로 구성된 복잡한 추론 환경에서는 성능 저하가 발생할 수 있다는 점을 고려해야 합니다.
기존의 확률 기반 QA 시스템(, 등)은 '알고 있는 지식'과 '추론하는 방법'을 하나의 확률적 계산으로 혼합하여 현상이 발생하거나 근거 추적이 어려운 구조적 한계를 가집니다. LatWeave는 이러한 문제를 해결하기 위해 지식을 다차원 격자(knowledge lattice)로 조직하고, 복합적인 질문 답변 과정을 '만남(meet)', '비교(compare)', '포기(abstain)'라는 세 가지 결정론적 연산자로 처리합니다.
LatWeave의 핵심은 답변 생성 경로에 LLM이나 별도의 태스크 학습이 필요 없다는 점입니다. 따라서 모든 단계가 완벽하게 검증(auditable) 가능하며, LLM은 오직 지식 추출 및 질의 계획 수립 과정에서만 사용됩니다. 이 구조는 질문-답변 과정을 재현 가능하고 감사 가능한 방식으로 만들어주며, 정보가 불완전할 경우 '구조적 포기'를 통해 모르는 것을 정확히 판단하는 것이 특징입니다.
이 시스템은 다양한 환경에서 성능을 입증했습니다. 지식이 완전한 MetaQA 에서는 세 단계에 걸쳐 만남 체인이 any-hit 0.997의 높은 성능을 보였으며, 정보가 불완전한 IIRC 데이터셋에서는 구조적 포기 정확도(abstain accuracy) 0.971과 누출률(leak rate) 0.029를 달성했습니다. 이러한 결정론적 실행은 작동 범위 내에서 성능 저하 없이 높은 신뢰성을 제공합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- RAG
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.