법률 추론 강화를 위한 LEGO 프레임워크 제안
LEGO: Synergizing Expert GraphRAG and Expert Chain-of-Thought for Legal Reasoning
arXiv복잡한 법률 추론의 한계를 극복하기 위해, 전문가 지식이 담긴 그래프 검색(GraphRAG)과 구조화된 사고 과정(CoT)을 결합한 'LEGO' 프레임워크가 제안되었습니다.
- LEGO는 법규 간 규범적 관계를 반영하고 사실-조항-결론을 체계적으로 구성하여, 기존 방식보다 높은 정확도를 달성했으며 LawExamQA_Civil에서 40.53%의 성능 우위를 입증했습니다.
- 이 기술은 단순 정보 검색을 넘어 법률 조항 간 복잡한 논리적 관계를 추론하는 능력을 AI에 부여합니다. 이는 의료, 금융 등 고위험 전문 분야 AI 활용의 신뢰도를 높일 수 있습니다.
- 다만 이 프레임워크는 전문가가 주석을 단 법전 그래프와 특정 데이터셋에 의존하므로, 실제 적용 시 해당 분야의 전문 지식 구축이 선행되어야 합니다.
(LLM)이 법률과 같은 고위험 영역에 적용되면서도, 복잡한 법적 추론 과정에는 구조적인 한계가 존재합니다. 기존의 및 GraphRAG 방식은 법규 간 규범적 관계를 놓치고 단순한 어휘적 또는 의미적 유사성에 초점을 맞추는 경향이 있습니다. 또한 일반적인 (CoT) 프롬프팅만으로는 법률 추론에 필요한 규범적 구조를 강제하기 어렵다는 문제가 지적되었습니다.
이를 해결하기 위해 연구진은 'LEGO'라는 이중 모듈 프레임워크를 제안했습니다. LEGO는 법률 전문가가 주석을 단 민법 그래프(ExpertGraphRAG)와 전문적인 CoT 방식을 결합합니다. ExpertGraphRAG는 탐욕적 규범 커버리지 검색 알고리즘을 사용하여 인스턴스별 조항 하위 그래프를 동적으로 추출하며, ExpertCoT는 이렇게 검색된 법규 및 사례 사실들을 구조화된 '조항-사실-결론' 추론 형태로 구성합니다.
LEGO 프레임워크는 Qwen3-8B 백본을 기반으로 LawExamQA_Civil 데이터셋에서 40.53%의 정확한 일치율(exact-match accuracy)을 달성하며, 평가된 RAG 및 CoT 베이스라인보다 우수한 성능을 보였습니다. 또한 다단계 질문에서도 강건함을 입증했으며, 개별 모듈과 결합 모듈 모두가 복잡한 법률 추론 능력을 향상시키는 데 기여했음이 확인되었습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- RAG
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- Chain-of-Thought
- 답에 이르는 생각 과정을 단계별로 적게 해서 정확도를 높이는 방법.