질문별 최적화 정책으로 그래프 기반 검색 증강 생성(GraphRAG) 성능 향상
MOSAIC: Query-Aware Exploration Policy Adaptation for GraphRAG
arXiv기존 GraphRAG 시스템은 모든 질문에 동일한 탐색 방식을 사용해 구조적 한계가 있었습니다. MOSAIC는 이를 해결하기 위해 각 질문의 특성에 맞춰 최적화된 제어 정책을 적용하는 프레임워크입니다.
- MOSAIC는 LLM 분석기를 활용하여 질문별로 시드 선택, 그래프 순회 등 탐색 과정을 정교하게 제어합니다. 그 결과 GraphRAG-Bench에서 기존 최고 기록 대비 높은 정확도 향상을 입증했습니다.
- 이 기술은 복잡한 지식 그래프 내에서 질문 의도를 파악하여 가장 적절하고 깊이 있는 정보를 찾아내므로, AI 답변의 신뢰성과 검색 정확도를 획기적으로 높일 수 있습니다.
- 특히 별도의 학습 과정 없이(training-free) 작동하며 다양한 지식 그래프 기반 질문 응답 작업에 적용 가능하다는 점이 큰 강점입니다.
기존의 Graph Retrieval-Augmented Generation (GraphRAG) 시스템은 코퍼스 전체에 걸쳐 공유되는 탐색 절차를 사용하기 때문에 구조적인 불일치 문제가 발생합니다. 즉, 단순한 사실 검색에는 국소적 근접 이웃이 필요하고, 비교 질문에는 여러 타겟에 대한 균형 잡힌 커버리지가 요구되며, 매개된 질문에는 약하게 관련된 연결자를 통한 깊은 경로 탐색이 필요한 등, 질문 유형별로 최적화가 필요합니다. MOSAIC는 이러한 문제를 해결하기 위해 GraphRAG 검색을 쿼리별 제어 문제(per-query control problem)로 공식화한 학습 불필요(training-free) 프레임워크입니다.
MOSAIC는 분석기를 활용하여 질문 고유의 증거 요구사항을 시드 선택, 그래프 순회, 중지 조건 및 증거 선택에 대한 경계 정책으로 변환합니다. 이 과정에서 코퍼스 그래프, 인덱스, 점수 함수, 접지 절차(grounding procedure), 답변 생성기는 공유되는 구조를 유지하면서도 질문의 의도에 맞춰 탐색 과정을 정교하게 제어할 수 있습니다.
실험 결과, Mosaic는 GraphRAG-Bench에서 Medical 데이터셋에 대해 76.97점, Novel 데이터셋에 대해 64.33점을 달성하며 기존 최고 기록 대비 각각 5.13점과 4.43점의 향상을 보였습니다. 또한, Medical 데이터셋에서는 95.1의 증거 재현율(Evidence Recall)과 86.1의 컨텍스트 관련성을 기록했습니다.
제어된 비교 실험에서 Mosaic는 고정된 정책 대비 9.96점의 성능 향상을 입증했으며, 상대적으로 Fixed Wide 정책을 사용했을 때보다 경로 수는 81.9% 적고 증거 항목은 47.2% 적으면서도 높은 성능을 유지했습니다. 이 프레임워크는 HotpotQA, MuSiQue, 2WikiMultiHopQA 등 다양한 에서도 별도의 검색기 학습 없이 적용 가능함을 보여주었습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.