검색 증강 언어 모델(RALM)의 신뢰성 향상 프레임워크
Sieve and Sage: Efficient Distraction Filtering for Reliable RALM Abstention
arXiv검색 증강 언어 모델(RALM)의 신뢰도를 높이기 위해, 근거 부족 시 답변을 정확히 거부하는 '추론 및 거부' 프레임워크를 제안했습니다.
AI가 답변할 때 근거를 정확히 제시하고, 정보가 부족하거나 상충될 때는 거짓말하지 않도록 하는 기술이 중요해졌어요. 특히 의료나 법률처럼 신뢰성이 필수인 전문 영역에 핵심적인 역할을 할 것으로 기대돼요.
- 핵심은 검색 실패를 '정보 부재'와 '노이즈/상충 정보 혼재' 두 상태로 분류하고, 경량 필터(Sieve)가 노이즈를 제거한 후 답변을 생성하는 것입니다.
- 이 방식을 통해 기존 대비 정확도는 최대 69.4%p 향상되었으며, 계산 비용 절감 및 속도 개선 효과(최대 1.99배)까지 입증했습니다.
- 답변의 출처와 신뢰도를 체계적으로 검증하는 것이 중요해지면서, 고신뢰성이 필수인 의료/법률 등 전문 영역에 핵심적인 역할을 할 것으로 기대됩니다.
기존 검색 증강 언어 모델(RALM)은 다양한 형태의 검색 실패를 단일 단계로 처리하는 경향이 있어, 신뢰할 수 있는 답변 거부 성능이 제한적이고 계산 비용이 높다는 문제가 있었습니다. 본 연구는 이러한 검색 실패를 '필요한 근거가 부재한 상태'와 '관련 증거가 상충되거나 적대적인 정보와 혼재된 방해 상태(distracted state)' 두 가지로 분해하여 접근했습니다.
이를 바탕으로, 연구진은 경량 모듈인 Sieve를 도입하여 검색된 문서 세트에서 방해되는 증거를 사전에 걸러내는 필터링 과정을 수행합니다. 이후 비용이 많이 드는 (Sage)을 호출하여 근거 기반의 답변 생성 및 거부 과정을 진행하는 2단계 프레임워크가 구축되었습니다. 이 구조는 RALM에 효율적이고 신뢰성 높은 답변 거부 파이프라인을 제공합니다.
Sieve와 Sage 프레임워크를 일반 영역과 고위험 전문 영역에서 평가한 결과, 기존의 단일 단계 방식 대비 시스템 정확도를 최대 69.4%p 향상시켰으며, Macro-F1 점수도 55.2%p 개선하는 성과를 보였습니다. 또한, 계산 속도 측면에서도 최대 1.99배의 가속 효과를 달성했습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
검색 증강 언어 모델(RALM)이란 무엇인가요?
RALM은 정보를 검색하고 그 근거를 바탕으로 답변을 생성하는 인공지능 모델이에요. 기존에는 다양한 형태의 검색 실패를 단일 단계로 처리하여 신뢰할 수 있는 답변 거부 성능이 제한적이었지만, 이 연구는 이를 개선했어요.
새로운 프레임워크는 어떤 방식으로 작동하나요?
연구진은 'Sieve'라는 경량 모듈을 도입해서 검색된 문서 세트에서 방해되는 증거를 사전에 걸러내는 필터링 과정을 수행해요. 이후 비용이 많이 드는 LLM(Sage)을 호출하여 근거 기반의 답변 생성 및 거부 과정을 진행하는 2단계 프레임워크가 구축되었어요.
기존 방식 대비 어떤 성능 개선 효과를 보였나요?
이 새로운 구조는 기존의 단일 단계 방식과 비교했을 때 시스템 정확도를 최대 69.4%p까지 향상시켰어요. 또한 계산 속도 측면에서도 최대 1.99배의 가속 효과를 달성하는 성과를 보였답니다.