리서치 연구
Knowing Before Answering: Decoding Language Models for Reliable RAG
ARarXiv
검색 증강 생성(RAG) 시스템이 정보 부족이나 상충 문제로 신뢰도를 잃는 문제를 해결하기 위해, 모델 내부 신호를 활용하는 분류 기법을 제안했습니다.
세 줄 요약
- 연구진은 모델의 은닉 활성화(hidden activations)를 입력으로 하는 경량 라우터가 기존 프롬프팅 방식이나 전문 RAG 모델보다 우수한 성능을 보였습니다.
- 이 연구는 LLM이 내부적으로 증거 자료의 충분성을 인코딩하고 있음을 입증하며, RAG 시스템의 신뢰도를 높여 잘못된 답변 생성을 줄일 수 있습니다.
- 특히 분석 결과, 모델의 중간 레이어에 존재하는 은닉 활성화 상태가 주의 값 등 다른 피처보다 분류에 가장 유용한 핵심 신호임을 확인했습니다.
검색 증강 생성(RAG) 시스템이 정보 부족이나 상충 문제로 신뢰도를 잃는 문제를 해결하기 위해, 모델 내부 신호를 활용하는 분류 기법을 제안했습니다.