지식 접근을 넘어 자료 학습으로: 출처별 역량 개발
From Knowledge Access to Source Learning: Developing Source-Specific Competence
대규모 언어 모델(LLM) 에이전트가 외부 지식을 활용할 때, 단순한 정보 접근을 넘어 특정 자료에 대한 이해도를 점진적으로 높이는 '소스 학습' 방식을 제안했습니다.
대규모 언어 모델이 단순히 정보를 검색하는 것을 넘어, 자료의 구조적 지식 공백을 찾아 깊이 있게 이해할 수 있도록 도와줘요.
- 제시된 SourceLearn은 미흡한 이해 영역을 자체적으로 파악해 재검토하거나, 후속 과제 경험을 활용하여 자료의 구조적 지식 공백을 찾아 학습하는 방식으로 작동합니다.
- 이 기술은 기존 검색 증강 생성(RAG) 방식이나 정적 메모리 시스템보다 월등히 높은 성능을 보여, LLM 에이전트가 전문적인 지식을 깊이 있게 활용하는 데 중요한 전환점이 될 수 있습니다.
- 연구는 5가지 벤치마크와 여러 LLM 백엔드에서 뛰어난 성능 향상을 입증하며, 복잡한 지식 기반 시스템의 발전에 큰 기여를 할 것으로 기대됩니다.
(LLM) 가 지식 집약적 작업을 수행할 때 외부 출처에 의존하는 추세가 증가하고 있다. 기존 방법들은 출처 콘텐츠의 접근 및 조직화는 개선했지만, 동일한 출처를 반복적으로 사용하는 것을 단순한 재접근으로만 취급하여 이해도를 점진적으로 높이는 데 한계가 있었다. 본 연구는 지속적인 권위 있는 출처를 기반으로 재사용 가능한 '출처별 역량(source-specific competence)'을 개발하는 소스 학습(Source Learning) 개념을 제시한다.
이를 위해 SourceLearn이라는 모델을 제안하며, 이 모델은 두 가지 보완적인 학습 메커니즘을 결합하여 출처에 대한 재사용 가능한 이해를 포착한다. 첫째, 자체 주도적 소스 학습(Self-Directed Source Learning)은 아직 완전히 이해되지 않은 부분을 식별하고 해당 출처를 적응적으로 재검토하는 역할을 한다. 둘째, 과제 기반 소스 학습(Task-Guided Source Learning)은 후속 경험을 활용하여 지식 구조의 국소적인 표현 격차와 반복적인 필요성을 밝혀낸다.
SourceLearn은 총 다섯 가지 와 세 가지 LLM 백엔드에서 테스트되었으며, 15개 중 13개 환경에서 최고의 성능을 달성했다. 이 결과는 기존의 하이브리드 방식 대비 최대 22.6점까지 향상된 수치를 보였으며, 정적 출처 표현 및 경험 기반 메모리 기준선보다 전반적으로 높은 개선을 입증했다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- RAG
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
기존 LLM 에이전트가 지식 출처를 활용할 때 어떤 한계가 있었나요?
기존 방법들은 자료에 접근하고 정리하는 것은 개선했지만, 같은 출처를 반복적으로 사용하는 것을 단순한 재접근으로만 취급해서 이해도를 점진적으로 높이는 데 어려움이 있었습니다.
SourceLearn은 어떤 방식으로 자료에 대한 이해를 높이나요?
두 가지 메커니즘을 결합해요. 하나는 아직 완전히 이해되지 않은 부분을 스스로 찾아 재검토하는 '자체 주도적 학습'이고, 다른 하나는 후속 과제 경험을 활용해서 지식 구조의 빈틈과 필요성을 밝혀내는 '과제 기반 학습'이에요.
SourceLearn은 기존 방식보다 얼마나 성능이 향상되었나요?
하이브리드 RAG 방식과 비교했을 때 최대 22.6점까지 높은 성능 향상을 보였고, 정적 출처 표현이나 경험 기반 메모리 기준선보다 전반적으로 개선된 것을 입증했어요.