아카이브 논문 기반 에이전트형 RAG 시스템 구축 가이드
jamwithai/production-agentic-rag-course
GitHub아카이브 논문을 활용하여 연구 질문에 답하는 'arXiv 논문 큐레이터' 시스템을 구축하는 실습 중심의 종합 가이드입니다.
이 가이드를 통해 단순 검색을 넘어 산업 표준에 맞는 에이전트형 RAG 시스템 구축 전 과정을 실습하며 깊이 있는 기술 역량을 확보할 수 있어요.
- 단순 벡터 검색이 아닌, 키워드 기반 BM25 검색부터 시작해 하이브리드 검색을 거쳐 LangGraph를 활용한 에이전트형 RAG 시스템까지 완성합니다.
- 인프라 구축(Docker, FastAPI), 데이터 파이프라인, 모니터링 등 실제 기업 환경에서 필요한 전 과정을 실습하며 깊이 있는 기술 역량을 확보할 수 있습니다.
- 아키텍처 설계부터 LangGraph, OpenSearch 등 다수의 전문 기술 스택을 요구하므로 높은 수준의 사전 지식과 개발 환경 구축이 필요합니다.
본 과정은 아카이브(arXiv) 학술 논문을 활용하여 연구 질문에 답변하는 '논문 큐레이터' 시스템을 구축하는 실습 중심의 종합 가이드입니다. 단순한 벡터 검색 방식이 아닌, 산업 표준 관행을 따라 키워드 기반 검색부터 시작해 하이브리드 검색으로 확장하며 프로덕션 등급의 (검색 증강 생성) 시스템을 만드는 데 중점을 둡니다.
시스템 구축 과정은 다수의 전문 기술 스택을 요구합니다. 초기 단계에서는 Docker, Fast, PostgreSQL, OpenSearch, Airflow 등을 활용하여 인프라를 완성하고, 이후 arXiv API 연동 및 데이터 파이프라인을 통해 학술 논문을 자동 수집·처리합니다. 특히 검색의 기초가 되는 BM25 키워드 검색부터 구현하는 것이 핵심 단계입니다.
최종적으로는 LangGraph와 개념을 결합한 에이전트형 RAG 시스템을 완성하며, 이를 Telegram 봇과 연동하여 모바일 접근성을 확보합니다. 이 과정에서 에이전트는 지능적인 의사결정, 문서 관련성 평가(Document Grading), 그리고 검색 결과가 부족할 때의 질의어 재작성 등의 고급 기능을 수행하게 됩니다.
용어 풀이
- RAG
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
시스템 구축 과정에서 어떤 전문 기술 스택들을 사용하나요?
초기 인프라를 완성하기 위해 Docker, FastAPI, PostgreSQL, OpenSearch, Airflow 같은 전문 기술 스택을 활용해요. 또한 arXiv API 연동과 데이터 파이프라인 구축도 진행하게 돼요.
에이전트형 RAG 시스템은 어떤 고급 기능을 수행하나요?
에이전트는 지능적인 의사결정이나 문서 관련성 평가(Document Grading) 같은 고급 기능을 수행해요. 검색 결과가 부족할 때는 질의어 재작성 등의 기능도 할 수 있어요.
시스템은 어떤 방식으로 작동하며, 무엇을 목표로 하나요?
아카이브 학술 논문을 활용하여 연구 질문에 답변하는 '논문 큐레이터' 시스템을 목표로 해요. 단순 벡터 검색이 아닌, 키워드 기반의 BM25 검색부터 시작해 하이브리드 검색으로 확장해요.