활용 사례 뉴스
RAG Is Simpler Than You Think
HNHacker News
RAG 시스템 구축 시, 임베딩과 벡터 데이터베이스를 바로 사용하는 것은 과도한 설계일 수 있으며, 문제에 맞는 적절한 접근법을 선택해야 한다.
세 줄 요약
- 초기 단계에서는 키워드 기반의 Full-Text Search(BM25)가 비용이 없고 디버깅이 쉬우며, LLM을 활용한 Query Rewriting은 질문 변환으로 유연성을 확보한다.
- 일반 임베딩 모델은 회사 고유 용어를 이해하지 못할 수 있으나, Query Rewriting은 시스템 프롬프트를 통해 해당 용어를 정확한 키워드로 유지하는 것이 가능하다.
- 임베딩을 도입하면 청크 크기 결정 등 복잡성이 추가되며, 특히 모델이 폐기될 경우 전체 데이터를 재임베딩하는 과정에서 큰 비용과 다운타임을 겪는다.
RAG 시스템 구축 시, 임베딩과 벡터 데이터베이스를 바로 사용하는 것은 과도한 설계일 수 있으며, 문제에 맞는 적절한 접근법을 선택해야 한다.