LLM 기반 자동 지식 위키 구축 및 관계망 분석 도구
nashsu/llm_wiki
GitHubLLM Wiki는 문서를 단순 검색하는 RAG 방식을 넘어, 사용자의 자료를 분석하여 구조화하고 지속적으로 업데이트되는 개인 지식 위키를 자동 구축합니다.
- 두 단계의 LLM 처리 과정을 거쳐 페이지를 생성하며, 4가지 신호 기반 관련성 모델과 지식 그래프로 복잡한 관계망을 시각화합니다.
- 방대한 자료 속에서 숨겨진 연결고리나 지식의 공백(Knowledge Gaps)을 자동으로 찾아내어 깊이 있는 통찰력과 연구 방향을 제시합니다.
- PDF, 오피스 문서 등 다양한 형식의 수집 및 웹 클리핑을 지원하며, 로컬 API 연동으로 하이브리드 검색 환경 구축에 최적화되어 있습니다.
Wiki는 문서를 단순 검색하는 전통적인 (검색 증강 생성) 방식을 넘어, 사용자가 제공한 자료를 분석하여 구조화하고 지속적으로 업데이트되는 개인 지식 위키를 자동 구축합니다. 이 시스템은 지식을 한 번 컴파일하고 최신 상태로 유지하며, 모든 기능은 크로스 플랫폼 데스크톱 애플리케이션 형태로 구현되어 사용자 경험을 개선했습니다.
자료를 위키로 가져오는 과정은 두 단계의 LLM 체인-오브-사고() 방식을 사용합니다. 첫 번째 분석 단계에서 핵심 개체, 개념, 기존 지식과의 연결점 등을 구조적으로 분석하며, 이후 두 번째 생성 단계에서 이를 바탕으로 출처 추적 기능이 포함된 위키 파일을 생성하고 인덱스를 업데이트합니다. 이 과정은 PDF, 오피스 문서 등 다양한 형식을 지원하며, SHA256 기반의 증분 캐시를 활용하여 효율성을 높입니다.
지식 구조화 측면에서, 시스템은 지식 그래프를 구축하고 관련성 분석을 수행합니다. 이는 직접 링크, 출처 중복, Adamic-Adar 계수, 유형 친화도 등 네 가지 신호(4-Signal Relevance Model)를 기반으로 연결 강도를 측정합니다. 또한 Louvain 알고리즘을 이용해 자동으로 지식 클러스터를 발견하고, 그래프 통찰력 기능을 통해 예상치 못한 관계나 지식의 공백(Knowledge Gaps)을 식별하여 연구 방향을 제시합니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- RAG
- 답하기 전에 관련 문서를 찾아 그 내용을 근거로 답하게 하는 방법.
- Chain-of-Thought
- 답에 이르는 생각 과정을 단계별로 적게 해서 정확도를 높이는 방법.