기업 지침서 기반의 거버넌스형 AI 아티팩트 생성 시스템 SAGE
SAGE: Governed Artifact Generation from Enterprise Guidelines
arXiv복잡한 기업 지침서 같은 문서를 구조화된 작업물로 변환하는 수작업의 어려움을 해결하기 위해, 거버넌스 기반 LLM 파이프라인 'SAGE'가 개발되었습니다.
- SAGE는 단순 추출을 넘어 버전 관리 규칙 저장소와 일관성 검사 모듈을 도입하여, 문서 처리 시간을 며칠에서 20~100분대로 대폭 단축했습니다.
- AI 결과물의 신뢰성이 중요한 기업 환경에서, SAGE는 오류나 모순을 사전에 잡아내어 AI 활용의 안정성과 실질적인 업무 적용도를 높여줍니다.
- 특히 일반 LLM 대비 환각(Hallucination) 발생률을 15.7%에서 3.2%로 낮춘 것이 핵심 강점으로, 체계적 규칙 관리가 가능함을 보여줍니다.
기업 지침 문서들은 서술형 텍스트, 복잡한 표, 임베디드 이미지를 혼합하고 있어 이를 구조화된 작업물로 변환하는 과정은 수동으로 2~3일이 소요됩니다. 기존의 언어 및 비전-언어 모델들은 이러한 문서를 추출할 수는 있지만, 검증(validation)이나 일관성 확인 같은 거버넌스 워크플로우를 제공하지 못했습니다. 이에 SAGE는 공유된 버전 관리 규칙 저장소와 안정적인 식별자를 중심으로 하는 거버넌스 기반의 다단계 파이프라인을 도입하여 이 문제를 해결합니다.
SAGE는 추출된 규칙에 대해 결정론적 구조 검증과 LLM 기반 의미 점수화를 수행하며, 이후 일관성 모듈을 통해 중복 항목 제거, 모순되는 부분 플래그 지정, 그리고 명세상의 공백(specification gaps)을 드러냅니다. 이 과정에서 높은 신뢰도를 가진 결과물은 자동 승인되며, 불확실하거나 문제가 있는 항목만 검토자에게 전달되어 AI 활용의 안정성을 높입니다.
SAGE를 적용한 테스트 결과, 120개 문서를 처리하는 데 걸리는 시간이 수일에서 20~100분으로 대폭 단축되었습니다. 이 시스템은 문서 수준에서 96%의 성공률을 달성했으며, (hallucination) 발생률은 3.2%에 그쳤습니다. 이는 거버넌스 절차 없이 진행했을 때 환각률이 최대 15.7%까지 높아지는 것과 비교됩니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 환각
- AI가 사실이 아닌 내용을 그럴듯하게 지어내는 현상.