비즈니스 인텔리전스 자동화를 위한 에이전트 및 벤치마크 개발
BI-Agent and BI-Bench: Towards Automating End-to-End Business Intelligence
arXiv복잡한 비즈니스 인텔리전스(BI) 워크플로우를 자동화하기 위해, 연구진은 실제 사례 기반의 벤치마크(BI-Bench)와 전문 에이전트를 개발했습니다.
- 기존 최신 LLM도 BI 문제 해결에 어려움을 겪었으나, 도구 기능을 결합하고 추가 학습을 거친 BI-Agent가 정확도를 크게 높여 복잡한 데이터 처리가 가능함을 입증했습니다.
- 이 기술은 사용자가 데이터를 직접 준비할 필요 없이 질문만으로 최종 비즈니스 인사이트를 얻게 하여, 기업의 업무 효율성을 혁신적으로 개선할 잠재력을 가집니다.
- 성공적인 BI 자동화를 위해서는 강력한 LLM 자체 능력뿐 아니라, 데이터 검색/변환 같은 도구 기반 추론과 전문 분야 특화 학습이 필수적임을 보여줍니다.
기존의 비즈니스 인텔리전스(BI) 워크플로우는 사용자가 관련 테이블 식별, 데이터 변환 수행, 조인 관계 구축 등의 복잡하고 시간이 많이 소요되는 수동 준비 단계를 거쳐야만 비즈니스 질문에 답할 수 있었습니다. 이러한 어려움을 해결하기 위해 연구진은 의 엔드투엔드 BI 질문 답변 능력을 연구하고자 했습니다. 이에 따라 실제 사용자 대시보드에서 추출한 (질문, 정답) 쌍을 기반으로 구축된 인 BI-Bench를 개발했습니다.
연구 결과, 최첨단(frontier) LLM조차도 BI-Bench에서 50% 미만의 정확도를 보이는 등 성능에 한계가 있었습니다. 이를 극복하기 위해 연구진은 도구 증강형 BI-Agent를 설계했습니다. 이 는 검색(search), 조인, 변환(transform)과 같은 구조화된 데이터 서브태스크로 BI 워크플로우를 분해하고, 각 단계별 전문적인 데이터 관리 방법을 오케스트레이션합니다.
나아가 연구진은 실제 BI 프로젝트에서 학습 궤적을 합성하는 후처리 프레임워크를 개발하여, BI-Agent가 지도 (SFT)과 (RL)을 통해 추가 학습할 수 있도록 했습니다. 그 결과, BI-Agent는 일반 LLM 대비 최대 40% 포인트의 정확도 향상을 보였으며, 후처리 과정을 거친 에이전트는 최대 30% 포인트의 추가적인 성능 개선을 달성했습니다.
용어 풀이
- LLM
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
- 강화 학습
- 행동의 결과에 보상을 주면서 더 나은 행동을 익히게 하는 학습 방법.