배포 전 AI 에이전트 성능 검증을 위한 시뮬레이션 방법론

고객 경험(CX) 에이전트는 고객 요청 처리 및 대화 상호작용에 도구와 LLM을 사용하지만, 의도 파악과 복잡한 운영 정책 준수 등 개선 과정에서 어려움이 있다. 기존의 수동 테스트는 커버리지에 한계가 있으며, 라이브 실험은 실패 노출로 인해 고객 신뢰를 잃을 위험이 따른다. 이에 연구진은 후보 CX 에이전트를 실제 배포 전에 검증할 수 있는 가설 기반 시뮬레이션 워크플로우를 제시했다.

제시된 방법론은 합성 고객(Synthetic customers)의 반응과 시뮬레이션된 도구 출력을 활용하여, 운영 백엔드를 호출하지 않고도 다단계 에이전트 워크플로우 테스트가 가능하다. 이 기법은 Nubank의 카드 배송 및 관리 에이전트를 대상으로 4개 버전에서 검증되었으며, 시뮬레이션 결과는 실제 프로덕션 버전 수준의 이진 평가 점수와 높은 상관관계를 보였다.

실제 A/B 테스트를 통해 시뮬레이션을 거쳐 개선된 모델은 트랜잭션 순 추천 지수(tNPS)를 36.69 포인트 증가시키는 성과를 보여주었다. 또한, 이 모델은 셀프 서비스율(SSR)을 8.82 퍼센트포인트 높이는 결과를 얻었으며, 이는 시뮬레이션을 통해 광범위하게 탐색한 결과가 라이브 실험만으로는 달성하기 어려웠던 제품 개선 사례이다.

이러한 시뮬레이션 기반 접근 방식은 규제가 엄격하고 복잡한 정책 준수가 필수적인 금융 산업 등에서 특히 유용하다. 에이전트의 의도 파악 및 도구 사용 신뢰성을 사전에 검증함으로써, 고객에게 노출될 위험 없이 모델 설정이나 프롬프트 조합을 폭넓게 탐색할 수 있게 한다.