리서치 연구
오프라인 정책 평가를 통한 적응형 실험 설계 지원
Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments
arXiv기존 A/B 테스트 데이터(과거 기록)를 활용하여, 실제로 적용하지 않은 적응형 실험 정책의 성능을 사후적으로 평가하는 방법론을 제시했습니다.
세 줄 요약
- 분석 결과, 대상에 의미 있는 이질성(Heterogeneity)이 존재할 때만 적응형 정책이 기존 고정 배분 방식보다 성능 향상을 보였습니다.
- 이 기술은 기업이 새로운 실험을 시작하기 전, 기존 데이터를 기반으로 적응형 정책 도입 여부와 최적의 정책을 판단하는 실질적인 가이드라인을 제공합니다.
- 따라서 데이터에 이질성이 부족하거나 구조가 단순하다면, 적응형 정책 도입이 큰 이점을 가져오지 못할 수 있으므로 신중한 검토가 필수적입니다.
본 연구는 기존의 고정된 무작위 실험(A/B 테스트) 데이터를 활용하여 컨텍스트 기반 밴딧을 이용한 적응형 실험 배포에 필요한 정보를 얻는 방법을 제시합니다. 정적 할당 하에 수집된 데이터가 있을 때, 어떤 적응 정책이 원래 설계보다 더 나은 성능을 보였을지 평가하는 것이 목표입니다.
연구진은 오프라인 정책 평가(OPE)와 통제된 워밍업 시뮬레이션을 결합하여 이질적인 처리 효과를 보이는 기록된 A/B 테스트 데이터를 분석합니다. 이 과정에서 불필요한 구성 요소를 추정하고, 더블리 로버스트 추정기(doubly robust estimators)를 사용하여 사전에 지정된 적응형 및 비적응형 정책 포트폴리오의 순위를 매깁니다.
합성 무작위 통제 시험과 알려진 이질성 구조를 사용한 결과, 의미 있는 이질성이 존재할 때 적응형 상황 인지 정책이 고정 할당보다 성능을 개선하는 것으로 나타났습니다. 이러한 결과를 바탕으로 기존 A/B 테스트 데이터를 활용하여 언제 적응형 실험 도입이 가치가 있는지, 그리고 경쟁하는 여러 적응형 정책 중 어떤 것을 선택해야 하는지에 대한 실질적인 방법론을 제공합니다.