활용 사례 연구
Off-Policy Evaluation for Semantic ID Recommenders: Does the Model's Own Code Hierarchy Help?
ARarXiv
생성형 추천 시스템의 성능을 오프라인에서 평가하기 위해, 개별 아이템 대신 코드 접두사 클러스터링(coarsening) 방식을 도입했습니다.
세 줄 요약
- 기존에는 샘플 크기가 작아 어려웠던 OPE를 SID 트리가 가능하게 하여 추정 가능한 지지 기반을 확보하고 오류를 줄였습니다.
- 이 방법은 실제 서비스에 적용하기 전, 다양한 디코더나 재순위화 변형을 비용 효율적으로 테스트할 수 있게 해 개발 리소스를 절약합니다.
- 평가 정확도를 높이려면 '해상도 깊이(Resolution depth)' 조절이 핵심이며, 클러스터링으로 인한 편향은 재구성 잔여분과 연관 지어 관리해야 합니다.
생성형 추천 시스템의 성능을 오프라인에서 평가하기 위해, 개별 아이템 대신 코드 접두사 클러스터링(coarsening) 방식을 도입했습니다.