다중 목표 최적화, 수렴과 다양성을 분리한 새로운 접근법
Converge Then Diversify: Decoupling Convergence and Diversity in Multi-Objective Bayesian Optimisation
arXiv다중 목표 베이즈 최적화(MOBO)는 파레토 전면을 근사하는 것이 핵심 목표이나, 기존 방식은 수렴과 다양성을 동시에 달성하기 어려웠습니다. 이에 연구진은 이 두 과정을 분리한 '수렴 후 분산(CTD)' 접근법을 제안했습니다.
- CTD는 먼저 검색 영역을 파레토 전면의 한 지점으로 빠르게 집중시킨 뒤(수렴), 다음 단계에서 해를 전체 영역으로 넓히는 2단계 과정으로 최적화합니다. 실험 결과, 다수의 비교 사례에서 기존 최고 성능 기법보다 우수한 결과를 보였습니다.
- 특히 평가 예산이 매우 제한적이거나 고차원적인 복잡계 문제를 다룰 때 CTD의 효과가 두드러집니다. 이 방법은 MOBO의 근본적인 한계를 극복하며 신뢰도 높은 솔루션 획득을 가능하게 합니다.
- CTD는 MOBO 분야에 특화된 기법으로, 기존 방식 대비 전반적으로 높은 성능 우위를 입증했습니다. 복잡한 다중 목표 최적화 문제 해결 시 새로운 대안이 될 수 있습니다.
다중 목표 베이즈 최적화(MOBO)는 여러 목적을 가진 복잡한 블랙박스 함수를 샘플 효율적으로 최적화하는 방법입니다. MOBO의 핵심 목표는 파레토 전면(Pareto front)을 적절히 근사하여 고품질 솔루션 세트를 얻는 것입니다. 기존 MOBO 방식들은 일반적으로 검색 영역을 파레토 전면으로 수렴시키면서도, 동시에 해들이 전체 전면에 걸쳐 다양성을 유지하도록 두 가지 목표를 한 번에 달성하려 했으나, 이는 설계가 까다롭고 특히 평가 예산이 매우 제한적일 경우 어려움이 있었습니다.
이에 본 연구는 '수렴 후 분산(converge-then-diversify, CTD)' 접근법을 제안하여 수렴과 다양성을 두 단계로 분리했습니다. 첫 번째 단계에서는 검색 영역을 파레토 전면의 특정 지점으로 빠르게 집중시키는 데 초점을 맞추고, 두 번째 단계에서는 이전에 확보된 해들을 전체 전면에 걸쳐 넓게 퍼지도록(diversity) 만드는 것을 목표로 합니다.
실험 결과에 따르면, CTD 접근법은 446개의 쌍별 비교 사례를 분석했을 때 기존 최고 성능 기법보다 통계적으로 우수한 결과를 72.9%의 경우에서 보였습니다. 또한 21.1%의 경우에는 동등한 성능을 나타냈으며, 오직 6.1%의 경우에만 통계적으로 열세였습니다. 이러한 장점은 특히 평가 예산이 매우 제한적이거나 고차원적인 문제 설정에서 두드러지게 나타났습니다.