단일 이미지 기반 3D Gaussian Splatting 최적화 기법
PhGS: Post-Hoc Pruning and Refinement of Single-View Feed-Forward 3D Gaussian Reconstructions
arXiv단일 이미지 기반 3D Gaussian Splatting(3DGS)은 가우시안 예측 과정에서 심각한 공간적 중복성을 가지며, 기존 방식으로는 고품질 재구성이 어려웠습니다.
- 본 연구는 모델을 재학습하는 대신, 중요도 점수 기반의 가지치기(Pruning)와 순환 정제 모듈을 결합하여 생성된 가우시안 데이터를 후처리 방식으로 최적화합니다.
- 이 방법은 기존 3DGS 백본과 호환되면서 메모리 사용량을 크게 줄이고, 새로운 시점에서도 높은 재현율을 유지하는 것이 강점입니다. 또한 추론 단계에서 필요한 가우시안 비율 조절이 유연합니다.
- 기존 모델의 구조를 건드리지 않는 후처리 방식(Backbone-agnostic)이라는 점에서 범용성이 높으며, 단일 이미지 환경에서의 3DGS 성능 향상에 기여할 수 있습니다.
최근 단일 시점(single-view)을 이용한 피드포워드 3D 가우시안 스플래팅(3DGS) 생성 방식은 카메라 광선당 고정된 수의 가우시안을 예측하여 심각한 공간적 중복성을 발생시키는 문제가 있습니다. 기존의 압축 전략들은 주로 다중 시점 환경에서 교차 시점 일관성(cross-view consistency)을 활용하는 데 초점을 맞추고 있어, 단일 이미지 모델에는 적용하기 어렵습니다.
본 연구는 기본 네트워크를 재학습하는 대신, 생성된 가우시안 데이터에 대해 후처리 방식으로 가지치기(pruning)와 순환 정제(recurrent refinement)를 적용합니다. 구체적으로 중요도 점수 기반의 가지치기 메커니즘과 학습 가능한 경량 순환 정제 모듈을 결합하여, 살아남은 기본 요소들을 반복적으로 업데이트함으로써 이미지 품질을 복원하는 백본 독립적인 압축 파이프라인을 제안했습니다.
이 방법론은 기존 3DGS 베이스라인과의 통합이 원활하며 높은 메모리 감소를 달성하면서도 새로운 시점에서도 뛰어난 렌더링 충실도를 유지합니다. 또한, 애플리케이션 요구에 맞춰 추론 단계에서 필요한 가우시안 보존 비율(keep ratios)을 유연하게 조절할 수 있다는 장점을 갖습니다.