SAGE: 주파수 기반의 계층적 RGB-T 영상 융합 프레임워크
SAGE: Source-Anchored Guidance via Frequency Equalization for Hierarchical RGB-T Alignment and Fusion
arXivRGB-T(색상+깊이) 데이터는 공간적 오정렬이나 모달 간 불일치로 인해 화질 저하가 발생하는데, 이를 해결하는 통합 프레임워크를 제시합니다.
- SAGE는 주파수 평준화, 계층적 정렬, 서브밴드 융합을 결합한 통일된 구조로 데이터의 기하학적/구조적 정보를 보존하며 정확도를 높입니다.
- 특히 현실 환경에서 완벽하게 정렬되지 않은(약하게 등록된) 복잡한 RGB-T 이미지에서도 일관되게 우수한 성능을 보여 실용성이 크게 향상될 것으로 기대됩니다.
- 실제 및 합성 오정렬 데이터셋 기반의 광범위한 실험을 통해, '소스에 기반한 가이던스'가 약하게 등록된 영상 융합 품질 개선에 효과적임을 입증했습니다.
RGB-T(색상+깊이) 데이터는 공간적 오정렬이나 모달 간 불일치로 인해 고스팅, 구조적 블러링 등 화질 저하가 발생할 수 있습니다. 기존의 방법들은 외관 적응, 기하학적 정렬, 정보 융합 단계를 분리하여 의존성 전파에 한계가 있었습니다. 이에 연구진은 주파수 평준화, 계층적 정렬, 서브밴드 융합을 통합한 SAGE(Source-Anchored Guidance via Frequency Equalization for Hierarchical RGB-T Alignment and Fusion)라는 통일된 프레임워크를 제안했습니다.
SAGE는 가역적 공동 인코딩과 소스별 저주파 변조를 활용하여 구조 및 게인 가이던스를 도출하는 동시에 원본 정보를 보존합니다. 또한, 계층적 주파수 협업 정렬을 통해 저주파 근사치로부터 전역 아핀 기하학을 추정하고, 이 기하학적/맥락적 단서를 고주파 상관관계 추론에 전달하여 신뢰도 기반의 잔여물 개선을 수행합니다.
최종적으로 가이드된 서브밴드 융합은 이러한 정렬된 주파수 계수를 결합하며, 전파된 소스 및 정렬 가이던스를 바탕으로 상호 보완적인 저주파와 고주파 정보를 통합하여 최종 이미지를 재구성합니다. 실제 환경과 합성 오정렬 데이터셋을 사용한 광범위한 실험 결과, SAGE는 약하게 등록된 RGB-T 이미지에서도 일관되게 경쟁력 있는 성능을 보여 그 효과를 입증했습니다.