시각 저하 환경을 위한 단일 프레임 생성 레이더 깊이 추정 기술
GRADE: Single-Frame Generative Radar Depth Estimation Under Visual Degradation
arXiv연기나 안개 등 시야가 나쁜 환경에서 광학 센서의 한계를 극복하기 위해, mmWave 레이더를 활용하여 고정밀 3D 깊이 정보를 추정하는 'GRADE' 기술이 개발되었습니다.
- GRADE는 원시 레이더 스펙트럼을 초기 깊이로 변환한 후, 잠재 확산 모델(latent diffusion)을 이용해 구조적 디테일을 복원하며 연기 속에서도 낮은 오차율을 달성했습니다.
- 이 기술은 자율주행차나 산업용 로봇 등 극한 환경에서 운용되는 시스템의 신뢰도를 높여, 시야 조건에 관계없이 안전하고 정확한 3D 인지 능력을 확보하는 데 기여할 것입니다.
- 다만, 레이더 자체의 작은 개구로 인한 각도 분해능 한계는 존재하지만, 연구진이 공개한 코드와 데이터셋을 통해 성능 검증 및 활용이 가능합니다.
밀집된 3D 깊이 인지는 연기, 안개 또는 어둠과 같은 시각적 열화 조건에서 광학 센서가 공기 중 입자를 투과하지 못해 어려움을 겪습니다. 이러한 환경에서도 mmWave 레이더는 거리를 정확하게 측정할 수 있지만, 작은 개구로 인해 각도 분해능에 한계가 있습니다. 연구진은 GRADE라는 기술을 제시하여 사전 학습된 생성적 사전 지식(generative prior)을 단일 프레임 레이더 기하학에 기반으로 삼아 고충실도의 미터법 깊이를 추정합니다.
GRADE는 먼저 원시 4D 레이더 스펙트럼을 거친 미터법 깊이로 매핑하는 과정을 수행합니다. 이후 잠재 확산 백본(latent diffusion backbone)을 사용하여 구조적 디테일을 복원하며, 모든 노이즈 제거 단계마다 이 초기 추정치에 조건화됩니다. 또한, 가용할 경우 잔여 카메라 단서(residual camera cues)를 사용하는 픽셀 공간 어댑터가 포함되어 있습니다.
이 시스템은 명확한 환경, 연기로 열화된 환경, 그리고 폐색된 입력 데이터를 모두 사용하여 학습되었기 때문에, 시야 조건이 저하될수록 레이더에 조건화된 경로에 근접하는 출력을 보여줍니다. 실제 연기가 있는 12개 건물에서 약 95K 프레임에 걸쳐 테스트한 결과, 명확한 장면에서는 MAE가 0.303 m, 연기 속에서는 0.313 m를 달성하며 기존의 기준 모델들을 능가하는 성능을 보였습니다.