HSI-Road 데이터셋 기반 표면 인식 로드 장면 분할 연구
HSI-Road Relabeled: Surface-Aware Road-Scene Segmentation
arXiv연구진은 HSI-Road 데이터셋에 배경, 아스팔트 등 6가지 표면 클래스를 수동 라벨링하고, RGB와 NIR 이미지를 결합하는 새로운 접근법을 제시했습니다.
- 실험 결과, 공간 해상도를 맞춘 조건에서 RGB와 NIR을 채널로 쌓은 방식($ ext{RGBN}_{ ext{stk}}$)이 개별 입력보다 전반적으로 가장 우수한 성능을 보였습니다.
- 이는 단순히 고해상도가 중요할 뿐 아니라, NIR 데이터가 RGB에 부족한 정보를 보완하여 로드 장면의 이해도를 높이는 데 결정적임을 입증합니다.
- 최고 성능은 원본 해상도에서 나왔으나, 실제 적용 시에는 공간 해상도를 유지하며 NIR을 결합하는 방식이 가장 실용적이고 효과적인 대안입니다.
기존 HSI-Road 데이터셋은 RGB와 25채널 NIR 이미지를 쌍으로 제공하고 이진 마스크를 포함했지만, 표면 수준의 라벨이 부족했습니다. 본 논문에서는 배경(Background), 아스팔트, 콘크리트, 흙(Dirt), 물(Water), 잔디(Grass) 등 총 여섯 가지 클래스로 수동 라벨링을 추가하고, 이에 상응하는 RGB-to-NIR 등록 파이프라인과 주석을 마련했습니다.
연구진은 여섯 개의 시맨틱 분할 모델(SSMs)을 평가하기 위해 네 가지 입력 구성을 사용했습니다. 이 구성에는 원본 해상도의 RGB($ ext{RGB}_{ ext{ori}}$), 등록된 저해상도 RGB($ ext{RGB}_{ ext{reg}}$), NIR, 그리고 채널을 쌓은 $ ext{RGB}_{ ext{reg}}$-NIR ($ ext{RGBN}_{ ext{stk}}$) 등이 포함되었습니다. 평가 결과는 클래스별 및 평균 IoU와 F1 점수를 사용하여 보고되었습니다.
평가 결과, $ ext{RGB}_{ ext{ori}}$가 전반적으로 가장 높은 성능을 보였으나, 이는 매칭된 해상도 입력보다 $12 imes$ 더 많은 픽셀을 포함했습니다. 같은 해상도인 $192 imes 384$에서 $ ext{RGBN}_{ ext{stk}}$는 여섯 SSM 모두에서 NIR보다 우수한 성능을 보였으며, 다섯 개 SSM에서는 $ ext{RGB}_{ ext{reg}}$보다 나은 결과를 나타냈습니다. 특히 물(Water) 클래스에서 가장 일관된 성능 향상을 확인했습니다.