화재 피해 물체 이해를 위한 특징 복구 기술 연구
Feature Recovery for Object Understanding After Irreversible Fire Damage
arXiv화재로 인해 물체의 형태와 재질이 영구적으로 변하는 환경을 위해, 연구진은 객체 이해 전용의 신규 벤치마크 'TRACE'를 개발했습니다.
- 기존 모델의 심각한 성능 저하 문제를 해결하기 위해, 손상된 특징을 원본과 유사하게 매핑하는 플러그 앤 플레이 모듈 'FRM'을 제안했습니다.
- 본 기술은 재난 현장의 위험 요소 탐지 및 화재 전 원본 상태 복원 등 실질적인 피해 조사에 핵심적인 역할을 수행할 수 있습니다.
- FRM은 손상 정도가 심할수록 큰 개선 효과를 보이며, 원본과 변형된 데이터를 쌍으로 학습하는 것이 핵심 전제 조건입니다.
화재 현장의 물체들은 기하학적 구조, 재질 상태, 시각적 외관 등이 되돌릴 수 없는 물리적 변형을 겪는다. 이러한 잔해물을 탐지하고 식별하는 것은 위험 요소 파악, 화재 전 내용물 복원 및 손실 목록 작성에 매우 중요하다. 연구진은 이 환경을 연구하기 위해 TRACE라는 변환 인식 를 도입했다. TRACE는 189개 카테고리, 499개 객체 정체성을 아우르는 21.4K개의 실제 이미지 기반 합성 장면과 쌍으로 이루어진 원본-손상 진행 과정을 포함한다.
이 연구에서는 국소화 및 화재 전 상태 이해를 목표로 하는 다섯 가지 과제를 정의했다. 기존 모델들은 손상 정도에 따라 성능 저하가 급격하게 나타나는 문제가 있다. 예를 들어, RF-DETR의 mAP는 가장 덜 심각한 수준부터 가장 심각한 수준까지 상대적으로 71% 감소했으며, InternVL3.5의 검색 R@1은 93.85에서 28.11로 하락하는 등 성능 저하가 관찰되었다.
이러한 문제를 해결하기 위해 플러그 앤 플레이 모듈인 특징 복구 모듈(FRM)을 제안했다. FRM은 손상된 인코더 특징을 원본 상태에 맞춰 매핑하여 표현하도록 설계되었으며, 호스트 모델을 고정시킨 채로 작동한다. 이 모듈은 쌍으로 이루어진 특징 감독 학습만으로 훈련되었으며, 장면 수준 탐지, CLIP/SigLIP2 특징 복구, 그리고 네 가지 객체 수준 과제 전반에 걸쳐 성능 향상을 가져왔다.
FRM의 개선 효과는 특히 손상 정도가 심할수록 두드러진다. VLM 호스트와 다양한 심각도 수준을 거쳐 상대적 이득은 검색에서 평균 12.5%, 재질 복구에서 20.1%, 설명 생성에서 13.2%, 기능 추론에서 12.4%에 달하는 수치가 보고되었다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- VLM
- 이미지와 글을 함께 이해하는 모델.