주파수 기반 가중치로 자율주행 통합 인지 시스템 개선 연구
An Exploratory Study of Frequency-Aware Task Weighting for YOLOv8-Based Unified Driving Perception
arXiv자율주행 시스템에서 객체 탐지, 주행 가능 영역 분할 등 여러 인지 기능을 단일 네트워크로 통합하는 과정의 최적화 문제를 해결하기 위해 '주파수 인식 태스크 가중치(FTW)'를 제안했습니다.
- FTW는 최근 손실 기록의 주파수 구조를 분석해 각 태스크의 안정성을 추정하며, 낮은 주파수 에너지를 가진 태스크에 높은 가중치를 할당하여 학습을 균형 있게 만듭니다.
- 다중 작업을 하나의 네트워크로 통합하는 방식은 자율주행 시스템의 효율성을 높이고 실제 환경에 적용할 때의 복잡도를 크게 낮추는 중요한 기술적 진전입니다.
- 다만, 연구진은 이 방법이 해당 파이프라인에서 손실 주파수 기반 가중치화의 실현 가능성을 보여준 것이며, 모든 상황에서의 개선이나 일반화 성능까지는 추가 검증이 필요하다고 밝혔습니다.
자율주행 시스템에서 객체 탐지, 주행 가능 영역 분할, 차선 분할 등 여러 인지 기능을 단일 네트워크로 통합하는 '통합 인지(Unified perception)' 방식은 효율성을 높이고 배포 복잡도를 줄이는 중요한 기술입니다. 그러나 이러한 다중 작업을 동시에 최적화하는 과정은 각 태스크가 서로 다른 수렴 속도, 손실 스케일, 그리고 최적화 안정성을 보이기 때문에 어려움이 따릅니다.
연구진은 이러한 문제를 해결하기 위해 '주파수 인식 태스크 (FTW)'라는 동적 태스크 균형 규칙을 제안했습니다. FTW는 최근의 손실 기록 히스토리에서 낮은 주파수의 에너지를 분석하여 각 태스크의 안정성 지표를 추정합니다. 이 방법은 평균 중심화된 손실 궤적에 낮은 주파수 파워가 더 많이 포함된 태스크에 더 큰 가중치를 할당함으로써 학습 균형을 맞춥니다. FTW는 YOLOv8 기반 통합 인지 프레임워크에서 정적 및 점진적 동결 방식을 사용하여 검증되었습니다.
Mapillary Vistas 데이터셋을 사용한 실험 결과, FTW를 고정 또는 불확실성 기반 가중치와 비교했습니다. 연구에 따르면, 단일 실행 구성 중 정적 FTW가 가장 높은 전체 점수 및 차선 mIoU를 달성했으며, 점진적 FTW는 탐지 mAP에서 가장 좋은 성능을 보였습니다. 다만, 연구진은 이러한 결과들이 해당 파이프라인에서의 손실 주파수 기반 가중치화의 실현 가능성을 보여주는 것이며, 모든 상황에서의 개선이나 일반화 성능까지를 확립하는 것은 아니라고 밝혔습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.