표적 오버샘플링으로 SAR 기반 모델 성능 향상 연구
Enhancing Foundation Models for Imbalanced SAR Ship Classification via Targeted Oversampling
arXiv원격 감지 기반 모델의 SAR 이미지 선박 분류 시, 심각한 데이터 불균형 문제를 해결하기 위해 표적 오버샘플링 기법을 적용했습니다.
- 별도의 미세 조정 없이도 DOFA와 SAR-JEPA 두 기반 모델 모두에서 Macro-F1 점수 및 테스트 정확도가 크게 향상되는 결과를 확인했습니다.
- 이는 실제 환경의 불균형한 원격 감지 데이터를 다룰 때, 모델 전체 재학습 없이도 효율적으로 성능을 개선할 수 있는 실용적 방안입니다.
- 다만, 전반적인 분류 성능이 향상되었음에도 불구하고 특정 희귀 클래스에서는 여전히 분류 실패가 발생할 수 있다는 한계점도 보고되었습니다.
원격 감지(SAR) 이미지를 활용하는 기반 모델들은 강력한 표현력을 제공하지만, 심각한 클래스 불균형(long-tail class imbalance) 상황에서는 그 동작 특성이 명확히 규명되지 않은 상태입니다. 본 연구는 이러한 문제를 다루기 위해 DOFA와 SAR-JEPA 두 가지 기반 모델을 불균형 데이터셋인 OpenSARShip에 벤치마킹했습니다.
모델 전체를 (fine-tuning)하지 않고도 불균형 문제를 완화하기 위해, 공간에서 소수 클래스만을 대상으로 네 가지 오버샘플링 기법을 적용했습니다. 이후 증강된 임베딩을 사용하여 경량 분류기 헤드(lightweight classifier head)를 훈련시켰으며, 이 과정에서 백본 네트워크는 고정(frozen) 상태로 유지되었습니다.
오버샘플링 기법은 두 기반 모델 모두에서 기존 기준선 대비 Macro-F1 점수와 테스트 정확도를 향상시키는 결과를 보였습니다. 특히 DOFA의 경우 ADASYN을 사용하여 34.39에서 38.56으로, SAR-JEPA는 SVM-SMOTE를 사용하여 25.89에서 32.30으로 가장 큰 Macro-F1 성능 개선이 관찰되었습니다.
연구 결과 전반적인 분류 성능 향상이 확인되었음에도 불구하고, 집계된 개선 효과가 특정 희귀 클래스에서의 지속적인 실패까지 보장하지는 않는다는 한계점도 보고되었습니다. 연구의 재현성을 위해 임베딩 추출 및 다중 시드 평가 코드가 제공됩니다.
용어 풀이
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.