신경망 구조 탐색을 위한 CoRA-NAS 프레임워크 소개
CoRA-NAS: Coarse Ranking and Anchor-Residual Refinement for Neural Architecture Search
arXivCoRA-NAS는 신경망 구조 탐색(NAS) 과정에서 발생하는 저비용 근사치(proxy)의 신뢰성 문제를 해결하기 위해 제안된 2단계 프레임워크입니다.
- 이 방법은 정적 순위 예측과 함께, 전체 학습 비용의 극히 일부만을 사용하여 성능을 보정하는 '앵커-잔차 개선' 기법을 결합했습니다.
- 다양한 표준 벤치마크에서 높은 평균 상관관계를 기록했으며, 실제 테스트에서도 최고 성능에 근접한 정확도를 달성하며 효과를 입증했습니다.
- 전체 학습된 최종 정확도 레이블 없이도 여러 검색 공간 전반에 걸쳐 안정적이고 견고한 구조 선택 능력을 보여주는 것이 핵심 강점입니다.
CoRA-NAS는 신경망 구조 탐색(Neural Architecture Search, NAS) 과정에서 사용되는 저비용 근사치(proxy)의 신뢰성 문제를 해결하기 위해 제안된 2단계 프레임워크입니다. 이 방법은 정적인 순위 예측 사전 지식과 낮은 비용으로 성능을 보정하는 '앵커-잔차 개선' 기법을 결합했습니다. CoRA-Rank는 등가 로그-랭크 합의와 목표 비사용 합의 게이트를 통해 용량 및 초기화 구조 근사치를 집계합니다.
CoRA-NAS의 두 번째 단계인 CoRA-Refine은 이 사전 지식(prior)을 기반으로 앵커를 샘플링하고, 해당 앵커들의 초기 검증 곡선을 외삽하며, ExtraTrees 모델을 사용하여 학습된 잔차 보정 값을 전파합니다. 이러한 개선 과정은 후보 세트를 완전히 학습시키는 비용의 약 1%만을 사용합니다. 이 프레임워크는 최종적으로 완전하게 학습된 아키텍처 정확도 레이블을 순위 결정에 사용하지 않는 것이 특징입니다.
다양한 표준 에서 CoRA-Refine은 높은 평균 스피어만 상관관계를 달성했습니다. 예를 들어, NAS-Bench-201에서는 0.946의 평균 상관관계가 보고되었으며, 가장 나쁜 공간에서의 상관관계 역시 비교된 방법 중 최고 수준을 기록했습니다. 특히 NAS-Bench-201/CIFAR-100 테스트에서 선택된 아키텍처는 73.32%의 정확도를 달성하여, 보고된 최적값인 73.37%에 근접한 성능을 보여주었습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.