비용 효율적인 TinyML 구조 탐색을 위한 교사 안내 방법론 연구
Rank-Reliable Teacher-Guided Fitness Approximation for Expensive Evolutionary Optimization: A TinyML Architecture Search Study
arXiv비용이 많이 드는 TinyML 신경망 구조 탐색(NAS) 과정에서 모든 후보에 대한 정확한 성능 측정 대신, 단순히 상대적인 순위 비교만으로 충분하다는 점에 착안하여 새로운 방법을 제시했습니다.
- 제안된 TGL-NSGA-II는 사전 학습된 '교사'를 활용해 샘플을 분류하고 짧은 지식 증류 과정을 거쳐 후보를 평가하며, 기존 대비 프록시 점수 분산을 41% 줄이고 탐색 속도를 2.2배 향상했습니다.
- 이 기술은 제한적인 컴퓨팅 자원 환경에서도 고성능의 TinyML 모델을 효율적으로 찾아낼 수 있게 하여, 저전력 엣지 디바이스 기반 AI 개발에 큰 도움을 줄 것으로 기대됩니다.
- 다만, 이 방법론의 성능 보장은 전체 진화 과정이 완전히 수렴한다는 것을 의미하지 않으며, 오직 개체군 수준의 저정밀도 평가에 적용된다는 점을 유의해야 합니다.
고비용의 진화적 검색 과정에서 모든 후보에 대한 정확한 성능 추정치가 항상 필요하지 않으며, 대신 어떤 후보가 더 나은지에 대한 신뢰할 수 있는 순위 비교만으로 충분하다는 점에 착안하여 새로운 방법론이 제시되었습니다. 이 연구에서는 제한된 TinyML(Tiny Machine Learning) 신경망 구조 탐색을 위한 저충실도 프레임워크인 TGL-NSGA-II (Teacher-Guided Learning NSGA-II)를 제안합니다.
TGL-NSGA-II는 사전 학습된 '교사(teacher)'를 활용하여 샘플들을 난이도와 클래스에 따라 공동으로 계층화하는 방식으로 작동합니다. 각 후보는 먼저 소규모 훈련 세트에서 KD-Lite라는 짧고 제한적인 절차를 거치며, 이후 별도의 계층화 평가 세트에서 점수를 받습니다. 이 교사 안내 점수는 가우시안 프로세스 서로게이트와 결합되어 최종 후보 선택에 사용됩니다.
실험 결과, TGL-NSGA-II는 무작위 평가 대비 프록시 점수 분산을 41% 줄이는 것으로 나타났습니다. 키워드 스포팅에서 측정된 Kendall-$\tau$ 값은 0.74로 예측 하한선(0.60)을 초과했으며, 전체 NSGA-II보다 2.2배 빠르게 작동했습니다. 다만, 이러한 성능 보장은 개체군 수준의 저충실도 평가에만 적용되며, 완전한 진화 궤적의 수렴을 의미하지는 않는다는 점이 명시되었습니다.
용어 풀이
- 지식 증류
- 큰 모델의 답을 작은 모델이 따라 배우게 해서 가볍고 빠른 모델을 만드는 방법.