AI 모델 성능 순위가 장치 간 전이되지 않는 이유
Rank Portability Does Not Imply Feasibility Portability: Target-Specific Evaluation of Joint Hardware Constraints
arXivAI 모델의 성능 순위가 한 장치에서 다른 장치로도 동일하게 유지될 것이라는 기존 가정을 검증했습니다.
- GPT 아키텍처 테스트 결과, 순위 상관관계가 높더라도 전력 및 지연 시간 같은 복합 제약 조건 하에서는 대리 장치 사용이 어렵다는 점을 발견했습니다.
- 이는 모델의 단순 성능 비교를 넘어, 특정 목표 환경에서 실제로 작동 가능한지 여부를 개별적으로 평가해야 함을 시사합니다.
- 따라서 향후 연구는 단순히 순위 유사성을 보고하는 것을 넘어, 해당 운영점을 실제로 지원하는 목표 장치를 명확히 제시해야 합니다.
기존의 하드웨어 평가 방식은 아키텍처 순위가 여러 장치에 걸쳐 유지된다면, 대리 장치가 목표 모델 선택을 지원할 수 있다고 가정해왔습니다. 본 연구는 이러한 가정을 검증하기 위해 두 가지 공개 아키텍처 패밀리를 대상으로 공동 지연 시간-에너지 실현 가능성(joint latency-energy feasibility) 테스트를 수행했습니다. NAS-Bench-201에서 순위 간 상관관계가 중간 정도였음에도 불구하고, 목표와 비교 가능한 실현 가능 집합의 중첩은 불완전한 것으로 나타났습니다.
연구진은 AdaProxy 진단 도구를 사용하여 지연 시간 순위를 개선했으며, 관찰된 경계 실패가 단순히 약한 적응 때문이 아님을 보여주었습니다. 또한 10,000개의 GPT 아키텍처를 13개 HW-GPT-Bench 장치에 걸쳐 재현 테스트를 진행했습니다. RTX3080 프록시 대비 상대적 목표 지연 시간 SRCC는 0.951에서 0.996 사이였으나, 일치된 공동 제약 조건 하에서 프록시 재사용 위반 위험은 33.3%에서 100%에 달하는 것으로 확인되었습니다.
이러한 결과들은 모델의 순위 포터빌리티, 실현 가능성 포터빌리티(feasibility portability), 그리고 목표별 의사 결정 지원이 서로 다른 평가 대상임을 명확히 보여줍니다. 따라서 향후 크로스 디바이스 평가는 단순히 순위 유사성을 보고하는 것을 넘어, 실제로 해당 운영점을 지원하는 목표 환경을 구체적으로 보고해야 합니다.