리서치 연구
Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design
ARarXiv
트랜스포머 모델의 어텐션 헤드가 주파수 대역에 따라 검색(Retrieval) 기능과 위치 정보 처리 기능을 분리하여 수행함을 분석했습니다.
세 줄 요약
- 이를 바탕으로, 각 헤드별로 전역 검색 메커니즘(FA)과 국소적 위치 모델링(LA)을 결합한 '헤드별 하이브리드 아키텍처'를 제안하고 성능을 입증했습니다.
- 기존 트랜스포머의 고질적인 문제였던 긴 문맥에서의 추론 실패 문제를 해결할 수 있는 원칙적 설계 방향을 제시했다는 점에서 중요합니다.
- 성공적인 모델 설계를 위해 위치 정보 처리는 국소적으로, 전역 접근은 독립적으로 수행해야 하며 헤드 단위 할당이 필수적입니다.
트랜스포머 모델의 어텐션 헤드가 주파수 대역에 따라 검색(Retrieval) 기능과 위치 정보 처리 기능을 분리하여 수행함을 분석했습니다.