리서치 연구
Asymmetric Attention Heads: Structured Head-Wise Context Allocation for Transformer Attention
ARarXiv
arXiv 논문은 Transformer 주의 메커니즘에 헤드별 컨텍스트 할당을 구조화하는 AAH를 제안한다.
세 줄 요약
- AAH는 특징 통계로 헤드를 묶고 계층을 만들어 인과 로컬 윈도우를 배정하며, 기존 MHA 출력 인터페이스를 유지한다.
- AAH는 컨텍스트 길이를 헤드별 또는 그룹별 할당 변수로 다루고, ACR로 선택 윈도우 라우팅을 진단한다.
- 4096 토큰 seed-0 실험에서 나온 결과이며, 짧은 예산 아블레이션에서는 고정 로컬 제어도 적응 계층과 경쟁력이 있다.
arXiv 논문은 Transformer 주의 메커니즘에 헤드별 컨텍스트 할당을 구조화하는 AAH를 제안한다.