셀룰러 오토마타 환경에서의 트랜스포머 모델 비교 연구
LSTM-UT and Recurrent-Depth Transformers on Cellular Automata
arXiv셀룰러 오토마타(CA) 환경에서 반복적인 추론 능력을 가진 트랜스포머 모델들의 성능을 비교 분석했습니다.
- 연구진은 새로운 'LSTM-UT'가 기존 방식보다 깊은 반복 추론과 지연된 기억 회상 작업 모두에서 뛰어난 성능을 입증했습니다.
- 이는 복잡한 순차적 계산이나 장기 메모리 관리가 필요한 AI 모델 설계에 '제한된 게이트 메모리' 구조가 효과적인 인덕티브 바이어스임을 보여줍니다.
- 모델의 기억 방식(현재 상태만 유지 vs. 캐시 기록)에 따라 성능이 크게 달라지므로, 최적화된 메모리 관리 전략을 확인해야 합니다.
본 연구는 셀룰러 오토마타(CA) 환경에서 반복적인 추론 능력을 가진 다양한 모델들을 비교 분석했습니다. 구체적으로 현재 은닉 상태만 전달하는 Block Universal Transformer (BUT), 확장되는 어텐션 캐시를 유지하는 CoTFormer, 그리고 유한 게이트 메모리를 갖춘 새로운 LSTM Universal Transformer (LSTM-UT) 세 가지 방식을 비교했습니다.
Rule 30 셀룰러 오토마타에서 BUT는 CoTFormer보다 미지의 반복 깊이로 더 신뢰성 있게 외삽(extrapolates)하는 것으로 나타났으나, 정확도는 결국 저하되었습니다. 또한, 상태와 캐시 개입 실험 결과에 따르면, CoTFormer의 실패는 이 둘의 상호작용에 의존적이며, 현재 상태를 수정하면 일시적으로 정확도가 회복되지만 유지된 과거 기록이 이를 약화시키는 것으로 확인되었습니다.
지연된 기억 회상(delayed-recall) 작업에서도 BUT가 직접적인 과거 상태 접근 권한이 없음에도 불구하고 CoTFormer보다 우수한 성능을 보였습니다. 최종적으로 LSTM-UT는 기존의 기준 모델들 대비 깊은 깊이 외삽 능력과 지연된 회상 능력을 모두 향상시켰으며, 이는 유한 게이트 메모리가 반복 계산 및 후기 검색 작업에 효과적인 귀납적 편향(inductive bias)임을 뒷받침합니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.