활용 사례 연구
Looped Transformers under the Jacobian Lens: Does the Global Workspace Survive Recurrence?
ARarXiv
트랜스포머 모델의 깊이를 쌓는 방식 대신 가중치를 재활용하는 순환 구조(Looped Transformers)에서도 '글로벌 작업 공간'과 같은 인지 기능이 유지되는지 탐구했습니다.
세 줄 요약
- 두 아키텍처 모두 작업 공간을 형성했지만, Ouro는 매 루프마다 내용을 복원하는 반면 Huginn은 정보 전파가 제한적인 슬라이딩 윈도우 내에서만 작동했습니다.
- 이는 AI 모델이 인간의 작업 기억처럼 복잡한 인지 과정을 순환 구조로 구현할 때 정보가 어떻게 관리되고 활용되는지에 대한 중요한 통찰을 제공합니다.
- 새로운 정보를 언어화하려면 반복마다 명시적인 감독(supervision)이 필요하지만, 이미 존재하는 내용을 제어하는 것은 이러한 조건에 의존하지 않았습니다.
트랜스포머 모델의 깊이를 쌓는 방식 대신 가중치를 재활용하는 순환 구조(Looped Transformers)에서도 '글로벌 작업 공간'과 같은 인지 기능이 유지되는지 탐구했습니다.