리서치 연구
Platonic Representation Hypothesis on World Models
ARarXiv
세계 모델의 내부 표현이 '예측 일관성 가정'을 통해 공통적인 잠재 구조를 갖게 된다는 것을 밝혀냈다.
세 줄 요약
- DINO World Model(DINO-WM) 실험에서 시각 인코더를 변경하여 만든 이질적 모델들은 기하학적으로 유사한 내부 구조로 진화한다.
- 모델 스티칭을 통해 한 세계 모델의 내부 특징을 다른 모델에 매핑할 때 성능 저하가 제한적임을 확인했다.
- 예측 일관성을 추구하는 것이 세계 모델 간에 공유되고 전이 가능한 잠재 구조를 촉진한다는 점을 제시한다.
세계 모델의 내부 표현이 '예측 일관성 가정'을 통해 공통적인 잠재 구조를 갖게 된다는 것을 밝혀냈다.