리서치 연구
월드 모델의 물체 영속성 학습 방법론 공개
Training Object Permanence in World Models
arXivAI가 사물의 존재를 이해하도록 돕는 새로운 방법론이 나왔습니다. 연구진은 인간의 핵심 인지 능력인 '물체 영속성' 학습을 위한 150개 과제 기반 데이터셋(WROP)과 평가 시스템을 구축했습니다.
세 줄 요약
- 개발된 WROP 벤치마크에서 연구진의 자체 모델(PWM-WROP)이 뛰어난 성능을 보였습니다. 특히 영상의 연속적 변화를 추론하는 능력에서 높은 점수를 기록하며 우수성을 입증했습니다.
- 이번 성과는 AI가 단순한 영상 생성을 넘어, 물체의 존재와 변화를 인지하는 '물리적 추론' 단계로 나아갔음을 의미합니다. 이는 인간 수준의 지능 구현에 중요한 진전입니다.
- 관련 데이터셋(150만 샘플), 상세 시험 문제, 그리고 모델 가중치를 모두 공개했습니다. 이를 통해 학계는 인지 과학 기반의 차세대 AI 연구를 심화할 수 있습니다.
인간 인지 능력의 특징 중 하나인 '물체 영속성'과 '견고성(solidity)'을 월드 모델에 학습시키는 연구가 진행되었습니다. 기존 영상 생성 모델은 이러한 인간 수준의 물리적 지능 구현 후보로 주목받고 있습니다. 이에 연구진은 6가지 인지 범주로 나뉜, 수작업으로 설계된 150개의 과제 기반 데이터셋인 WROP(World Reasoning with Object Permanence)를 소개했습니다.
WROP는 각 과제의 인지 구조를 유지하면서 속도, 조명, 카메라 각도 등 여러 방해 요소를 무작위화하는 Blender 생성기를 활용하여 데이터를 구축했습니다. 이를 통해 과제당 10,000개 이상의 샘플을 확보했으며, 총 150만 개의 샘플로 구성된 학습 코퍼스와 300문항의 시험 세트를 공개했습니다.
이 평가에서 연구진은 자신들의 16B 규모 월드 모델인 PWM-WROP를 포함하여 총 14개의 영상 모델을 테스트했습니다. 그 결과, PWM-WROP는 연속적 변화 중 최고 순위를 기록했으며, 전체적으로도 상위권에 위치하는 성능을 보였습니다. 연구진은 데이터와 시험 외에도 모델 및 AWS Trainium2 기반의 자체 학습 스택까지 공개했습니다.
용어 풀이
- 추론 모델
- 답하기 전에 단계별로 생각하는 과정을 거치도록 만든 모델.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.