진행형 시각 계획 기반 로봇 행동 모델링 연구
World Action Modeling with Progressive Visual Planning
arXiv로봇 제어 모델인 월드 액션 모델(WAM)의 효율성을 높이기 위해, 행동 예측과 함께 목표까지 나아가는 순차적인 시각적 하위 목표를 예측하는 ProWAM이 개발되었습니다.
로봇이 단순히 다음 순간만 예측하는 것이 아니라, 최종 목표를 향한 과정 전체를 시각적으로 계획하고 제어할 수 있게 되어 실세계 적용 가능성이 높아졌어요.
- ProWAM은 전체 영상을 반복 생성할 필요 없이 단일 패스로 하위 목표 특징을 캐싱하여 계산 효율성을 극대화했으며, 실제 환경 테스트에서 70.0%의 성공률을 달성했습니다.
- 단순히 다음 순간만 예측하는 것을 넘어, 최종 목표를 향한 과정 전체를 시각적으로 계획하고 제어할 수 있게 함으로써 로봇의 실세계 적용 가능성을 크게 높였습니다.
- 특히 학습하지 않은 새로운 환경(out-of-distribution)에서도 높은 견고성을 입증하여, 폐쇄 루프 방식으로 작동하는 첨단 로봇 제어 시스템에 핵심적인 가치를 제공합니다.
월드 액션 모델(WAM)은 초기 관찰과 지침을 바탕으로 미래의 시각 역학 및 행동을 예측하는 로봇 제어 패러다임입니다. 기존 WAM이 긴 호흡의 예측에 비효율적이었던 문제를 해결하기 위해, ProWAM은 행동 예측과 함께 목표까지 나아가는 순차적인 희소 시각 하위 목표를 공동으로 예측합니다. 이 설계는 작업 실행 전반에 걸쳐 명시적인 시각적 안내를 제공하며 확장성이 높습니다.
ProWAM은 효율성을 극대화하기 위해 단일 비디오 백본 순방향 패스를 수행하여 희소 하위 목표 특징을 캐싱하고, 반복적인 전체 영상 생성을 제거합니다. 이 구조는 하위 목표 예측이 대규모 액션 프리 비디오에서 학습될 수 있도록 하여 복잡한 시각 계획을 행동 정책으로부터 분리할 수 있게 합니다.
다양한 평가를 통해 ProWAM은 우수한 분포 외(out-of-distribution) 견고성을 입증했습니다. 시뮬레이션 에서는 LIBERO-Plus에서 85.8%, 무작위 RoboTwin에서 75.7%의 최고 성능을 기록했으며, 실세계 실험에서는 70.0%의 성공률을 달성하여 가장 강력한 기준선 대비 +15.0 (상대적 증가율 +27.3%)의 개선을 보였습니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 제로샷
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.
기존의 월드 액션 모델(WAM)과 무엇이 다른가요?
ProWAM은 행동 예측뿐만 아니라 목표까지 나아가는 순차적인 희소 시각 하위 목표를 공동으로 예측해요. 이 설계는 작업 실행 전반에 걸쳐 명시적인 시각적 안내를 제공하며 확장성이 높아요.
ProWAM은 어떻게 계산 효율성을 극대화했나요?
전체 영상을 반복 생성하는 과정을 제거하고, 단일 비디오 백본 순방향 패스를 수행하여 희소 하위 목표 특징을 캐싱했어요. 이 구조 덕분에 복잡한 시각 계획을 행동 정책으로부터 분리할 수 있게 되었어요.
실제 환경에서의 성능은 어느 정도인가요?
제로샷 실세계 실험에서 70.0%의 성공률을 달성했어요. 이는 가장 강력한 기준선 대비 +15.0의 개선된 수치이며, 학습하지 않은 새로운 환경에서도 높은 견고성을 입증했어요.