로봇 양손 조작을 위한 효율적인 행동 모델 DeltaWAM
DeltaWAM: Delta World Action Models for Bimanual Manipulation
arXiv로봇의 양손 조작(Bimanual Manipulation)을 위한 세계-행동 모델 'DeltaWAM'이 개발되었습니다. 이 모델은 기존 방식처럼 전체 프레임을 예측하는 대신, 변화량(delta)만 효율적으로 예측하여 성능과 계산 효율성을 동시에 높였습니다.
- 특히 '스트리밍 델타 메모리(SDM)'를 도입해 캐시된 정보를 간결한 변화량으로 업데이트합니다. 이를 통해 무거운 비디오 전문가 처리 과정을 줄이고 로봇의 행동 예측 능력을 극대화했습니다.
- 실제 평가에서 기존 모델 대비 성공률을 크게 향상시켰으며, 낮은 FLOPs와 지연 시간 덕분에 복잡하고 변화무쌍한 산업 현장의 정밀 제어 시스템에 적용 가능합니다.
- DeltaWAM은 로봇이 시각적 정보를 실시간으로 효율적으로 처리하며 복잡한 작업을 수행할 수 있도록 하는 핵심 기술로, 차세대 지능형 자동화 시스템의 발전을 이끌 것입니다.
기존의 세계-행동 모델(WAM)은 시각적 및 운동 정보를 로봇 제어로 전달하지만, 훈련 과정에서 밀도 높은 미래 프레임을 예측하는 경향이 있어 비효율적입니다. 또한 이는 행동 조건부 역학을 불필요한 외관 변화에 결합시키는 문제가 있었습니다. 이에 연구진은 DeltaWAM을 제안하며, 이 모델은 시각적 변화량(deltas)과 행동을 공동으로 예측합니다. 이를 위해 밀도 앵커(dense-anchor), 희소 델타(sparse-delta), 그리고 행동 스트림의 세 가지 아키텍처를 사용했습니다.
추가적으로 '스트리밍 델타 메모리(SDM)'를 개발하여 캐시된 앵커 컨텍스트를 간결한 관측 델타로 업데이트합니다. SDM을 도입함으로써 무거운 비디오 전문가 처리 과정을 줄여 로봇의 행동 예측 능력을 극대화했습니다. 이 세 가지 아키텍처는 학습 FLOPs를 각각 17.78%에서 23.77%까지 감소시키는 효율성을 보여주었습니다.
실제 평가 결과, DeltaWAM과 SDM을 결합한 모델은 RoboTwin 환경에서 Fast-WAM 대비 평균 성공률이 클린 설정에서 81.3%에서 85.4%로, 시각적 무작위화 조건에서는 75.8%에서 83.9%로 향상되었습니다. 또한 SDM은 단일 단계 추론 지연 시간과 FLOPs를 각각 36.57%, 31.55% 감소시키는 효율성을 입증했습니다.