로봇의 조건부 시각적 접지 능력 진단 및 개선 연구
What Matters, When? Diagnosing and Improving Conditional Visual Grounding in Visuomotor Imitation Policies
arXiv로봇이 시각적 모방 작업을 수행할 때, 주변에 유사한 방해물(distractor)이 나타나면 목표 물체 선택에 오류가 발생하는 '조건부 시각적 접지' 문제를 진단했습니다.
- 연구진은 방해물 증강 및 단계별 주의 집중 제어 같은 개입을 통해 목표 선택의 견고성을 높였으며, 실제 로봇(UR3e)에서도 성능 향상을 입증했습니다.
- 이 연구는 로봇이 단순히 동작을 모방하는 것을 넘어, 환경 변화에 관계없이 정확한 목표물을 인식하고 제어할 수 있는 '명시적 목표 선택 능력'의 중요성을 강조합니다.
- 물체 집기 및 배치 같은 특정 조작 단계에서 방해물 민감도가 나타났으므로, 로봇 제어 시스템의 핵심 과제는 목표 선택 능력을 개선하는 것입니다.
시각 운동 모방 정책(Visuomotor imitation policies)은 정상적인 환경에서는 높은 성능을 보이지만, 시각적으로 유사한 물체나 용기가 도입되면 실패하는 '조건부 시각적 접지' 문제를 겪습니다. 이 문제는 성공적인 제어에 필요한 시각적 목표물이 조작 단계나 관찰된 작업 상태에 따라 달라지는 현상으로 정의됩니다.
연구진은 Action Chunking with Transformers (ACT)를 활용하여 색상과 모양이 통제된 방해물(distractor)을 체계적으로 도입했습니다. 그 결과, 방해물 민감도가 시각적 유사성의 유형과 조작 단계에 따라 구체적으로 나타남을 확인했으며, 특히 물체를 집거나 배치하는 과정에서 실패가 국한되는 것을 발견했습니다.
이러한 진단을 바탕으로 연구진은 방해물 증강(distractor augmentation), 단계별 주의 집중 정규화, 외관 기반 시각 프롬프팅 등의 개입을 평가했습니다. 이 방법들은 목표 선택의 견고성을 높여 시뮬레이션과 실제 UR3e 로봇에서도 성능 향상을 입증했으며, 의료 기구 핸들링 작업 등 다른 정책 학습 환경에서도 명시적인 목표 선택 능력 개선이 중요함을 보여주었습니다.