InterEvolve: 로봇 행동 학습을 위한 실시간 보상 프로그램 진화
InterEvolve: Test-Time Evolution of Reward Programs for Humanoid Loco-Manipulation
로봇이 한 번도 학습하지 않은 새로운 작업에 대해서도, 보상 프로그램 자체를 테스트 과정에서 진화시켜 수행하는 시스템을 개발했습니다.
이 기술은 로봇이 특정 환경이나 훈련 데이터에 국한되지 않고, 복잡하고 장기적인 목표를 가진 실제 세계 작업에도 자율적으로 적용될 가능성을 제시해요.
- 핵심은 대규모 언어 모델(LLM)과 최적화 기법을 결합하여 로봇의 잠재된 운동 능력을 끌어내고, 이를 통해 새로운 전략으로 작업을 완성하는 것입니다.
- 이 기술은 로봇이 특정 환경이나 훈련 데이터에 국한되지 않고, 복잡하고 장기적인 목표를 가진 실제 세계 작업에도 자율적으로 적용될 가능성을 제시합니다.
- 시뮬레이션뿐만 아니라 실제 로봇(Unitree G1)에서도 자율 작동을 입증하며 높은 실현 가능성과 범용성을 보여주었습니다.
InterEvolve는 로봇이 한 번도 학습하지 않은 작업에 대해, 기존 기술을 재활용하고 자체 시도를 통해 개선하며 학습 내용을 유지하는 '테스트 시간 진화'를 연구합니다. 핵심은 광범위한 컨트롤러가 새로운 작업에 필요한 역량의 상당 부분을 이미 가지고 있으며, 이 역량이 접촉이 풍부하고 다단계적인 상호작용을 지정할 수 있는 표현력이 높은 계획-제어 인터페이스를 통해 접근 가능하다는 것입니다.
이 시스템은 두 가지 구성 요소로 구현됩니다. 첫째, 객체 인지 순방향-역방향(FB) 행동 기반 모델을 개발하여, 고정된 신체 상태에서 새로운 보상에 대한 잔여물을 로코-매니퓰레이션 동작으로 변환합니다. 둘째, 작업을 완료 조건과 조정 가능한 상수를 가진 '보상 프로그램' 형태로 정의하며, (LLM) 가 실행 피드백과 검증된 스킬 라이브러리를 바탕으로 프로그램을 수정하고 수치 최적화기가 상수 값을 조정합니다.
이 과정에서 프로그램은 병렬 시뮬레이션 환경을 거치며 새로운 방식으로 컨트롤러의 기존 운동 역량을 유도하고 재활용하며 조합하여 반복적으로 개선됩니다. 실험 결과, 인간이 설계한 보상은 FB 모델의 잠재된 로코-매니퓰레이션 능력을 충분히 활용하지 못했지만, InterEvolve가 진화시킨 프로그램은 때로는 새로운 전략을 통해 이 능력을 발휘했습니다. 이는 시뮬레이션뿐만 아니라 실제 Unitree G1 로봇에서도 자율적으로 작동함을 입증했습니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
로봇이 새로운 작업을 어떻게 학습하나요?
이 시스템은 로봇이 한 번도 학습하지 않은 작업에 대해서도 기존 기술을 재활용하고 자체 시도를 통해 개선하며 학습 내용을 유지하는 '테스트 시간 진화'를 연구해요. 핵심은 컨트롤러가 이미 많은 역량을 가지고 있다는 점이에요.
시스템의 주요 구성 요소는 무엇인가요?
이 시스템은 두 가지로 구현돼요. 첫째, 새로운 보상에 대한 잔여물을 로코-매니퓰레이션 동작으로 변환하는 객체 인지 순방향-역방향(FB) 행동 기반 모델이 있어요. 둘째는 대규모 언어 모델 에이전트가 실행 피드백을 바탕으로 '보상 프로그램'을 수정하고 수치 최적화기가 상수 값을 조정해요.
실제 로봇에서도 작동하는지 궁금해요?
네, 시뮬레이션 환경뿐만 아니라 실제 Unitree G1 로봇에서도 자율적으로 작동함을 입증했어요. 이 과정에서 InterEvolve가 진화시킨 프로그램은 때로는 새로운 전략을 통해 기존의 운동 능력을 발휘할 수 있었어요.