선택적 상태 공간 모델 기반의 신체 시뮬레이터 'PhysMamba'
PhysMamba: Selective State Space Models as Learned Articulated Body Simulators
선택적 상태 공간 모델(SSM)을 기반으로 개발된 PhysMamba는 위치, 회전, 관절 동작 기록만으로 다음 프레임의 전신 상태를 예측하는 학습형 신체 시뮬레이터입니다.
- 특히 Mamba2는 CUDA 그래프 컴파일 최적화를 통해 H100 GPU에서 매우 빠른 추론 속도(프레임당 0.107ms)를 달성하여 실시간 구동에 적합합니다.
- 이 기술은 시뮬레이션 모델을 비디오 기반 메시 복원 과정의 미분 가능한 물리 모듈로 통합할 수 있게 하여 영상 분석 분야에 큰 혁신을 가져옵니다.
- 속도 입력 없이 동작 기록만으로 예측하는 새로운 접근 방식을 제시하며, AI 파이프라인에서 물리적 제약을 구현하는 데 중요한 발판을 마련했습니다.
연구진은 선택적 상태 공간 모델(SSM)을 기반으로 개발된 학습형 관절 신체 시뮬레이터인 PhysMamba를 소개했다. 이 모델은 위치, 회전 및 관절 동작 기록만을 사용하여 다음 프레임의 전신 상태를 예측하며, 속도 입력 없이 작동하는 것이 특징이다.
PhysMamba는 Mamba2 아키텍처를 활용하여 그래프 컴파일 최적화를 거쳤다. 그 결과 H100 에서 프레임당 0.107ms(9,334 FPS)의 추론 속도를 달성했다. 이는 GRU의 비컴파일 처리량 대비 1.1배 이내이며, 30Hz HMR 파이프라인에 1% 미만의 지연 시간을 추가하여 실시간 구동에 적합함을 보여준다.
이 기술은 시뮬레이션 모델을 영상 기반 메시 복원 과정의 미분 가능한 물리 모듈로 통합할 수 있게 한다. 또한, 연구진은 부분 관찰 및 전체 관찰 입력 조건 하에서 다양한 훈련 프로토콜과 아키텍처를 비교 분석했다.
용어 풀이
- CUDA
- 엔비디아 GPU에서 계산 프로그램을 돌리게 해 주는 개발 플랫폼.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
PhysMamba는 어떤 원리로 신체 상태를 예측하나요?
PhysMamba는 선택적 상태 공간 모델(SSM)을 기반으로 개발된 학습형 관절 신체 시뮬레이터예요. 이 모델은 위치, 회전 및 관절 동작 기록만을 사용하여 다음 프레임의 전신 상태를 예측하며, 특히 속도 입력 없이 작동하는 것이 특징이에요.
이 시뮬레이터는 실시간 구동이 가능한가요?
네, Mamba2 아키텍처와 CUDA 그래프 컴파일 최적화를 거쳐 H100 GPU에서 프레임당 0.107ms의 매우 빠른 추론 속도를 달성했어요. 이는 30Hz HMR 파이프라인에 1% 미만의 지연 시간을 추가할 수 있어 실시간 구동에 적합해요.
PhysMamba는 어떤 분야에 적용될 수 있나요?
이 기술은 시뮬레이션 모델을 영상 기반 메시 복원 과정의 미분 가능한 물리 모듈로 통합할 수 있게 해줘요. 또한, 부분 관찰 및 전체 관찰 조건 하에서 다양한 훈련 프로토콜과 아키텍처를 비교 분석하는 데 활용될 수 있어요.