단일 질의 기반 사람 중심 양손 상호작용 탐지 기술
Single-Query Person-Centric Bimanual Hand-Object Interaction Detection
arXiv기존의 손 중심(hand-centric) 방식이 다인물 환경에서 소유권 구분을 어렵게 했던 문제를 해결하기 위해, 본 연구는 한 사람을 단위로 신체, 손 상태, 상호작용 대상을 통합 예측하는 방법을 제안합니다.
- 핵심적으로 '부분 인식 변형 어텐션'과 '손-질의 관계 행렬'을 도입하여, 단일 질의만으로 사람 전체 구조와 그가 상호작용하는 대상을 동시에 추론할 수 있습니다.
- 이는 단순히 개별 객체를 인식하는 것을 넘어, 사람이 어떤 방식으로 복합적으로 연관되어 행동하는지 전반적인 맥락을 파악하는 데 중요한 기반 기술이 됩니다.
- 사람 중심의 상호작용 주석을 포함한 새로운 데이터셋으로 성능을 입증했으며, 이는 향후 다인물 환경에서의 정교한 행동 인식 및 추론에 활용될 것입니다.
기존의 손 중심(hand-centric) 방식은 각 손을 독립적인 개체로 취급하여, 다인물 환경에서 어느 손이 누구에게 속하는지에 대한 소유권 구분이 모호해지는 문제를 안고 있었습니다. 본 연구는 이러한 한계를 극복하기 위해 사람 전체를 단위로 하는 사람 중심의 공식화(person-centric formulation)를 제안합니다. 이 방식은 단일 질의만으로 해당 인물의 바운딩 박스, 신체 자세, 손 상태 및 상호작용 대상을 구조적으로 예측할 수 있습니다.
제안된 방법론에서는 부분 인식 변형 어텐션(part-aware deformable attention)을 도입하여 사람, 손, 자세별 참조 영역에 걸쳐 주의를 할당함으로써 단일 질의가 전체 인물 구조를 포착하도록 합니다. 또한, 탐지 및 상호작용 추론 과정을 통합하기 위해 '손-질의 관계 행렬'을 사용합니다. 이 행렬은 각 손이 감지된 질의 세트와 학습 가능한 오프 으로부터 직접 상호작용 대상을 선택하게 하여, 별도의 객체 회귀 없이도 대상의 바운딩 박스와 클래스를 복구할 수 있게 합니다.
연구진은 사람 중심의 양손 상호작용 주석을 포함하는 COCO 기반 데이터셋을 구축하고 구조화된 평가 지표를 정의했습니다. 실험 결과에 따르면, 이 프레임워크는 단일 질의만으로 사람 수준의 양손 상호작용 파싱 능력을 향상시키는 것으로 나타났습니다. 이는 객체 탐지, 자세 추정, 손 추론 과정을 통합하는 효과적인 틀을 제공하며, 복합적인 행동 인식 및 추론에 활용될 수 있습니다.
용어 풀이
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.