VLA 모델의 전제 충돌 상황 행동 분석을 위한 새로운 벤치마크 공개
ConflictVLA-Bench: Benchmarking Behavioral Responses of Vision-Language-Action Models to Premise Conflicts
arXivVLA 모델의 행동 평가를 위한 새로운 벤치마크 'ConflictVLA-Bench'가 공개되었습니다. 이 벤치마크는 과제 전제에 모순이 발생했을 때 모델들이 어떻게 반응하는지 심층적으로 분석합니다.
- 핵심적으로, 모델들은 목표 달성이 불가능해져도 행동을 중단하지 않고 원래 목표를 향해 계속 접근하려는 '실패적 지속(Failed Persistence)' 현상을 보였습니다.
- 이 결과는 VLA 모델의 성능을 단지 최종 목표 달성 여부로만 측정하는 것이 불충분함을 보여줍니다. 모델의 실제적인 상황 변화에 따른 '행동 수정 능력' 평가가 필수적입니다.
- 따라서 향후 VLA 모델 평가는 단순히 성공/실패 같은 최종 결과가 아닌, 목표 충돌 시 발생하는 행동 과정과 의도적인 거부 여부를 종합적으로 분석해야 합니다.
Vision-Language-Action() 모델은 조작 과제에서 강력한 성능을 보이지만, 유효하지 않은 과제 전제에 대한 반응 평가는 미흡했습니다. 기존의 평가 방식들은 주로 최종적인 과제 결과에 초점을 맞추어, 단순한 과제 실패만으로는 행동 이탈인지 아니면 실행 오류로 인한 지속적 추구인지를 구분하기 어려웠습니다.
이러한 한계를 극복하기 위해 ConflictVLA-Bench가 도입되었습니다. 이 는 전제 충돌 상황과 일관된 참조 결과(reference rollouts)를 결합하여 모델의 행동 과정을 평가합니다. 분석에 따르면, 유효하지 않은 전제가 주어질 경우 원래 목표 달성률이 최소 17.3%p 감소했으며, OpenVLA와 같은 일부 모델에서는 최대 56.2%p까지 감소하는 것으로 나타났습니다.
특히 주목할 점은 '실패적 지속(Failed Persistence)' 현상입니다. 모델들이 전제 일관성 과제에서는 성공하더라도 충돌 과제에서 실패할 때도 원래 목표를 향해 계속 접근하거나 초기 궤적 구조를 유지하는 경향을 보였습니다. 이러한 결과는 최종적인 성공/실패 여부만으로는 VLA 모델의 행동 이탈이나 거부를 판단하기에 불충분하며, 과정 분석이 필수적임을 시사합니다.
용어 풀이
- VLA
- 시각·언어·행동(Vision-Language-Action) 모델. 보고 지시를 이해해 로봇의 동작까지 만들어 내요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.