수술 영상 이해를 위한 계층 구조 인식 모델 평가 및 하이퍼볼릭 기법 적용
A Hierarchy-Aware Video-Language Model Evaluation and Hyperbolic Baseline for Surgery
arXiv수술 과정은 단계별 위계 구조를 가지지만, 기존 영상-언어 모델들은 이 계층적 관계를 무시하고 평면적인 방식으로 성능을 평가하는 한계를 가졌습니다.
- 연구진은 수술 이해도를 측정하기 위해 계층 구조를 반영한 최초의 평가 도구(SurgHiBench)와 하이퍼볼릭 기하학 기반 모델(HyperSurg)을 개발했습니다.
- 단순히 높은 정확도만으로는 부족하며, 오류가 어느 단계에서 발생했는지 등 '오류의 심각성'까지 파악하는 것이 수술 AI 평가에 필수적임을 입증합니다.
- 하이퍼볼릭 기하학 모델은 데이터셋의 계층 구조가 나무 형태일수록 성능 향상이 커지므로, 데이터 구조 분석이 중요함을 시사합니다.
기존의 수술 과정은 단계(phase)와 세부 동작(step)으로 이루어진 위계적 구조를 가지지만, 이를 인식하는 기존의 영상-언어 모델들은 이러한 계층적 관계를 무시하고 평면적인 지표로 성능을 평가하는 한계를 가집니다. 본 연구는 이 문제를 해결하기 위해 두 가지 기여를 제시합니다. 첫째, 수술 비디오 이해를 위한 최초의 계층 구조 인식 평가 도구인 SurgHiBench를 도입했습니다.
SurgHiBench는 세 가지 과제(recognition, consistency, severity)를 통해 다양한 세분성 수준에 걸친 성능을 측정할 수 있습니다. 또한 연구진은 두 번째 기여로 하이퍼볼릭 모델인 HyperSurg를 개발했는데, 이는 엔타일먼트 콘을 이용해 단계-세부 동작의 포함 관계를 강제합니다. 이 모델은 세 가지 절차 유형에 걸친 네 개의 기존 데이터셋에서 평가되었습니다.
평가 결과, 단순히 높은 정확도만으로는 부족하며 오류 발생 지점과 심각성까지 파악하는 것이 중요함이 드러났습니다. 하이퍼볼릭 기하학을 적용한 모델은 예측을 올바른 절차적 근처로 이동시키는 효과를 보였으며, 이러한 성능 향상은 데이터셋의 주석 계층 구조가 나무 형태(tree-likeness)에 가까울수록 커지는 경향을 보여주었습니다.