스포츠 하이라이트 해석을 위한 의미론적 액션 그래프
Semantic Action Graph: A Shared Representation for Agent Grounding and Human Interpretation of Sports Highlights
arXiv스포츠 경기 하이라이트를 주체, 행동 등으로 연결된 이벤트 시퀀스로 표현하는 '의미론적 액션 그래프(Semantic Action Graph)'를 제시합니다.
- 이 구조는 AI가 내러티브를 구성할 때 기반을 제공하며, 사용자에게는 정보를 검색하고 해석할 수 있는 공통의 시각적 인터페이스를 제공합니다.
- 비정형 데이터에 의존하는 기존 방식과 달리, 사람이 이해하기 쉬운 체계적인 그래프로 콘텐츠의 신뢰도와 검증 가능성을 획기적으로 높입니다.
- 초기에는 축구 데이터를 중심으로 높은 만족도를 보였으나, 다양한 스포츠 종목이나 복잡한 경기 상황으로의 확장 적용이 필요합니다.
기존의 생성형 는 스포츠 하이라이트를 구성하고 내러티브를 만드는 과정에서 비정형적이거나 프레임 레벨의 표현에 의존하는 경향이 있습니다. 이로 인해 결과물은 시청자가 직접 검증하거나 개인적인 선호도에 따라 조정하기 어렵다는 문제가 발생합니다. 이에 연구진은 '의미론적 액션 그래프(Semantic Action Graph)'라는 경량 도메인 스키마를 제안했습니다. 이 구조는 스포츠 경기 전체를 수행자, 행동, 수신자, 순간, 상태 노드와 역할, 시간적, 결과 엣지로 연결하여 표현합니다.
이 의미론적 액션 그래프는 세 가지 주요 속성을 갖습니다. 첫째, 연결된 이벤트 시퀀스를 나타내며, 둘째, 공유되고 폐쇄적인 어휘를 사용하고, 셋째, 프레임 주소 지정이 가능한 순간을 제공합니다. 이러한 특성 덕분에 이 스키마는 두 가지 사용자 그룹에게 동시에 적합한 구조를 갖습니다. 하나는 내러티브 하이라이트를 구성하는 에이전트 파이프라인이며, 다른 하나는 시청자가 동일한 구조를 검색하고 검사할 수 있는 시각적 인터페이스입니다.
연구진은 SportSAGE라는 디자인 프로브를 통해 이 개념을 구현했으며, 이는 네 개의 모듈로 구성된 하이라이트 파이프라인과 그래프 인터페이스를 결합한 것입니다. 12명의 축구 팬들을 대상으로 피드백을 받은 결과, 참가자들은 생성된 하이라이트와 내러티브의 품질에 만족했습니다. 또한, 이들은 그래프 인터페이스를 사용하여 경기 하이라이트를 검색하고 탐색하며 해석하는 데 활용했으며, 이는 작고 사람이 읽기 쉬운 스키마가 에이전트 생성을 기반으로 하고 인간의 해석을 동시에 지원할 수 있음을 보여줍니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.