수어 사인을 설명하면 단어를 찾아주는 시스템 'SignTrace'

SignTrace는 사용자가 수어(사인)의 움직임만 기억하지만 그 의미나 공식적인 특징 코드를 모르는 경우, 자연어를 이용해 해당 사인을 역으로 검색할 수 있도록 설계된 시스템입니다. 이 시스템은 중국 수어사전을 기반으로 하며, LLM을 활용한 사전 보강, 동작 추출, 사전 스타일로의 재작성, 7채널 검색 및 후보군 재순위화 과정을 통합하여 작동합니다.

이 시스템은 6,699개 항목에 대해 평가되었으며, 사전에서 파생된 500개의 움직임 설명 질의를 통해 성능을 검증했습니다. 그 결과 Hit@1에서 94.0%라는 높은 검색 정확도를 달성했으며, 재순위화 과정을 거치면서 Hit@1이 기존 71.8%에서 94.0%로 증가한 것으로 나타났습니다.

실제 사용 환경 측면에서는 동시 접속 6개 질의를 처리할 때 중앙값(median) 처리 시간이 13.37초가 소요되었습니다. 다만, 현재 성능 평가는 사전 구축된 사전을 기반으로 한 질의에 국한되어 있어, 사용자가 독자적으로 생성하는 설명까지 일반화하기는 어렵다는 한계점이 있습니다.