저시력자를 위한 공간 인지 소형 VLM 모델 개발
Small yet Assistive: Spatially-Aware Post-Training for Low Vision
arXiv시각 장애인 및 저시력자를 위한 안전한 길 안내가 필요하지만, 기존 AI 모델들은 크기나 공간 인지 능력 부족으로 한계가 있었습니다.
- 연구진은 이를 해결하기 위해 방향 지시와 위험 요소 감지에 특화된 소형 VLM 'Smol-VL-BLV'를 개발했습니다.
- 이 모델은 후처리 학습을 통해 공간 점수 및 OCR 이해도 등에서 기존 대비 높은 성능 향상을 보이며, 안전한 이동에 도움을 줍니다.
- 모델은 중간급 안드로이드 스마트폰에서 약 450MB 크기로 구동 가능하며, 네트워크 연결 없이 오프라인 환경에서도 작동하는 것이 특징입니다.
현재 시각 장애인 및 저시력자(BLV)를 위한 기존의 비전-언어 모델()들은 안전한 길 안내에 필요한 충분히 구체적인 설명을 제공하지 못하는 한계가 있습니다. 대규모 VLM은 고품질의 오디오 설명을 생성할 수 있지만 모바일 기기에서 실행하기 어렵고, 반면 소형 VLM은 낮은 지연 시간을 보장하지만 공간적 세부 정보나 위험 요소 감지 능력이 부족합니다.
연구진은 이러한 격차를 해소하기 위해 500M 디코더 모델을 활용한 소형 VLM인 Smol-VL-BLV를 개발했습니다. 이 모델은 교사-학생 증류(teacher-student )와 방향성 언어, 거리 측정, 위험 감지를 목표로 하는 복합 BLV 보상을 이용한 그룹 상대 정책 최적화(GRPO)라는 두 가지 후처리 학습 메커니즘을 적용했습니다.
최종 모델은 일반적인 설명 품질을 유지하면서도 BLV 특화 공간 인지 능력을 확보하기 위해 경량 단계를 추가했습니다. 이 모델은 중간급 안드로이드 스마트폰에서 약 450MB 크기로 구동 가능하며, 네트워크 연결 없이 오프라인 환경에서도 작동합니다. 테스트 결과, 기존 대비 공간 점수(Spatial score)를 19.3% 향상시키고 OCR-Bench는 101.5% 증가시키는 등 전반적인 성능 개선을 입증했습니다.
용어 풀이
- VLM
- 이미지와 글을 함께 이해하는 모델.
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- distillation
- 큰 모델의 답을 작은 모델이 따라 배우게 해서 가볍고 빠른 모델을 만드는 방법.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.