리서치 연구
LUX: A Lesion-Aware Graph-Conditioned Visual - Language Architecture for Explainable Endoscopic Captioning
ARarXiv
대장 내시경 이미지의 설명 가능한 캡셔닝을 위해 LUX라는 그래프 조건부 비전-언어 아키텍처를 제시했다.
세 줄 요약
- LUX는 Grad-CAM과 CBAM 활성화 맵으로 병변 중심의 장면 그래프를 구성하고, 이 임베딩을 T5 디코더에 통합한다.
- 기존 모델이 전역적 시각 임베딩에 의존해 국소적인 관계를 놓쳤던 것과 달리, 언어 내용과 병리학적 증거 간 직접적인 정렬을 지원한다.
- 본 기술은 대장염 내시경 이미지 해석이 복잡하고 주관적이며 인간 평가에 변동성이 있다는 상황을 다룬다.
대장 내시경 이미지의 설명 가능한 캡셔닝을 위해 LUX라는 그래프 조건부 비전-언어 아키텍처를 제시했다.