지식 그래프를 시각 메모리로 변환한 QA 모델 'VisKG-LM' 연구
VisKG-LM: Compiling Knowledge Graphs into Visual Memory for Multiple-Choice Question Answering
arXiv기존 지식 그래프 기반 QA 모델은 동일한 배경지식을 매번 재처리하는 비효율성이 있었습니다. VisKG-LM은 이 문제를 해결하기 위해 등장했습니다.
- 검색된 지식 그래프를 온라인에서 실시간으로 처리하지 않고, 오프라인에서 이미지 형태로 변환하여 캐시 메모리처럼 활용합니다.
- 이 방식은 언어 모델이 먼저 질문을 완전히 이해한 후 지식 정보를 참조하게 하여 성능 향상과 구조적 우위를 동시에 확보했습니다.
- 이는 지식 그래프를 실시간으로 전파하는 방식의 대안을 제시하며, 시각적 기억 통합이 QA 모델에 새로운 패러다임을 제공함을 보여줍니다.
기존의 지식 그래프 기반 질의응답(QA) 모델은 검색된 하위 그래프를 온라인 추론 과정에서 매번 재인코딩하는 비효율성이 있었습니다. VisKG-LM은 이러한 문제를 해결하기 위해, 지식 그래프를 오프라인에서 한 번 컴파일하여 읽기 전용 메모리처럼 접근할 수 있도록 설계되었습니다.
이 모델은 검색된 후보별 하위 그래프를 관계 레이블 경로(Relation-Labeled Paths)로 직렬화하고, 그 결과를 분기 구조가 보존되는 이미지 형태로 렌더링합니다. 이렇게 생성된 이미지는 오프라인에서 한 번 인코딩되어 재사용을 위해 캐시됩니다. 추론 시에는 언어 모델이 먼저 질문과 후보를 텍스트만으로 이해한 후, 최종 레이어에서 이 캐시된 시각 메모리를 참조하게 됩니다.
성능 평가 결과, VisKG-LM은 세 가지 (commonsenseQA, OpenBookQA, MedQA-USMLE)에서 GreaseLM 대비 각각 $1.2$, $0.8$, $4.3$점의 향상을 보였습니다. 또한 약 4억 개의 온라인 만으로 GraphVis와 같은 비전-언어 모델에 필적하거나 능가하는 성능을 달성했습니다. 특히, 동일한 경로 텍스트화(textualization)를 받은 텍스트 전용 제어군 대비로는 각각 $4.2$, $6.5$, $5.1$점의 추가적인 이점을 입증했습니다.
용어 풀이
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.