알츠하이머병 진단을 위한 다중 모달리티 학습 프레임워크 M^2PFN
M$^2$PFN: End-to-End Disentangled Alignment for Generalizable Multimodal In-Context Learning in Alzheimer's Disease
arXiv알츠하이머병 진단 시 이미지와 표 데이터를 결합하는 기존 모델들이 코호트 간 일반화에 취약하다는 문제를 해결한 M$^2$PFN 프레임워크를 소개합니다.
- M$^2$PFN은 기초 테이블 예측기(TabPFN)를 다중 모달리티로 확장하여, 3D-MRI와 임상 데이터를 공유 공간에 정렬하는 것이 핵심 기술입니다.
- 특히 외부 코호트(OASIS-3, SCAN)에서 재학습 없이도 최고 성능을 달성하며 뛰어난 일반화 능력을 입증한 점이 주목할 만합니다.
- 이는 의료 AI가 특정 데이터셋에 국한되지 않고 다양한 환경과 환자군에서도 안정적으로 작동하는 새로운 기준을 제시함을 의미합니다.
기존의 알츠하이머병(AD) 진단 모델들은 이미지와 표 데이터를 결합할 때 코호트 간 일반화에 한계가 있었습니다. 본 연구는 이러한 문제를 해결하기 위해 M^2PFN이라는 종단 간(end-to-end) 프레임워크를 제안했습니다. 이 프레임워크는 기초 테이블 예측기(TabPFN)의 인컨텍스트 학습(ICL) 능력을 다중 모달리티 AD 분석에 확장하는 것을 목표로 합니다.
M^2PFN은 세 가지 주요 과정을 수행합니다. 첫째, TabPFN의 를 통해 미분 가능한 추론을 수행하며, 이 과정에서 태스크 기울기를 3D-MRI 및 표 인코더로 역전파시킵니다. 둘째, 디탱글링(disentanglement)과 대조적 목적 함수(contrastive objective)를 사용하여 두 모달리티를 ICL 엔진의 사전 지식에 맞춰 공유 부분 공간으로 정렬합니다. 셋째, 학습 가능한 게이티드 단축 경로(learnable gated shortcut)를 통해 고정된 테이블 전용 예측값을 통합하여 모델을 완성합니다.
ADNI 코호트($n=2240$, 세 가지 클래스 CN/MCI/AD)에서 M^2PFN은 $65.55\%$의 매크로-F1과 $82.21\%$의 매크로-AUC를 달성하며, 기존 단일 모달리티 및 다중 모달리티 기반 모델들을 능가했습니다. 특히 재학습 없이 외부 코호트인 OASIS-3와 SCAN에서 테스트했을 때도 모든 기준선 대비 최고의 AUC와 가장 낮은 MMSE MAE를 기록하며 뛰어난 일반화 성능을 입증했습니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.