의료 표 형식 데이터용 파운데이션 모델 비교 평가 프레임워크
A Comparative Framework for Evaluating Foundation Models on Tabular Data: A Case Study in Healthcare
arXiv임상 현장의 표 형식 데이터에 적용되는 파운데이션 모델(FM)을 체계적으로 비교 평가하는 새로운 프레임워크를 제시합니다.
- 이 프레임워크는 일반화, 개인 정보 보호, 확장성, 해석 가능성 등 6가지 핵심 차원을 측정하고 '슈퍼-메트릭'으로 종합 점수를 산출합니다.
- 특정 임상 상황에 따라 중요도가 달라지는 지표를 제공하여, 연구자와 실무자가 모델 선택의 근거를 명확히 할 수 있도록 돕습니다.
- 실제 의료 사례 연구와 함께, 총 45개의 표 형식 FM 분류 체계를 제공하여 해당 분야의 필수 참고 자료가 됩니다.
임상 현장에서 흔히 사용되는 표 형식 데이터(검사 결과, 투약 기록 등)에 적용되는 파운데이션 모델이 증가함에 따라, 특정 작업에 가장 적합한 모델을 선택할 수 있는 체계적인 비교 방법론의 필요성이 제기되었습니다. 본 연구는 이러한 문제를 해결하기 위해 비교 평가 프레임워크를 제시하며, 표 형식 파운데이션 모델(TFM)들을 점수화하고 순위를 매기는 것을 목표로 합니다.
이 프레임워크는 임상적으로 의미 있는 여섯 가지 차원을 기준으로 TFM을 평가합니다. 구체적인 측정 항목으로는 새로운 데이터셋에 대한 일반화 능력, 환자 개인 정보 보호 수준, 우수한 성능을 내기 위해 필요한 데이터 양, 증가하는 데이터 및 특성 공간에 따른 확장성, 임상의에게 예측 결과를 설명할 수 있는 해석 가능성, 그리고 환자 하위 그룹 전반의 공정성 등이 포함됩니다. 또한, 여러 하위 구성 요소를 조합하여 모델의 다차원적 성능을 진단하는 '슈퍼-메트릭'도 제공합니다.
프레임워크의 실제 적용 사례로 철분 결핍 스크리닝 및 심부전 예측이라는 두 가지 의료 사용 사례를 제시했습니다. 이 과정을 통해 어떤 임상 상황에서 무엇이 가장 중요한지에 따라 동일한 지표 세트가 모델 순위에 다르게 영향을 미칠 수 있음을 보여줍니다. 또한, 연구자와 실무자를 위해 기반 아키텍처별로 분류된 총 45개의 TFM 목록을 참고 자료로 제공합니다.