방사선학 특화 3D 파운데이션 모델 'nnFoundation' 공개
nnFoundation: 3D Foundation Models for Radiology
arXiv방대한 규모의 CT, MRI 등 다중 모달리티 데이터를 활용하여 개발된 3D 방사선학 특화 파운데이션 모델 'nnFoundation'을 소개합니다.
- 컨볼루션 및 트랜스포머 기반의 두 아키텍처를 제공하며, 국소적 작업부터 전역적 의미 추론까지 최신 성능(SOTA)을 입증했습니다.
- 기존 AI가 가졌던 특정 작업에만 한정되거나 도메인 변화에 취약했던 문제를 해결하여 의료 현장의 범용성을 높였습니다.
- 최고의 성능은 단일 모델이 아닌, 대규모 사전 학습과 데이터 특성에 맞는 아키텍처 조합 및 적응 과정의 상호작용에 달려있음을 보여줍니다.
기존의 방사선 AI 시스템들은 특정 작업에만 국한되거나 도메인 변화에 취약하다는 한계가 있었습니다. 이러한 문제를 해결하기 위해 nnFoundation이 개발되었으며, 이 모델은 125개의 기관 및 공개 데이터셋에서 수집된 총 2.1백만 개의 CT, MRI, PET 이미지 볼륨을 기반으로 학습되었습니다. 연구진들은 세그멘테이션, 탐지, 분류, 리포트 생성 등 108개에 달하는 다양한 작업 유형과 도메인 변화 상황까지 평가했습니다.
nnFoundation은 컨볼루션(convolutional) 방식과 (transformer-based) 방식을 결합한 3D 파운데이션 모델입니다. 이 두 아키텍처를 통해 개발된 nnFoundation 모델은 기존의 3D 파운데이션 모델이나 처음부터 학습시킨 모델들보다 일관되게 우수한 성능을 보여주며, 방사선 영상 분야에서 최신 기술 수준()을 확립했습니다.
연구 결과에 따르면, 최고의 성능은 단일 범용 모델이 아닌 여러 요소의 상호작용에 의해 결정됩니다. 구체적으로 컨볼루션 기반 모델은 공간적으로 국소화된 작업에서 우위를 보였고, 트랜스포머 기반 모델은 전역적인 의미 추론이나 고정된 특징(frozen-feature) 설정이 필요한 작업에서 뛰어난 성능을 나타냈습니다. 이러한 결과를 바탕으로 nnFoundation 모델은 nnU-Net 및 nnDetection에 통합되어 즉시 활용 가능한 형태로 공개되었습니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- SOTA
- State of the Art의 줄임말. 해당 분야에서 현재 가장 좋은 성능을 뜻해요.