만성 상처 데이터로 나병 이미지 합성하는 연구
Synthetic Leprosy Image Generation Using Mask-Conditioned Latent Diffusion and Transfer Learning from Large Chronic Wound Datasets
arXiv희귀 질병인 나병(한센병)은 데이터 부족이 심각하여 AI 학습에 어려움이 있었으나, 연구진은 풍부하게 확보된 만성 상처 사진을 활용해 모델 구축에 성공했습니다.
- 개발된 확산 모델은 생성된 가상 이미지의 다양성이 실제 나병 데이터와 통계적으로 구별되지 않아 높은 품질과 현실성을 입증했습니다.
- 이는 의료 AI 분야에서 데이터 부족이 큰 걸림돌이었던 상황에, 다른 풍부한 데이터를 활용해 희귀 질병 학습 자료를 확보할 수 있는 새로운 가능성을 제시합니다.
- 연구진은 이미지의 외형적 특징(Appearance) 전이는 성공했으나, 생성된 이미지를 특정 의미로 제어하는 '의미론적 제어'가 여전히 해결해야 할 과제임을 밝혔습니다.
나병(한센병)과 같은 희귀 열대 질환의 경우, 공공적으로 주석이 달린 이미지가 수백 장에 불과하여 생성 모델 학습에 어려움이 있습니다. 이에 연구진은 데이터가 풍부하게 확보된 만성 상처 사진을 활용해 이 저데이터 환경으로 지식을 전이(Transfer Learning)하는 방안을 제시했습니다. 이를 위해 첫 단계로 DeepLabV3-ResNet50 분할 네트워크를 사용하여 마스크를 생성하고, 두 번째 단계에서는 Stable Diffusion 1.5 구성 요소를 기반으로 한 마스크 조건부 잠재 을 구축했습니다.
이 모델은 3,280개의 관심 영역(ROI) 상처 크롭 이미지로 학습되었으며, UNet 입력 컨볼루션을 4채널에서 11채널로 확장하여 세 개의 마스크 특징 지도와 흐릿한 저주파 맥락 잠재를 수용하도록 설계되었습니다. 이후 이 모델을 약 150명의 환자로부터 얻은 764장의 이미지 중 708개의 나병 이미지-마스크 쌍으로 (fine-tune)하여 성능을 검증했습니다.
생성된 이미지는 모드 붕괴 현상을 보이지 않았으며, 내부 지각 다양성(0.662)이 실제 나병 세트의 값(0.672)과 통계적으로 구별되지 않는 것으로 나타났습니다. 이는 만성 상처 사진 촬영 자료가 나병 병변 합성의 실행 가능한 제공 영역임을 입증합니다. 다만, 연구진은 이미지의 외형적 특징 전이는 성공했으나, 생성된 이미지를 특정 의미로 제어하는 '의미론적 제어'는 여전히 해결해야 할 과제라고 밝혔습니다.
용어 풀이
- 확산 모델
- 잡음에서 시작해 조금씩 다듬으며 이미지나 영상을 만들어 내는 생성 모델.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.