미분 가능한 이미지 측정을 통한 연속 제어 학습 프레임워크
Measured Sliders: Learning Continuous Controls from Differentiable Image Measurements
arXiv기존 이미지 생성 제어는 시각적 속성과 분리되어 예측이 어려웠습니다. 본 연구는 '측정된 슬라이더' 프레임워크를 통해 닫힌 형식의 미분 가능한 이미지 측정을 기반으로 연속적인 제어 방식을 학습했습니다.
- 모든 제어 속성을 공통 측정 공간에 통합하여, 각 속성이 이미지에 미치는 변화를 비교 가능한 단위로 표현합니다. 이를 통해 여러 속성 조합에서도 높은 선택성과 구성 가능성을 확보했습니다.
- 사용자가 원하는 특정 속성(예: 조명 방향)을 정밀하게 제어하고, 여러 속성을 조합할 때도 예측 가능한 결과를 얻게 되어 생성형 AI의 활용도를 획기적으로 높일 수 있습니다.
- 제어 학습 전 '가시성 테스트'를 통해 실제로 사용 가능한 감독 신호를 식별하는 과정이 필수적입니다. 이미지 공간에서의 측정 기반 공통 기준 마련이 핵심 기술 전제 조건입니다.
기존의 이미지 생성 제어 방식은 계수 변화가 예측 가능한 이미지 변화를 만들어낼 때만 유용했습니다. 그러나 대부분의 확산 슬라이더는 텍스트나 학습된 표현에서 축을 도출하여, 그 스케일이 관찰 가능한 이미지 속성과 분리되어 있었습니다. 이에 연구진은 'Measured Sliders'라는 프레임워크를 제안하며, 폐쇄 형식의 미분 가능한 이미지 측정을 통해 연속적인 제어 방식을 정의했습니다. 이 공통 측정 공간을 활용함으로써, 학습 전 가시성 테스트(observability test)를 통해 사용 가능한 감독 신호를 식별할 수 있습니다.
훈련 과정에서는 측정 기반 목적 함수(measurement-guided objective)가 목표 이동을 학습하는 동시에 비목표 변화는 억제합니다. 또한, 훈련 후 디코딩된 보정값은 제어 속성을 실현된 이미지 변화의 비교 가능한 단위로 표현할 수 있게 합니다. 이 방식은 여러 브랜치를 하나의 체크포인트에 저장하고 재학습 없이 결합하여 사용 가능하며, SDXL 및 FLUX.1-dev 모델에서 조명 방향을 $\rho = 0.995$와 같은 높은 수준으로 제어할 수 있음을 입증했습니다.
이러한 이미지 공간 측정 기반 접근 방식은 연속적인 생성 제어를 학습하고 진단하며 구성하는 공통의 기반을 제공합니다. 실제로 다섯 가지 속성을 가진 체크포인트는 평균 선택성 2.59를 달성하여, 가장 강력했던 기존 기준선(1.50) 대비 향상되었으며, 요청된 방향을 쌍 조합에서 96.7%, 삼중 조합에서 86.1%의 높은 비율로 유지했습니다.
용어 풀이
- LoRA
- 모델 전체 대신 작은 추가 부분만 학습시켜 적은 비용으로 미세 조정하는 기법.