지속적 특징 활용: 픽셀 공간 확산 모델의 이미지 생성 개선
Persistence Forcing: Exploiting Feature Specialization in Pixel-Space Diffusion
arXiv기존 확산 모델이 이미지 전체를 균일하게 처리하는 한계를 극복하기 위해, 글로벌 구조와 로컬 디테일을 분리하여 특징을 정제합니다.
- 'Persistence Forcing(PerF)' 기법은 전역적 정보를 담당하는 지속적 특징이 미세한 디테일 생성에 안정적으로 영향을 주도록 설계되었습니다.
- 이 기술은 거시적인 구조와 미세한 질감을 동시에 높은 일관성으로 구현하여, 이미지 생성의 현실성을 크게 높이는 진전입니다.
- 제시된 우수한 성능 지표는 ImageNet 등 특정 데이터셋에 근거하므로, 다양한 환경에서의 일반화 가능성을 추가로 확인해야 합니다.
픽셀 공간 확산 (DiTs)는 고차원 시각 데이터에 직접 작동하지만, 기존에는 은닉 표현이 깊이에 걸쳐 균일하게 정제되는 경향이 있었습니다. 저자들은 이러한 한계를 극복하기 위해 이질적 정제 방식을 도입하여, 서로 다른 특징 그룹에 각기 다른 정제 예산을 할당했습니다. 그 결과, 희소하게 정제된 지속적(persistent) 특징은 전역적인 시각 구조를 인코딩하고, 더 자주 정제되는 활성적(active) 특징은 국소화되고 고주파 디테일에 특화하는 분리된 특징 조직이 나타납니다.
이러한 특징의 전문화를 바탕으로 '지속성 강제(Persistence Forcing, PerF)' 기법을 제안했습니다. PerF는 지속적-활성적 특징 구조를 명시적으로 활용하여, 전역적인 정보를 담당하는 지속적 특징이 미세한 시각 디테일의 지속적인 정제에 영향을 주도록 합니다. 생성 샘플링 과정에서 이러한 상호작용은 일관된 전역 구조를 촉진하며 분류기 프리 가이던스를 보완합니다.
ImageNet $256\times256$ 데이터셋으로 테스트한 결과, PerF-L 모델은 FID 점수 1.91을 달성하여 JiT-H의 1.86에 근접했으며 수는 절반만 사용했습니다. 또한, PerF-H는 ImageNet $256\times256$에서 FID 1.63, 그리고 $512\times512$에서는 1.76을 달성하며 높은 성능을 입증했습니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.