임베딩 예측을 활용한 차세대 이미지 생성 기술
Embedding Prediction Helps Image Generation
기존 이미지 생성 모델이 고정된 조건(프롬프트 등)을 사용하는 한계를 극복하고, 매 단계마다 변화하는 '다음 임베딩' 자체를 예측하여 조건을 부여합니다.
기존 방식의 한계를 넘어, 매 단계마다 변화하는 조건을 예측하여 훨씬 현실적이고 세밀한 이미지 제어가 가능해졌고, 계산 자원 효율성도 높였어요.
- 조건 신호가 노이즈 제거 과정에 맞춰 실시간으로 적응하게 되므로, 단순히 텍스트 프롬프트만 사용할 때보다 훨씬 더 현실적이고 세밀한 이미지 제어가 가능해집니다.
- 개발된 NEPA-DiT-XL 모델은 최고 수준의 품질(FID 1.32)을 달성하면서도 기존 대비 계산 자원을 약 1/3로 줄이는 높은 효율성을 입증했습니다.
- 이 기술의 핵심은 '다음 임베딩 예측' 트랜스포머와 이를 생성 과정에 통합하여 매 단계마다 조건을 재계산하는 복잡한 구조 설계에 있습니다.
기존의 확산 (diffusion transformers)는 클래스 레이블이나 텍스트 와 같은 조건이 한 번 임베드되어 모든 노이즈 제거 단계에서 재사용되는 방식이었습니다. 본 연구에서는 이러한 고정된 조건을 대신하여, 예측된 연속적인 자체가 생성 과정의 조건으로 사용될 수 있는지 탐구했습니다. 이를 위해 NEPA(Next-Embedding Predictive Autoregression) 모델을 훈련시켜 시퀀스 내 다음 임베딩을 예측하도록 설계했습니다.
이미지 생성 과정에서 깨끗한 이미지는 노이즈가 제거되는 순서대로 진행되므로, 그 임베딩은 조건과 노이즈 이미지 이후의 '다음' 임베딩에 해당합니다. 연구진은 Multi-Embedding Prediction 방식을 통해 이러한 다음 임베딩들을 한 번에 예측하도록 NEPA 모델을 훈련시켰습니다. 이 예측값들은 DiT 생성기에 매 단계마다 재계산되어 조건을 부여받게 되며, 이를 통해 조건 신호가 현재의 노이즈 상태에 적응할 수 있게 됩니다.
ImageNet $256\times256$의 클래스 조건부 실험을 통해 모델의 성능과 효율성이 검증되었습니다. 최종적으로 개발된 NEPA-DiT-XL 모델은 FID 점수 1.32를 달성했습니다. 이 결과는 기존 방식인 REPA 대비 약 1/3 수준의 학습 컴퓨팅 자원만을 사용하여 최고 수준의 이미지 품질을 구현했음을 입증합니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
이 기술은 기존 조건부 생성과 어떻게 다른가요?
기존의 확산 트랜스포머는 클래스 레이블이나 텍스트 프롬프트 같은 조건을 한 번 정해 모든 노이즈 제거 단계에서 재사용했어요. 하지만 이 연구에서는 고정된 조건 대신, 예측된 연속적인 임베딩 자체가 생성 과정의 조건으로 사용되어 현재 노이즈 상태에 맞춰 조건 신호가 실시간으로 적응할 수 있게 되었어요.
이미지 생성 과정에서 '다음 임베딩'은 무엇을 의미하나요?
깨끗한 이미지는 노이즈가 제거되는 순서대로 진행되는데요, 이때의 임베딩은 조건과 노이즈 이미지 이후에 나타날 '다음' 상태를 의미해요. 연구진은 이 다음 임베딩들을 한 번에 예측하도록 모델을 훈련시켰고, 이 예측값들이 매 단계마다 재계산되어 조건을 부여받게 돼요.
새로운 모델의 성능과 효율성은 어느 정도인가요?
개발된 NEPA-DiT-XL 모델은 FID 점수 1.32라는 최고 수준의 이미지 품질을 달성했어요. 특히 기존 방식에 비해 학습 컴퓨팅 자원을 약 1/3 수준만 사용하여 높은 효율성을 입증했답니다.