확산 모델 가속화를 위한 랭크 인식 추측 샘플링(RASS)
Rank-Aware Speculative Sampling for Diffusion Draft Trees
arXiv확산 모델의 생성 속도를 획기적으로 높이기 위해 '랭크 인식 추측 샘플링(RASS)'이라는 새로운 검증 규칙이 제안되었습니다.
확산 모델의 생성 속도가 빨라지면 고화질 이미지나 복잡한 콘텐츠를 실시간으로 생성하는 상용 AI 서비스 개발에 큰 도움이 돼요.
- RASS는 기존 트리 기반 샘플링 방식보다 성능을 개선했으며, 특히 CIFAR-10 조건부 생성 환경에서 컴퓨팅 예산 대비 약 20%의 향상을 입증했습니다.
- 확산 모델의 속도 개선은 고화질 이미지나 복잡한 콘텐츠를 실시간으로 생성하는 AI 서비스의 상용화를 가속화할 핵심 기술입니다.
- RASS는 FFHQ, Stable Diffusion 등 다양한 환경에서 검증되었으며, 추측 샘플링 과정의 정확도를 높이는 새로운 방법론을 제시합니다.
추측 샘플링은 확산 생성 과정에서 저비용의 초안 상태를 병렬로 검증하여 생성 속도를 높이는 기술입니다. 기존의 트리 기반 방법들은 단일 체인 방식보다 컴퓨팅 예산을 효과적으로 할당하지만, 샘플링된 후보들이 추가적인 타겟 모델 평가 없이도 유용한 순위 정보를 담고 있다는 점을 활용할 필요가 있습니다.
이러한 한계를 극복하기 위해 랭크 인식 추측 샘플링(RASS)이 제안되었습니다. RASS는 랭크 인식 리스트 커플링에 기반한 검증 규칙으로, 초안 후보들을 제안-타겟 평균 변위(mean displacement)를 따라 순서화합니다. 이후 선택된 후보가 타겟과 최대 결합되도록 를 최적화하여 총 변동량(total variation)을 최소화하며 정확한 샘플링을 보장합니다.
RASS는 Gaussian 혼합 타겟, FFHQ에서의 무조건적 픽셀 공간 생성, CIFAR-10 조건부 생성, 그리고 COCO2014 를 사용한 Stable Diffusion 3.5를 이용한 잠재 확산 등 다양한 환경에서 평가되었습니다.
평가 결과, RASS는 D-GRS 대비 전반적인 성능 향상을 보였으며, 특히 컴퓨팅 예산을 맞춘 CIFAR-10 조건부 생성 환경에서 약 20%의 개선을 달성했습니다.
용어 풀이
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 프롬프트
- AI에게 주는 지시나 질문 글.
RASS는 어떤 원리로 작동하나요?
랭크 인식 추측 샘플링(RASS)은 랭크 인식 리스트 커플링을 기반으로 검증 규칙을 사용해요. 초안 후보들을 제안-타겟 평균 변위를 따라 순서화하고, 선택된 후보가 타겟과 최대 결합되도록 가중치를 최적화하여 정확한 샘플링을 보장해요.
성능 개선 정도는 어느 정도인가요?
RASS는 D-GRS 대비 전반적인 성능 향상을 보여주었어요. 특히 컴퓨팅 예산을 맞춘 CIFAR-10 조건부 생성 환경에서는 약 20%의 개선을 달성했어요.
어떤 다양한 환경에서 테스트되었나요?
Gaussian 혼합 타겟, FFHQ에서의 무조건적 픽셀 공간 생성, CIFAR-10 조건부 생성, 그리고 COCO2014 프롬프트를 사용한 Stable Diffusion 3.5를 이용한 잠재 확산 등 다양한 환경에서 평가되었어요.