확산 모델의 목표 지향적 제어 프레임워크 COFFEE
Grab a Coffee: Future-Aware Guidance for Discrete Diffusion with Compiled Objectives
arXiv이산 확산 모델의 병렬 토큰 생성 과정에서 발생하는 복잡한 가이딩 문제를 해결하는 COFFEE 프레임워크를 제안합니다.
- COFFEE는 모든 조합을 나열하는 계산적 복잡성을 피하고, 상태 기반 모델과 결합하여 전역적인 선호도를 미해결 위치에 효과적으로 전달합니다.
- 목표 조건을 평가 단계가 아닌 추론 과정 자체에 통합함으로써, 사전 학습된 생성 모델의 제어력과 최적화 가능성을 혁신적으로 높였습니다.
- 상징, 언어, 생물학 등 다양한 분야에서 검증되었으며, 작업 특성에 맞는 품질 및 다양성 제어를 강력하게 입증했습니다.
이산 은 을 순차적으로 해소하며 시퀀스를 생성하는 방식으로, 기존 방식에 유연한 대안을 제공합니다. 그러나 이 과정에서 시퀀스 레벨의 목표(objective)로 가이딩하기는 어렵습니다. 이는 하나의 미해결 토큰 값이 다른 토큰들과 결합하여 높은 보상을 얻는 순서에 의존하기 때문이며, 모든 가능한 조합을 나열할 경우 계산량이 기하급수적으로 증가하는 문제가 발생합니다.
연구진은 이러한 문제를 해결하기 위해 COFFEE라는 프레임워크를 제안했습니다. COFFEE는 시퀀스 의존성을 목표로부터 분리하여 처리하며, 각 확산 단계마다 타겟-프리 캐리어가 디노이저가 예측한 주변 토큰 분포를 흡수해 미해결 토큰에 대한 공동 모델을 구축합니다. 동시에 컴파일된 유한 상태 모델(compiled finite-state model)은 이들의 조합이 시퀀스 레벨 선호도에 어떻게 영향을 주는지 기록하여, 전역적인 선호도를 미해결 위치로 전달할 수 있게 합니다.
COFFEE의 주요 특징 중 하나는 목표 조건을 평가 단계가 아닌 추론 과정 자체에 활용 가능하다는 점입니다. 이를 통해 사전 학습된 신경 생성 모델에 결합 조건(joint conditioning), 완성 기반 가이딩, 최적화 기반 제약 등을 통합할 수 있습니다. 이 프레임워크는 상징적, 언어적, 생물학적 등 다양한 에서 평가되었으며, 작업 특성에 맞는 품질과 다양성 간의 트레이드오프를 강력하게 입증했습니다.
용어 풀이
- 확산 모델
- 잡음에서 시작해 조금씩 다듬으며 이미지나 영상을 만들어 내는 생성 모델.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.