AI 에이전트 연구
보상 기반 에이전트 시스템을 활용한 광고 영상 생성
AgenticGen: Reward-Guided Agentic Video Generation for Advertising
arXiv단순한 영상 생성을 넘어, 실제 비즈니스 성과(CTR, CVR 등)를 최적화하는 광고 제작 시스템 'AgenticGen'이 개발되었습니다.
세 줄 요약
- 이 프레임워크는 전략 선택과 초안 생성을 분리하고 온라인 피드백을 보상으로 학습하여 정책을 개선했으며, 틱톡 테스트에서 주요 지표가 크게 향상된 것이 입증되었습니다.
- 향후 생성형 AI 비디오 모델은 단순한 시각적 사실성 구현을 넘어, 실제 마케팅 성과를 예측하고 최적화하는 방향으로 진화할 전망입니다.
- AI 기반 광고 시스템의 성능 극대화를 위해서는 온라인 비즈니스 피드백 외에도 인간이 정의한 품질 기준 등 다양한 보상 데이터가 필수적으로 요구됩니다.
광고 영상 제작은 단순한 비디오 합성 작업을 넘어, 온라인 비즈니스 지표로 성공 여부가 측정되는 제품 조건 기반의 추론 문제입니다. 기존의 비디오 파운데이션 모델들은 현실적인 클립 생성이 가능하지만, 실제 광고에 효과적으로 활용되거나 온라인 피드백을 통해 개선되는 방법을 최적화하지 못하는 한계가 있었습니다.
이러한 문제를 해결하기 위해 연구진은 보상 기반 프레임워크인 AgenticGen을 제안했습니다. 이 시스템은 광고 영상 생성을 '전략 선택'과 '초안 생성'의 두 가지 학습 가능한 추론 단계로 분해합니다. AgenticGen은 온라인 피드백에서 성능 기반 보상을 학습하고, 인간 품질 기준에 맞춘 루브릭 기반 보상까지 결합하여 정책 최적화에 활용합니다.
AgenticGen은 DPO와 GRPO를 통해 에이전트 정책을 개선하며, 오프라인 실험과 더불어 틱톡 광고 시스템에서의 온라인 A/B 테스트를 거쳤습니다. 이 결과, AgenticGen은 SFT(지도 ) 기준선 대비 CTR을 2.72%, CVR을 2.63%, Advv를 9.61% 향상시키는 것으로 나타났습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.