비디오 언러닝 기술 FADE: 다중 개념 삭제 및 안전성 확보
FADE: Frame-Aware Diffusion-Transformer-based Multi-Concept Erasure for Video Unlearning
텍스트-비디오(T2V) 확산 모델이 저작권 침해나 유해 콘텐츠를 재생성하는 문제를 해결하기 위해, 모든 프레임을 고려하여 특정 개념을 제거하는 'FADE'라는 다중 개념 비디오 언러닝 기술이 제안되었습니다.
AI 영상 생성 기술이 발전하면서 저작권 침해나 유해 콘텐츠 재생성 문제가 커지고 있어요. 이 기술은 특정 개념을 정교하게 제거하면서도 핵심 기능을 보존하여 안전한 산업 표준을 제시하는 데 중요해요.
- FADE는 프레임 인덱스와 노이즈 단계를 결합한 개념별 어댑터를 학습해 잔여 누출까지 효과적으로 제거하며, 최대 30개에 달하는 여러 민감 개념도 동시에 지울 수 있습니다.
- AI 영상 생성 기술의 발전과 함께 콘텐츠 윤리 및 안전성 확보가 중요해지면서, 특정 개념을 정교하게 제거하고 핵심 기능을 보존하는 이 기술은 산업 표준 제시의 중요한 기준이 될 전망입니다.
- FADE는 프레임 단위의 높은 제어력을 보여주지만, 성능 검증은 특정 백본 모델과 벤치마크를 기반으로 이루어졌으며 다중 개념 처리 시 복잡도가 높아질 수 있습니다.
텍스트-비디오(T2V) 이 저작권 침해, 폭력적이거나 노골적인 콘텐츠를 재생성할 수 있는 문제가 제기되면서, 특정 개념을 제거하는 '개념 삭제(concept erasure)' 기술이 중요해지고 있습니다. 기존의 T2V 개념 삭제 방법들은 프레임에 구애받지 않는 억제 방식 때문에 고립된 프레임에서 제거된 개념이 다시 나타나는 '프레임 재활성화 간극'을 남기거나, 보통 하나의 목표 개념만을 대상으로 평가한다는 한계가 있었습니다.
이에 FADE(Frame-Aware Diffusion Erasure)라는 다중 개념 비디오 언러닝 프레임워크가 제안되었습니다. FADE는 먼저 모든 목표 개념을 억제하는 공동 폐쇄형 키/값 편집(joint closed-form key/value edit)을 적용합니다. 이후, 프레임 인덱스와 디노이징 시간 단계에 의해 강도가 조절되는 개념별 프레임 인식 저랭크 어댑터(low-rank adapters)를 학습하여 잔여 개별 프레임 누출까지 제거하는 것이 핵심입니다. 각 어댑터는 다른 목표의 를 하드 네거티브로 훈련되어 개념별 구성 요소가 분리되며, 유사도 기반 소프트 라우터를 통해 조합됩니다.
FADE를 사용하여 Wan2.1-T2V-1.3B 백본에서 16개 개념을 제거했을 때, 객체 의 잔여 정확도는 4.9%로 나타나 가장 강력한 기준선(baseline)인 15.5% 대비 개선되었습니다. 또한 VBench 평균은 비편집 모델과 0.9% 이내를 유지했으며, 최대 30개의 유명인사 신원까지 동시에 제거하는 등 여러 개념을 결합하거나 Wan2.1-T2V-14B, CogVideoX-2B와 같은 더 큰 백본 모델에서도 성능 우위를 입증했습니다.
용어 풀이
- 확산 모델
- 잡음에서 시작해 조금씩 다듬으며 이미지나 영상을 만들어 내는 생성 모델.
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
기존의 비디오 개념 삭제 기술에는 어떤 한계가 있었나요?
T2V 모델이 저작권 침해나 폭력적인 콘텐츠를 만들 수 있는 문제가 제기되면서, 기존 방법들은 제거된 개념이 프레임에서 다시 나타나는 '프레임 재활성화 간극'을 남기거나, 보통 하나의 목표 개념만을 대상으로 평가하는 한계가 있었어요.
FADE는 어떤 원리로 다중 개념 삭제를 수행하나요?
먼저 모든 목표 개념을 억제하는 공동 폐쇄형 키/값 편집을 적용해요. 이후 프레임 인덱스와 디노이징 시간 단계에 의해 강도가 조절되는 개념별 저랭크 어댑터를 학습하여 잔여 개별 프레임 누출까지 제거하는 것이 핵심이에요.
FADE 기술은 얼마나 많은 개념을 동시에 삭제할 수 있나요?
Wan2.1-T2V-1.3B 백본에서 16개 개념 제거 성능이 확인되었으며, 최대 30개의 유명인사 신원까지 동시에 제거하는 등 여러 개념 처리 능력을 입증했어요.