텍스트-이미지 생성 AI의 안전 필터링 한계 분석 및 개선 방안
Keep It CALM: Analyzing the Limits of Global Unsafety in Text-to-Image Generation
arXiv텍스트를 이미지로 변환하는 AI의 안전 필터링은 전역적(global) 접근 방식에 근본적인 한계가 있음을 분석했습니다.
텍스트를 이미지로 변환하는 AI가 안전성을 확보하면서도 사용자의 창작 활동 자유도를 높일 수 있는 새로운 기술적 대안을 제시했어요.
- 연구진은 전체 프롬프트를 일괄 차단하는 대신, 위반된 토큰만 찾아 최소한으로 교정하는 'CALM'이라는 국지적 안전장치를 제안했습니다.
- 이 기술은 유해 콘텐츠 차단 효과를 높이면서도, 사용자가 의도한 정상적인 창작 활동의 자유도를 최대한 보존할 수 있습니다.
- 기존 방식은 안전 범위를 넓히려 할수록 무해한 명령어까지 왜곡시키는 '커버리지-선택성 상충 관계'가 존재합니다.
텍스트를 이미지로 변환하는 과정에서 사용되는 트레이닝 프리 안전장치들은 보통 위험한 방향이나 전역적인 유해 영역과 같은 재사용 가능한 단일 안전 신호에 의존합니다. 연구진은 이러한 전역적 안전성 가정을 제어된 기하학적 분석을 통해 검토했으며, 그 결과 '커버리지-선택성 상충 관계(coverage-selectivity trade-off)'가 존재함을 밝혀냈습니다. 즉, 좁은 범위의 위험한 부분 공간으로는 이질적인 유해 의미를 모두 포괄하기 어려우며, 안전 범위를 넓히려고 할수록 무해하지만 안전과 인접한 까지 왜곡시키는 경향이 나타납니다.
이러한 분석을 바탕으로 연구진은 CALM(Counterfactual Adaptive Local Modulation)이라는 새로운 트레이닝 프리 안전장치를 제안했습니다. CALM은 기존의 균일한 전역 제거 방식을 대체하여, 프롬프트 단위로 국지적인 반사실적 교정(prompt-local counterfactual correction)을 수행합니다. 이 방식은 일괄적으로 필터링하는 대신, 각 프롬프트를 활성 위험 범주로 라우팅하고 위반된 표현만을 최소한으로 안전한 방향으로 수정하며, 긍정적으로 정렬된 유해 잔여 성분은 억제합니다.
광범위한 평가 결과에 따르면, CALM은 무해한 활용도를 유지하면서도 위험 콘텐츠를 효과적으로 억제하는 것이 가능함을 입증했습니다. 이는 국지적인 반사실적 교정이 전역적인 안전 신호 제거 방식보다 더 선택적이고 우수한 대안이 될 수 있음을 보여줍니다.
용어 풀이
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
기존 AI 안전 필터링의 근본적인 한계는 무엇인가요?
현재의 안전장치들은 위험한 영역을 포괄하기 위해 전역적이고 단일한 신호에 의존하는데, 이 때문에 안전 범위를 넓히려고 할수록 무해한 명령어까지 왜곡시키는 '커버리지-선택성 상충 관계'가 발생해요.
제안된 'CALM' 기술은 어떻게 작동하나요?
CALM은 전체 프롬프트를 일괄적으로 필터링하는 방식 대신, 각 프롬프트가 위험한 범주로 라우팅되면 위반된 토큰 표현만을 찾아 최소한으로 안전하게 수정하는 국지적 교정 방식을 사용해요.
CALM 기술의 가장 큰 장점은 무엇인가요?
광범위한 평가 결과에 따르면, CALM은 위험 콘텐츠를 효과적으로 막아내면서도 사용자가 의도하는 무해한 활용도를 유지할 수 있음을 입증했어요.