임베딩 공간을 이용한 얼굴 인식 신원 선택적 망각 기술
Damnatio Memoriae: Adversarially and Selectively Forgetting Identities in the Embedding Space of Face Recognition Models
arXiv얼굴 인식 모델은 임베딩 공간의 유사도를 이용해 신원을 연결합니다. 본 연구는 단순 데이터 삭제로는 불가능한, '개방형 적대적 망각' 기법을 제시했습니다.
- 저자들은 임베딩 공간 자체를 조작하는 방법을 제안했으며, 특히 근사 직교 프레임(orthonormal frame) 활용이 높은 망각 효과와 전반적인 성능 유지율을 동시에 달성함을 입증했습니다.
- 특정 인물의 신원만 선택적으로 제거하면서도 모델의 전체 인식 능력을 크게 저하시키지 않는다는 점에서, AI 시스템 보안 및 개인정보 보호에 중요한 의미를 가집니다.
- 이 기법은 임베딩 공간의 기하학적 구조 자체를 변경하기 때문에, 분류 목표와 함께 파인튜닝하는 과정이 필수적이며 기존 방법보다 우수합니다.
얼굴 인식 모델은 개인이 여러 시점에 촬영된 두 이미지를 유사도를 통해 연결합니다. 본 연구는 특정 인물의 신원을 다른 기기에서 관찰된 이미지와 분리하여 '개방형 적대적 망각(open-set adversarial forgetting)'을 구현하는 방법을 다룹니다. 단순히 해당 이미지를 삭제하고 모델을 재학습시키는 방식으로는, 훈련 과정에서 한 번도 관측되지 않은 신원까지 인식할 수 있기 때문에, 임베딩 공간 자체를 조작해야 합니다.
연구진은 세 가지 손실 함수를 제안하여 이 문제를 해결합니다. 첫 번째는 특정 인물의 임베딩을 해당 중심점(centroid)으로부터 분산시키는 방식이며, 나머지 두 가지는 각 이미지를 분류기 헤드(classifier head)를 사용하거나 미리 고정된 거의 직교적인 프레임에 매핑하는 것입니다. 이러한 손실 함수들은 분류 목표와 함께 각 신원의 이미지 하위 집합에 대해 됩니다.
이러한 임베딩 기하학적 구조에 작용하는 모든 망각 과정은 대상 신원을 거의 식별 불가능하게 만듭니다. 특히 직교 프레임만을 활용하는 방식만으로도 강력한 망각 효과를 달성하며, 이로 인해 비교에 들어온 이미지가 다른 독립적인 신원으로 남게 합니다. 이는 동시에 높은 유지율을 보이며 기존의 비지도 학습 방법보다 우수함을 입증했습니다.
용어 풀이
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 파인튜닝
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.