데이터 교란 학습을 통한 기계 모델 '잊기' 기능 연구 결과
Do Influence-Derived Data Perturbations Enable Machine Unlearning? A Controlled Study of Three Plausible Roles
arXiv연구진이 데이터 교란 학습(DPL)을 이용해 AI 모델의 '잊기' 기능 구현 가능성을 검증했으나, 기대에 미치지 못하는 결과를 얻었습니다.
- 엄격한 테스트 결과, DPL은 데이터 삭제 기준을 충족하지 못했으며, 단순 초기화 방식보다 성능이 떨어지는 것으로 확인되었습니다.
- 이는 AI 모델의 개인정보 보호 및 데이터 통제권을 확보하는 데 있어 기존 교란 기반 접근법에 대한 재검토가 필요함을 시사합니다.
- 다만, 이번 연구는 무작위 인스턴스 삭제에 국한되므로, 영향 기반 방법론이 다른 형태의 데이터 삭제 환경에서는 유효할 가능성이 남아있습니다.
연구진은 데이터 교란 학습(Deep Perturbation Learning, DPL)이 AI 모델의 '잊기'(Machine Unlearning) 기능을 구현할 수 있는지 검증했습니다. DPL은 훈련 이미지와 레이블을 영향 기반 방향으로 교란시키는 방식이며, 이 연구에서는 세 가지 가능한 역할—직접 삭제 신호, 유틸리티 보존 정규화자, 적대적 잊기를 위한 초기 시작점(warm start)—에 초점을 맞춰 테스트를 진행했습니다. 연구팀은 각 역할을 독립적으로 검증하기 위해 매칭된 프로토콜과 정확한 시드 재훈련 기준선을 사용했습니다.
공개된 구현 코드를 감사한 결과, 두 가지의 정확성 문제가 발견되었습니다. 첫째, 이미지 방향이 증강되고 정규화된 텐서로 계산되었으나 원본 이미지에 적용되는 문제였고, 둘째는 레이블 교란 값이 float32 해상도 이하로 떨어져 레이블 변화가 없는 문제였습니다. 이러한 파이프라인 수정 후에도 DPL은 CIFAR-10/ResNet-18에서 세 가지 쌍별 시드 모두에서 직접 삭제 기준을 충족하지 못하는 것으로 나타났습니다.
또한, DPL의 유틸리티 효과는 시드에 따라 부호가 일관되지 않았으며, 방향 계산 시간이 포함될 경우 단순한 초기 시작점 기반 기준선보다 성능이 떨어지는 것으로 확인되었습니다. 연구팀은 무작위 인스턴스 삭제만을 다루었기 때문에, 영향 기반 방법론이 다른 데이터 삭제 환경에서는 유효할 가능성이 남아있다고 언급하며, 관련 평가 프로토콜과 감사 체크리스트를 공개했습니다.