신용 위험 모델의 데이터 변화 감지를 위한 감사 프로토콜
A Decision-Support Audit Protocol for Supervision Drift in Proxy-Labeled Credit-Risk Prediction
arXiv신용 위험 예측 모델의 데이터 변화(감독 드리프트)를 감지하기 위해 다중 신호 기반 감사 프로토콜을 제시했습니다.
- 이 프로토콜은 전이 성능, 오라클 간극 탐지 등 5가지 계층의 진단 요소를 활용하여 모델 불안정성을 체계적으로 분석합니다.
- 금융권 AI 시스템에서 모델 신뢰성 저하를 사전에 점검하고, 데이터 변화에 대응하는 중요한 방법론을 제공합니다.
- 다만, 미묘한 드리프트 감지에는 한계가 있으며, 진단 결과를 실제 운영 정책으로 연결하는 것은 개념적 가이드라인임을 유의해야 합니다.
신용 위험 예측 모델은 대리 레이블(proxy labels)을 기반으로 훈련된 후, 시간적 또는 세그먼트 변화가 발생하는 환경에서 배포됩니다. 기존에는 단일한 전이 지표만으로는 베이스율 이동, 확률 스케일 이동, 그리고 피처-레이블 관계 변화를 분리하여 측정하기 어려웠습니다. 이에 연구진은 이러한 감독 드리프트(supervision drift)를 감지하기 위해 다중 신호 기반의 감사 프로토콜을 설계했습니다.
이 감사 프로토콜은 전이 성능, 오라클 간극 탐지(oracle-gap probe), 보정 진단(calibration diagnostic), 피처-레이블 안정성, 그리고 합성 양성 제어(synthetic positive control) 등 총 다섯 가지 계층으로 구성되어 있습니다. 이 방법론을 공공 LendingClub 데이터셋에 적용하여 2013년부터 2016년까지의 시간적 전이와 교차 세그먼트 전이를 테스트했습니다.
테스트 결과, 순위는 안정적이었고 오라클 간극은 작게 나타났습니다. 가장 명확한 시간적 신호는 유병률과 확률 스케일의 불일치였으며, 이는 절편만 이용한 진단 재보정(recalibration)을 통해 상당 부분 감소하는 것으로 확인되었습니다. 다만, 양성 제어는 더 큰 규모로 주입된 변화에만 반응했기 때문에 미묘한 드리프트는 감지하기 어렵다는 한계가 있습니다. 또한, 이진단 패턴을 실제 거버넌스 조치와 연결하는 것은 개념적 가이드라인일 뿐 검증되지 않았습니다.