개발도구 연구
A Formal Methodological Framework for Auditing Robustness and Fidelity in Explainable AI: From Application to Trust Certification
ARarXiv
XAI 예측 결과가 얼마나 믿을 만한지 측정하기 위한 공식적인 감사 프로토콜을 구축했다.
세 줄 요약
- 이 프로토콜은 설명의 안정성(robustness)과 특징이 예측을 유도하는지 여부(fidelity)를 측정하여 신뢰 점수(Trust Score)로 결합한다.
- 모델이 과적합되면 신뢰 점수가 판별력을 잃고, AUC가 0.99를 넘는 모델도 정보력이 없는 설명을 만들 수 있다.
- SHAP와 LIME 같은 표준 도구는 입력이 작은 노이즈로 교란될 때 출력이 크게 변하는 문제가 있어 감사가 필요하다.
XAI 예측 결과가 얼마나 믿을 만한지 측정하기 위한 공식적인 감사 프로토콜을 구축했다.