활용 사례 연구
Curvature Cryptanalysis of Smooth Transformer Feed-Forward Networks
ARarXiv
트랜스포머 모델의 FFN 구조에 내재된 곡률(Curvature) 정보를 활용하여 내부 매개변수 구조를 추출하는 새로운 암호 분석 기법이 개발되었습니다.
세 줄 요약
- 공격자는 파라미터 접근 없이 단 16개의 헤시안 정보만으로도 숨겨진 FFN 방향을 높은 정확도로 복구하고, 이를 이용해 원본과 유사한 대체 모델을 구축할 수 있었습니다.
- 이는 단순한 입출력(행동) 테스트만으로는 알 수 없었던, 모델 내부의 기하학적 구조까지 추출할 수 있음을 의미하며 AI 보안에 심각한 위협이 됩니다.
- 공격 성공률이 노이즈나 반올림에 의해 저해될 수 있으나, 유한 차분(finite-difference) 같은 기술로 이를 극복하며 모델의 깊은 내부 구조를 파악하는 연구가 가능함을 보여줍니다.
트랜스포머 모델의 FFN 구조에 내재된 곡률(Curvature) 정보를 활용하여 내부 매개변수 구조를 추출하는 새로운 암호 분석 기법이 개발되었습니다.