공정성 고려 모델 압축을 위한 에이전트 프레임워크
FairCompressAgent: An Agentic Framework for Fairness-Aware Model Compression for FPGA Deployment
arXiv공정성(Fairness)을 고려한 모델 압축은 정확도, 공평성, 배포 비용 간의 균형 맞추기가 어렵습니다. 연구진은 이 문제를 해결하기 위해 에이전트 기반 프레임워크인 FairCompressAgent(FCA)를 제안했습니다.
- 실험 결과, FCA는 정확도 제약 조건 하에서 모델 저장 공간을 59.54% 줄이는 동시에 평균 정밀도를 높이고 공평성 지표(EOpp)까지 개선하는 성과를 입증했습니다.
- 이 프레임워크의 핵심은 단순히 압축에 그치지 않고, 사용자의 요구사항 변화와 측정된 피드백을 반영하여 반복적인 미세 조정으로 최적 설정을 찾아낸다는 점입니다.
- FCA는 모델 프로파일과 실시간 피드백 기반으로 작동하며, 요청이 불가능할 경우에도 남은 위반 정도를 보고하는 안정적이고 상호작용적인 워크플로우를 제공합니다.
모델 압축 과정에서 정확도, 공평성(Fairness), 그리고 배포 비용 간의 균형을 맞추는 것은 복잡하며, 특히 여러 압축 방법론이 조합되거나 사용자의 요구사항이 변경될 경우 결정이 더욱 어려워집니다. 본 논문에서는 이러한 문제를 해결하기 위해 FairCompressAgent (FCA)라는 기반 프레임워크를 제안합니다. FCA는 공정성 인식 가지치기(pruning), 증분 (incremental quantization), 그리고 희소 저랭크 분해(sparse low-rank factorization)를 공통 연산자 인터페이스를 통해 통합합니다.
FCA의 작동 방식은 언어 모델 플래너가 모델 프로파일과 측정된 결과를 활용하여 최적의 압축 구성을 선택하는 것입니다. 이후 실행 계층이 실제 압축, (fine-tuning), 평가 및 제약 조건 기반 선택을 수행합니다. 이 프레임워크는 사용자의 요구사항 업데이트를 지원하며, 요청을 만족시킬 수 없을 경우에도 남은 위반 정도를 보고하여 안정적이고 상호작용적인 워크플로우를 제공하는 것이 특징입니다.
Fitzpatrick-17k 데이터셋과 VGG-11 모델에 대한 실험 결과, FCA는 정확도 제약 조건 하에서 4가지 검색 방법을 비교했습니다. 그 결과, 압축된 모델은 추론 텐서 저장 공간을 59.54% 줄이는 동시에, 검증 평균 정밀도를 0.5141에서 0.5233으로 높였고 공평성 지표인 EOpp를 0.2251에서 0.2168로 감소시키는 성과를 입증했습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.