리서치 연구
Scale-QLoRA: Code-Invariant Adapter Merging for Native 4-bit Microscaling LLMs
ARarXiv
기존 LoRA 어댑터를 네이티브 4비트 마이크로스케일링 모델에 병합할 때 발생하는 양자화 규격 종속성 및 정확도 손실 문제를 해결합니다.
세 줄 요약
- Scale-QLoRA는 전체 가중치 대신 네이티브 형식의 블록별 스케일 필드만 적응시키고 나머지 코드를 보존하여 '코드 불변성'을 확보하는 것이 핵심입니다.
- 이 방식은 정확도 손실 없이 모델 라이프사이클 전반에 걸쳐 완벽한 롤백과 코드 중복 제거를 가능하게 하며, 스케일 교체 속도를 대폭 향상시킵니다.
- 기존 방식 대비 구조적 안정성이 높지만, 근사화 구현 방식에 따라 측정 작업에서 약 1%p의 오차 발생 가능성(민감도 범위)이 보고되었습니다.
기존 LoRA 어댑터를 네이티브 4비트 마이크로스케일링 모델에 병합할 때 발생하는 양자화 규격 종속성 및 정확도 손실 문제를 해결합니다.