개발도구 연구
Diff Mining: Logit Differences Reveal Finetuning Objectives
ARarXiv
Diff Mining은 파인튜닝된 모델의 로짓 차이를 비교하여 학습 목표를 밝히는 프레임워크이다.
세 줄 요약
- 이 방법은 기준 코퍼스에서 파인튜닝 모델과 기본 모델 간의 로짓 차이를 추출하고, 이를 토큰 집합으로 구성한다.
- Diff Mining은 기존 모델 디핑 방식보다 적은 정보만 필요하며, 파인튜닝 목표를 탐지하는 데 유용하다.
- 이 프레임워크는 파인튜닝 목적을 감지하는 감사 도구 개발에 가능성을 보여준다.
Diff Mining은 파인튜닝된 모델의 로짓 차이를 비교하여 학습 목표를 밝히는 프레임워크이다.