모델 연구
When Models Edit Too Much: On the Fidelity of Minimal Code Edits
ARarXiv
대규모 언어 모델(LLM)이 코드를 수정할 때 단순히 버그를 고치는 것을 넘어, 불필요하게 많은 부분을 재작성하는 '과잉 편집' 문제가 광범위하게 발견되었습니다.
세 줄 요약
- 연구 결과, 코드 보존 지침을 추가하면 과잉 편집이 크게 줄고 성능까지 향상되는 것이 확인되었으며, 최소한의 수정 능력은 강화 학습(RL)으로 가장 효과적으로 습득됩니다.
- 이는 소프트웨어 개발 과정에서 코드 수정 품질 평가 기준이 단순 '작동 여부'를 넘어, 원본에 충실하고 간결하게 고치는 '편집 충실도'로 확장되어야 함을 시사합니다.
- 따라서 모델 성능 향상을 위해 단순히 크기나 추론 예산을 늘리기보다, 강화 학습 기반의 최소 편집 능력을 확보하는 것이 중요합니다.
대규모 언어 모델(LLM)이 코드를 수정할 때 단순히 버그를 고치는 것을 넘어, 불필요하게 많은 부분을 재작성하는 '과잉 편집' 문제가 광범위하게 발견되었습니다.