리서치 연구
From Static to Dynamic: Benchmarking Real-World Code Review with MCR-Bench
ARarXiv
실제 코드 리뷰는 여러 차례 상호작용하는 복잡한 과정이지만, 기존 LLM들은 이를 단순하고 정적인 작업으로 처리해왔습니다. 이에 연구진은 현실적 다단계 과정을 반영하여 결함 상태를 고려한 벤치마크 MCR-Bench를 개발했습니다.
세 줄 요약
- MCR-Bench 실험 결과, 주류 LLM들은 상호작용 라운드가 늘어날수록 성능이 급격히 저하되며 전반적인 결함 탐지 능력이 떨어지는 것이 확인되었습니다. 특히 복잡하거나 중요도가 낮은 결함을 놓치는 경향도 두드러졌습니다.
- 이는 LLM이 단순한 코드 검토를 넘어, 시간의 흐름에 따른 결함의 진화 과정과 장기적인 맥락을 이해하는 능력이 필수적임을 보여줍니다. 이는 AI 기반 개발 도구 개선의 핵심 과제입니다.
- 연구진은 LLM의 근본적 약점으로 라운드 간 시간적 불일치와 장기 기억력 부족을 지적하며, 실제 현업 적용을 위해서는 이러한 맥락 유지 능력을 보완하는 연구가 필요하다고 강조했습니다.
실제 코드 리뷰는 여러 차례 상호작용하는 복잡한 과정이지만, 기존 LLM들은 이를 단순하고 정적인 작업으로 처리해왔습니다. 이에 연구진은 현실적 다단계 과정을 반영하여 결함 상태를 고려한 벤치마크 MCR-Bench를 개발했습니다.