코딩 에이전트 성능 평가를 위한 하네스 설계 연구

본 연구는 자율 코딩 에이전트가 모델의 능력을 장기적인 소프트웨어 엔지니어링 성능으로 변환하는 방식을 분석하기 위해 '코딩 하네스'에 대한 실증적 연구를 수행했습니다. 기존 연구들이 하네스를 단일 시스템으로 평가했던 한계를 극복하고자, 실행 루프는 고정하고 계획(planning), 행동 공간(action space), 컨텍스트 관리(context management) 세 가지 구성 요소를 변화시키며 분석을 진행했습니다. 이 과정에서 SWE-Bench Verified와 Terminal-Bench 2.1 등 두 개의 벤치마크를 사용하여 총 176개의 매칭된 설정을 평가했습니다.

연구 결과, 컨텍스트 창 용량(context-window budget)이 제한적일수록 컨텍스트 관리가 더욱 중요해지며, 그 이점은 주로 컨텍스트 오버플로우 실패를 방지하는 데서 발생한다는 점을 확인했습니다. 또한, 컨텍스트 관리 전략 측면에서는 LLM 기반 요약 전에 규칙 기반의 생략(elision) 단계를 거치는 것이 가장 높은 전반적인 효율성을 보였습니다. 계획 기능은 약한 모델에게는 정확도를 위한 발판 역할을 하지만, 강한 모델에게는 비용 절감 역할로 변화하는 경향을 나타냈습니다.

추가적으로, 사전 정의된 도구(predefined tools)는 bash 숙련도가 낮은 모델의 성능을 향상시키는 데 도움을 주었습니다. 반면, bash 사용이 가능한 모델들은 bash 전용 인터페이스만으로도 효과적으로 작동할 수 있으며, 특히 명령줄 중심 작업에서 상당한 비용 절감 효과를 얻을 수 있었습니다. 이러한 분석은 컨텍스트 관리가 실행 궤적(execution trajectories)을 확장하고, 계획 기능이 궤적이 중단되는 지점에서 변화하며, 행동 공간이 코드가 작성되는 세밀도에 영향을 미친다는 점을 보여줍니다.