LLM 하니스의 특화도와 커버리지 분리 평가 연구

자동으로 생성된 LLM 하니스가 과제 특화도를 높여 추론 성능을 개선하는지 검증하기 위해 통제된 평가가 도입되었습니다. 이 평가는 답변 커버리지, 반복 가능한 작업의 장점, 그리고 사전 실행 선택에서 얻는 이점을 분리하여 측정했습니다. 연구진은 386개의 MATH-500 과제를 대상으로 총 여덟 개의 생성된 하니스와 기준선(baseline)을 비교 분석하며 실험을 진행했습니다.

실험 결과에 따르면, 생성된 프로그램들은 반복적인 점수 패턴을 보였으나 이는 주로 지속적인 약점을 드러냈습니다. 특히 100개 과제에서 기준선 대비 손실이 세 번의 반복 실행 모두에 걸쳐 지속되었으며, 꾸준한 이점은 단 하나의 과제에서만 관찰되고 답변 추출 방식에 민감하게 반응하는 것으로 나타났습니다.

이러한 분석 결과는 단순히 커버리지와 반복 가능성만을 가지고 LLM 특화 효과가 유효하다고 주장하기 어렵다는 점을 명확히 보여줍니다. 따라서 하니스의 다양성을 평가하는 새로운 기준이 필요하며, 과제 이점은 여러 실행에 걸쳐 지속되어야 하고, 제한된 추론 예산 내에서 사용 가능한 의사결정을 안내하며, 고정된 프로그램 실행 대비 성능 개선을 입증해야 합니다.