AI 에이전트 뉴스
ProgramBench Vetted: Reverse Engineering from a Runnable Binary
HNHacker News
프로그램 실행 파일만 제공받아 코드를 재구성하는 'ProgramBench Vetted'가 50개의 새로운 태스크 세트를 발표했다.
세 줄 요약
- 태스크 설계 과정에 테스트 중복, 환경 품질 등을 위한 광범위한 통제 장치를 추가하여 신뢰성을 높였다.
- 이 태스크는 에이전트가 단순히 코드를 기억하는 것이 아니라, 관찰된 동작을 바탕으로 프로그램을 재구성하도록 요구한다.
- 태스크는 '조정된 난이도'를 목표하며, 평가 과정에서는 원본 소스 코드와 Git 기록을 제거한다.
프로그램 실행 파일만 제공받아 코드를 재구성하는 'ProgramBench Vetted'가 50개의 새로운 태스크 세트를 발표했다.