비전-언어 에이전트의 블랙박스 게임 복제 성능 평가 기준

기존 코딩 에이전트 벤치마크는 주로 목표 행동이 텍스트, 코드 또는 시연으로 명시된 경우에 구현 능력을 평가해왔다. 그러나 소스코드나 문서가 없는 블랙박스 환경에서, 오직 시각적 관찰과 능동적인 상호작용만으로 시스템의 규칙을 유추하고 이를 검증 가능한 실행 가능한 복제본으로 재현하는 것은 미개척 영역이다. 연구진은 이러한 문제를 해결하기 위해 GameReplica라는 폐쇄 루프 평가 프레임워크를 제시했다. 이 프레임워크는 인식, 탐색, 추론, 재현, 그리고 외부 프로그램에 의한 검증까지의 전 과정을 포괄한다.

GameReplica는 총 5가지 핵심 메커니즘을 아우르는 25개 게임으로 구성되어 있으며, 각 게임은 다섯 가지 난이도로 구현된 125개의 태스크를 포함한다. 에이전트는 타겟 게임에 오직 스크린샷과 액션 인터페이스만을 통해 접근해야 한다. 이 과정에서 에이전트는 픽셀 피드백과 상호작용 결과를 바탕으로 핵심 시각 요소와 게임 규칙을 유추하고, 외부 프로그램이 자동으로 검증할 수 있는 독립적인 실행 가능한 복제본을 생성하는 것이 목표다.

실험 결과에 따르면, 현재의 코딩 에이전트들은 블랙박스 환경에서의 종단 간(end-to-end) 복제 과정에서 상당한 어려움을 겪는 것으로 나타났다. 최고 성능 모델인 Claude Opus 4.8은 전체 점수 71.6%를 기록했으나, 나머지 모델들의 점수는 4.0%에서 42.9% 사이에 머물렀다. 분석 결과, 모든 모델에서 시각적 충실도(visual-fidelity) 점수가 구현 및 규칙 일관성 점수보다 현저히 높게 나타났다.

또한, 난이도가 높아질수록 성능 격차는 더욱 커지는 경향을 보였다. 약한 에이전트들의 경우 L1부터 L5까지 전체 점수가 급격하게 하락하는 반면, 최고 성능의 에이전트는 그 하락 폭이 상대적으로 작았다. 이는 에이전트들이 게임 규칙 자체의 일관성을 재현하기보다는 시각적 외형을 복제하는 데 더 능숙함을 보여준다.