VISTA: 상호작용 환경에서 추론 능력을 높이는 시각적 구조체
VISTA: A Visual Harness for Reasoning in an Interactive World
연구진은 범용 멀티모달 모델이 복잡하고 상호작용적인 환경에서 장기적인 추론 능력을 발휘하도록 돕는 'VISTA'라는 시각적 구조체를 개발했습니다.
VISTA는 인공지능 모델이 복잡하고 상호작용하는 환경에서 과거의 정보를 잊지 않고 장기적으로 추론할 수 있게 도와줘요.
- 실제 테스트 결과, VISTA를 적용한 클로드 오퍼스 5.0은 ARC-AGI-3에서 만점(100.00)을 달성하며 인간 참가자 대비 압도적인 행동 효율성을 입증했습니다.
- VISTA는 설계가 단순하여 다양한 시각적 환경에 쉽게 확장 가능하며, 복잡한 비주얼 게임 및 퍼즐 등 멀티모달 에이전트 발전에 큰 잠재력을 제시합니다.
- 핵심은 과거의 모든 시각적 관찰 내용을 손실 없이 기억하고, 이를 추론 과정에서 능동적으로 재구성하여 활용할 수 있다는 점입니다.
연구진은 모델이 다양한 상호작용 환경에서 강력한 추론 능력을 발휘할 수 있도록 돕는 'VISTA'라는 시각적 구조체를 개발했습니다. VISTA는 범용 멀티모달 모델에 장기적인 비전(long-horizon vision)을 제공하며, 모델이 시각 관찰을 통해 환경을 직접 인지하고 과거의 모든 관찰 내용을 손실 없이 기억하는 시각 메모리를 유지할 수 있게 합니다.
VISTA를 사용하면 모델은 추론 과정에서 이전에 기록된 관찰 내용을 능동적으로 검색하고 재구성하여 시각적 입력을 조직화할 수 있습니다. 이러한 구조는 복잡한 비주얼 환경에서 의 성능을 향상시키는 핵심 역할을 합니다.
실제 테스트 결과, VISTA를 적용한 클로드 오퍼스 5.0은 ARC--3 에서 상대적 인간 행동 효율성 점수를 40.68점에서 만점인 100.00점으로 끌어올렸습니다. 또한, 이 모델은 첫 시도 인간 참가자보다 57.4% 적은 행동으로 25개의 공개 게임을 모두 완료하는 성과를 보였습니다.
VISTA는 설계가 단순하여 최소한의 적응만으로 다양한 시각적 환경에 자연스럽게 확장 가능합니다. 세 가지 추가 벤치마크에서도 유사한 기반 모델을 사용한 기존 방식보다 우수한 성능을 입증하며, 복잡한 비주얼 게임 및 퍼즐 등 멀티모달 에이전트 발전에 큰 잠재력을 보여줍니다.
용어 풀이
- 멀티모달
- 글뿐 아니라 이미지·음성·영상처럼 여러 형태의 입력을 함께 다루는 것.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- AGI
- 사람처럼 거의 모든 지적 작업을 해낼 수 있는 수준의 AI. 아직 합의된 정의는 없어요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.
VISTA는 어떤 역할을 하는 구조체인가요?
VISTA는 멀티모달 모델에 장기적인 비전을 제공하는 시각적 구조체예요. 이 구조를 통해 모델은 과거의 모든 시각 관찰 내용을 손실 없이 기억하고, 추론 과정에서 이를 능동적으로 검색하여 시각적 입력을 조직화할 수 있어요.
VISTA를 적용한 모델의 성능은 어땠나요?
ARC-AGI-3 벤치마크에서 만점인 100.00점을 달성했어요. 또한, 첫 시도 인간 참가자보다 훨씬 적은 행동으로 여러 공개 게임을 완료하는 성과를 보였어요.
VISTA는 어떤 환경에 적용할 수 있나요?
설계가 단순해서 최소한의 적응만으로 다양한 시각적 환경에 자연스럽게 확장 가능해요. 복잡한 비주얼 게임이나 퍼즐 등 멀티모달 에이전트 개발에 큰 잠재력을 보여줘요.