리서치 연구
이미지 생성을 활용한 새로운 시각적 추론 방법 제안
Reasoning with Image Generation
arXiv텍스트 기반 추론에 한계를 보이던 대규모 언어 모델(LLM)의 역량을 확장하고자, 이미지 생성 기술을 활용한 새로운 시각적 추론 방법 'ReImaGin'이 제안되었습니다.
세 줄 요약
- 기존처럼 정해진 기능만 사용하는 도구와 달리, ReImaGin은 자연어 명령을 받아 가려진 부분 제거나 평면도 생성 같은 개방형 작업을 수행하며 최대 25%의 성능 향상을 입증했습니다.
- 이는 AI가 단순히 이미지를 분석하는 것을 넘어, 사용자의 언어적 지시를 따라 시각 콘텐츠 자체를 유연하게 생성하고 변형할 수 있는 추론 능력을 갖추었음을 의미합니다.
- 다중 시점 공간 추론이나 충돌 예측 등 복잡한 시각 문제 해결에 효과적인 것으로 나타났으며, 생성 기반의 유연성이 핵심 강점으로 작용했습니다.
(LLM)은 텍스트 기반의 사고 과정( reasoning)을 통해 문제 해결 능력을 혁신적으로 발전시켰습니다. 하지만 이러한 추론 과정을 텍스트 영역에만 국한하는 것은 깊이 추정이나 객체 탐지 같은 시각적 표현의 직접적인 조작이 필요한 작업에는 한계가 있습니다.
연구진은 이미지 생성 모델을 다중 모드 LLM의 유연한 시각적 추론 메커니즘으로 활용하는 ReImaGin을 제안했습니다. 기존에 사용되던 고정 기능 도구들과 달리, ReImaGin은 자연어 명령어를 받아들여 가려짐 제거(occlusion removal)나 여러 개의 분리된 뷰로부터 평면도 생성과 같은 개방형 시각 작업을 수행할 수 있습니다.
ReImaGin은 다중 시점 공간 추론 및 충돌 예측을 포함한 여섯 가지 다양한 시각적 추론 과제에서 테스트되었으며, 텍스트만 이용한 추론 방식이나 전문 비전 도구 기반의 성능보다 최대 25%까지 높은 성능 향상을 보였습니다. 이는 생성 기반의 유연성이 복잡한 시각 문제 해결에 핵심적인 강점으로 작용함을 입증합니다.
용어 풀이
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- Chain-of-thought
- 답에 이르는 생각 과정을 단계별로 적게 해서 정확도를 높이는 방법.