리서치 연구
3차원 비전-언어 모델(VLM) 개요 및 활용
An overview of 3D Vision-Language Models
arXiv기존의 작업별 3D 모델들이 가진 한계를 극복하기 위해, 텍스트와 이미지를 활용하여 3차원 공간을 이해하고 추론하는 '3D 비전-언어 모델(3D VLM)'이 등장했습니다.
세 줄 요약
- 이 모델들은 CLIP 기반 대조 학습으로 3D 임베딩을 이미지/텍스트 표현과 정렬하며, 제로샷 분류나 모달 간 검색 같은 강력한 기능을 지원합니다.
- 단순 객체 인식 수준을 넘어, 언어 지침에 따라 3차원 형태를 생성하거나 로봇 공학 등 실제 환경 구현(Embodied AI)까지 가능하게 합니다.
- 3D Gaussian splatting이나 대규모 언어 모델 결합 등 빠르게 발전하는 최신 다중 모드 프레임워크의 개념을 포괄적으로 이해해야 할 시점입니다.
기존의 딥러닝 기반 3D 모델들은 분류, 분할 또는 탐지 등 특정 작업에 국한되어 학습되는 경향이 있어, 텍스트나 이미지를 질의로 사용하여 공간에서 모달 간 검색을 자연스럽게 지원하지 못하는 한계가 있었습니다. 이러한 문제를 해결하기 위해 Contrastive Language-Image Pretraining (CLIP) 기반 방법론들이 등장하여, 3D 임베딩을 사전 학습된 이미지 및 텍스트 표현과 정렬시키는 방식이 사용되었습니다.
이를 통해 탄생한 3D 비전-언어 모델(3D s)은 분류, 모달 간 검색, 그리고 3D 형태의 개방형 어휘 인식 기능을 지원합니다. 본 자료는 이러한 3D VLM에 대한 전반적인 개요를 제공하며, 다중 모드 임베딩 정렬을 위한 대조 학습 정의부터 최신 프레임워크와 3D 비전-(3D VLLMs)까지 폭넓게 다룹니다.
최근 연구는 단순한 객체 인식 수준을 넘어, 가우시안 스플래팅이나 3D 형태 생성과 같은 고급 주제를 포괄하고 있습니다. 특히 로봇 공학 분야에서는 언어 지침에 따라 3차원 환경을 이해하고 상호작용하는 체화된 AI(Embodied AI) 구현까지 가능하게 하는 방향으로 발전하고 있습니다.
용어 풀이
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 제로샷
- 예시를 하나도 주지 않고 바로 과제를 시키는 방식.
- VLM
- 이미지와 글을 함께 이해하는 모델.
- 멀티모달
- 글뿐 아니라 이미지·음성·영상처럼 여러 형태의 입력을 함께 다루는 것.
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.