Omni-Embed-Mini: 다양한 모달리티를 위한 소형 임베딩 모델
Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation
arXivOmni-Embed-Mini는 텍스트, 음성, 이미지 등 다양한 형태의 데이터를 하나의 공유 공간에 매핑하는 고효율 소형 임베딩 모델입니다.
이 모델은 텍스트, 이미지, 음성 등 다양한 형태의 데이터를 하나의 공간에 효율적으로 통합하면서도 기존 텍스트 검색 성능을 유지할 수 있게 해줘요.
- 가장 큰 특징은 파라미터 크기를 크게 늘리지 않으면서도 여러 모달리티를 통합하며 기존 텍스트 검색 성능을 유지했다는 점입니다.
- 기존 대규모 모델 대비 훨씬 효율적이며, 2.3B 변형 버전은 구글의 제미나이 임베딩과 경쟁할 만큼 높은 전반적인 성능을 입증했습니다.
- 모델이 텍스트 쪽 파라미터를 업데이트하지 않고 모달리티를 확장하는 방식을 채택하여, 추가 학습 과정에서도 원본 텍스트 검색 능력이 저하되지 않도록 설계되었습니다.
텍스트 모델을 새로운 모달리티에 확장할 경우 일반적으로 텍스트 검색 품질이 저하되는 문제가 있습니다. 이에 Omni-Embed-Mini는 이러한 문제를 해결하기 위해 개발된 0.9B 규모의 모델입니다. 이 모델은 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서 등 다양한 형태의 데이터를 단일 공유 코사인 공간에 매핑하며, 과정 중 원본 텍스트 측 파라미터를 업데이트하지 않는 것이 특징입니다.
Omni-Embed-Mini의 핵심 아이디어는 교사 신호(teacher signal)를 위해 별도의 임베딩 모델이 필요 없다는 것입니다. 대신 각 미디어 샘플은 밀집된 캐스케이드 캡션과 쌍을 이루며, 이 캡션에 대한 목표값은 고정된 백본 자체의 임베딩으로 사용됩니다. 이러한 구조 덕분에 모달리티 인코더에는 경량 프로젝터와 단계적 어댑터만 적용하여 정렬이 가능하며, 텍스트 는 백본과 비트 단위로 동일하게 유지됩니다.
Omni-Embed-Mini-0.9B 모델은 다섯 가지 추가 모달리티를 통합했음에도 불구하고 원본 텍스트 검색 품질을 유지했으며, MTEB-v2 BEIR-8에서 49.57 nDCG@10 성능을 기록했습니다. 이 모델은 비교 대상인 모든 임베더보다 크기가 훨씬 작아 높은 효율성을 입증했습니다.
나아가 2.3B 변형 버전으로 확장할 경우, 구글의 제미나이 임베딩-2와 경쟁하는 수준의 전반적인 모달리티 평균 성능을 보여주었습니다. 이 모델은 다양한 데이터를 통합하면서도 파라미터 크기를 효율적으로 유지하여 높은 범용성을 확보했습니다.
용어 풀이
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- LoRA
- 모델 전체 대신 작은 추가 부분만 학습시켜 적은 비용으로 미세 조정하는 기법.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.
- 오픈 소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
다양한 데이터를 통합할 때 텍스트 검색 품질 저하 문제가 있나요?
네, 일반적으로 텍스트 임베딩 모델을 새로운 모달리티에 확장하면 원본 텍스트 검색 품질이 저하되는 문제가 발생해요. Omni-Embed-Mini는 이러한 문제를 해결하기 위해 개발되었어요.
여러 모달리티를 추가하면서 성능 저하 없이 어떻게 작동하나요?
이 모델은 원본 텍스트 측 파라미터를 업데이트하지 않는 것이 특징이에요. 또한, 모달리티 인코더에는 경량 프로젝터와 단계적 LoRA 어댑터만 적용하여 정렬이 가능하고, 텍스트 가중치는 백본과 비트 단위로 동일하게 유지돼요.
다른 오픈 소스 임베딩 모델과 비교했을 때 어떤가요?
Omni-Embed-Mini-0.9B 모델은 다섯 가지 추가 모달리티를 통합했음에도 원본 텍스트 검색 품질을 유지했고, 비교 대상인 모든 오픈 소스 임베더보다 크기가 훨씬 작아 높은 효율성을 입증했어요. 또한 2.3B 변형 버전은 구글의 제미나이 임베딩-2와 경쟁하는 수준의 전반적인 성능을 보여주었어요.