애플 LensVLM, 압축된 문서에서 핵심 맥락을 선별 확장하는 VLM
apple/LensVLM-9B
Hugging Face애플이 개발한 VLM 'LensVLM-9B'가 공개되었습니다. 이 모델은 고도로 압축된 텍스트 이미지에서 핵심 정보만을 선별적으로 확장하여 분석하는 것이 특징입니다.
- 단순히 이미지를 인식하는 것을 넘어, 사용자가 지정한 압축률에 맞춰 문서의 관련성 높은 부분만 선택적으로 복원해 깊이 있는 맥락을 파악합니다.
- 방대한 고압축 문서나 아카이브 자료를 다룰 때, 전체 데이터를 처리하지 않고 필요한 핵심 맥락만 추출하여 분석 효율성을 극대화할 수 있습니다.
- 사용을 위해서는 별도의 코드 클론 및 환경 설정이 필요하며, 모델과 소스 코드는 각각 다른 라이선스를 따르므로 조건을 반드시 확인해야 합니다.
애플이 개발한 Vision Language Model()인 LensVLM-9B가 공개되었습니다. 이 모델은 텍스트가 포함된 고도로 압축된 이미지를 스캔하며, 학습된 도구를 통해 관련성이 높은 페이지의 내용만을 선택적으로 복원하여 분석하는 것이 특징입니다. 이는 방대한 양의 문서나 아카이브 자료에서 필요한 핵심 맥락만 추출해 분석 효율성을 높이는 데 중점을 둡니다.
LensVLM을 사용하기 위해서는 별도의 코드 클론 및 환경 설정 과정이 필요합니다. 제공된 가이드에 따르면, 먼저 깃허브 저장소를 복제하고 의존성 패키지를 설치한 후 `scripts/run_demo.py`를 실행하여 기본 데모를 구동할 수 있습니다. 모델 파일과 소스 코드는 각각 'Apple Machine Learning Research Model License'와 'Apple Sample Code License'라는 별도의 라이선스를 따릅니다.
사용자는 커스텀 문서에 대해서도 추론을 수행할 수 있으며, 이때 `--compression` 옵션을 통해 `5x`, `10x`, 또는 `15x`의 압축률 중 하나를 지정할 수 있습니다. 예를 들어, 특정 텍스트 파일과 질문을 함께 입력하여 분석을 요청하는 방식으로 활용 가능하며, 자세한 데이터 준비 및 평가 방법은 공식 저장소 README를 참고해야 합니다.
용어 풀이
- VLM
- 이미지와 글을 함께 이해하는 모델.