개발도구 뉴스공식 자료2일 전 발표
초소형 기기용 경량 AI 모델 'Needle' 공개
cactus-compute/needle
GitHubCactus Compute가 모바일, 웨어러블 등 초소형 기기를 위한 경량 거대 모델(Foundation Model) 'Needle'을 공개했습니다.
세 줄 요약
- 단일 8~29MB의 작은 크기에도 불구하고 도구 호출, 구조화된 데이터 추출 등 복잡한 AI 작업을 높은 정확도로 처리합니다.
- 기기 자체에서 작동하는 경량화 기술 덕분에 인터넷 연결 없이도 신뢰성 높고 독립적인 AI 기능 구현이 가능해집니다.
- 사용자는 다양한 플랫폼에 맞춰 모델을 배포하고, 도메인 특화 기능을 위해 로컬 파인튜닝하여 활용할 수 있습니다.
Cactus Compute가 모바일, 웨어러블, 로봇, 마이크로컨트롤러 등 초소형 기기를 겨냥한 경량 거대 모델(Foundation Model)인 'Needle'을 공개했습니다. 이 모델은 단일 8~29 MB의 바이너리로 구성되었으며, 일반적인 대화 능력보다는 모바일 환경에서의 도구 호출 및 구조화된 데이터 추출에 강점을 보이도록 설계되었습니다.
Needle은 앱이 노출하는 함수를 기반으로 적절한 도구를 선택하고 사용자 발화에서 모든 인수를 채워 넣는 '도구 호출(Tool calls)' 기능을 제공합니다. 또한, 송장이나 예약 정보 같은 비정형 텍스트에서 구조화된 데이터를 추출할 때 높은 정확도를 보이며, 동일 모델로 로컬 검색을 위한 텍스트 벡터를 반환할 수 있습니다.
Needle의 아키텍처는 Laddered Simple Attention Network 기반으로 설계되었으며, 모든 깊이(2층부터 20층까지)가 배포 가능한 모델입니다. 사용자는 이 모델을 로컬에서 하여 도메인 특화 기능을 구현할 수 있으며, 각 플랫폼별로 최적화된 엔진을 다운로드하거나 빌드하여 사용할 수 있습니다.
용어 풀이
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 파인튜닝
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.