온디바이스 AI를 위한 초경량 자동화 모델 'Needle 3'
Show HN: Cactus Needle 3: 8-29MB automation models can match DeepSeek V4 Flash
Hacker News한눈에, Needle 3는 단순 대화를 넘어 도구 호출(Tool Call)과 구조화된 데이터 추출을 통해 실제 행동까지 수행하는 차세대 온디바이스 AI 모델입니다.
- 핵심은 '지능 사다리(Intelligence laddering)' 아키텍처로, 크기를 자유롭게 조절하여 9~29MB 수준으로 경량화하면서도 대형 LLM급의 고성능을 구현했습니다.
- 왜 봐야 하나? 스마트홈, 로봇, 웨어러블 등 저전력 기기에서도 인터넷 연결 없이 복잡한 명령을 처리할 수 있어 실생활 활용도가 매우 높습니다.
- 체크 포인트는 도구 설명을 명확히 하고, 응답에 포함된 신뢰도 점수(confidence score)를 기반으로 실행 여부를 판단하는 것이 핵심입니다.
Needle 3는 단순한 대화를 넘어 도구 호출(Tool Call)과 구조화된 데이터 추출을 통해 실제 행동까지 수행하는 자동화 모델입니다. 이 모델의 핵심은 '지능 사다리(Intelligence laddering)' 아키텍처에 있습니다. 개발자는 2개 레이어(2L)부터 최대 20개 레이어(20L)까지 크기를 선택할 수 있으며, 이를 통해 9MB에서 29MB 사이의 CQ2-bit 바이너리를 생성합니다. 이 경량화된 구조는 특정 다운스트림 작업에 (fine-tuning)될 경우 DeepSeek V4 Flash와 같은 대형 모델과 유사한 성능을 구현할 수 있습니다.
이러한 기능은 스마트홈, 로봇 공학, 웨어러블 기기 등 저전력 환경에서 특히 유용합니다. 예를 들어, 사용자가 "침실 조명을 어둡게 하고 잠그라"고 말하면, 허브를 거치지 않고 오프라인 상태에서 두 개의 호출이 실행될 수 있습니다. 또한, 이 모델은 단순히 명령을 수행하는 것을 넘어, 지난 주말 사진으로 앨범을 만들거나, 영수증 같은 비정형 텍스트에서 공급업체명, 총액 등 구조화된 데이터를 추출할 수 있습니다.
Needle 3는 신뢰도 기반의 호출 시스템을 갖추고 있어 안정성이 높습니다. 모든 응답에는 `confidence` 점수가 포함되며, 이 점수를 기준으로 모델이 제안한 함수 호출(function_calls)을 즉시 실행할지, 사용자에게 보여주고 확인받을지, 아니면 아예 거부할지를 결정합니다. 또한, 개발자는 도구 설명(tool descriptions)을 명확하게 작성하는 것이 중요하며, 특정 패턴에 반드시 도구가 작동해야 하는 경우 `triggers`를 추가하여 요청이 항상 해당 도구로 라우팅되도록 할 수 있습니다.
개발자들은 이 모델을 맞춤화할 수 있도록 설계되었습니다. 기본 Python 패키지를 통해 방식으로 전체 20개 레이어의 베이스 모델에 미세 조정(fine-tuning)한 후, 원하는 서브네트워크를 선택하여 특정 제품의 도구에 최적화된 경량 버전을 만들 수 있습니다. 이 과정은 `needle build` 명령어를 사용하여 macOS, Linux, Android 등 다양한 플랫폼용 엔진과 를 배포할 수 있도록 지원합니다.
용어 풀이
- 온디바이스
- 서버를 거치지 않고 휴대폰이나 PC 안에서 직접 돌아가는 AI.
- 미세 조정
- 이미 학습된 모델을 특정 목적의 데이터로 조금 더 학습시키는 일.
- LoRA
- 모델 전체 대신 작은 추가 부분만 학습시켜 적은 비용으로 미세 조정하는 기법.
- 가중치
- 학습으로 정해진 모델 내부의 숫자 값. 내려받는 모델 파일의 본체예요.