로컬 LLM 구동 엔진 ds4: 고용량 메모리 환경 최적화
From the creator of Redis; run LLM locally with ds4
Hacker NewsDwarfStar 4는 고용량 메모리를 갖춘 맥, CUDA, ROCm 환경에서 대규모 언어 모델(LLM)을 로컬로 구동할 수 있게 해주는 C 기반의 추론 엔진입니다.
이 엔진은 고용량 메모리를 활용해 초대형 언어 모델을 외부 서비스에 의존하지 않고 로컬에서 구동할 수 있게 해줘요.
- 비대칭 2비트 양자화 기술을 적용하여 전문가 혼합(MoE) 모델의 경로를 압축하면서도 핵심 기능을 유지, 초대형 모델을 실용적으로 운영하는 것이 핵심 강점입니다.
- 외부 서비스 의존성 없이 로컬 API 및 에이전트를 구축할 수 있으며, 긴 프롬프트를 SSD에 저장했다가 재개하는 기능으로 작업 효율성을 극대화합니다.
- 딥시크 V4/V4.1, GLM 5.x, Qwen3.8 등 최신 모델을 지원하며, 높은 성능 구현을 위해서는 M5 Max 128GB와 같은 고성능 하드웨어가 필수적입니다.
DwarfStar 4는 고용량 메모리를 갖춘 Mac, 및 ROCm 환경을 위한 C 기반 추론 엔진입니다. 이 엔진은 (LLM)을 로컬에서 구동하는 것을 목표로 하며, 특히 비대칭 2비트 기술을 적용하여 (MoE) 구조의 경로를 압축하면서도 핵심 기능을 유지합니다. 이러한 방식으로 초대형 모델이 고용량 메모리 장치에서도 실질적으로 작동할 수 있게 합니다.
ds4는 DeepSeek V4/V4.1, GLM 5.x, Qwen3.8 등 최신 모델을 지원하며, 텍스트 및 비전 모델에 대한 로컬 , CLI, 그리고 지속적인 코딩 세션을 위한 네이티브 를 하나의 스택으로 제공합니다. 또한, 긴 프롬프트 접두사(prefix)를 SSD에 저장하고 프롬프트 해시로 재개할 수 있어 작업 효율성을 높였습니다.
고성능 하드웨어 환경에서 ds4의 성능을 확인할 수 있습니다. 예를 들어, M5 Max 128GB 장치에서 q2 양자화 모델을 사용할 경우, 2,048 토큰 컨텍스트 길이에서 추론 속도는 39.4 T/S를 기록했습니다. 또한, DGX Spark 128GB 환경에서는 65,536 토큰의 긴 컨텍스트에서도 높은 성능(추론 속도 13.8 T/S)을 보여줍니다.
용어 풀이
- CUDA
- 엔비디아 GPU에서 계산 프로그램을 돌리게 해 주는 개발 플랫폼.
- 대규모 언어 모델
- 방대한 글을 학습해 문장을 이해하고 만들어 내는 AI 모델. ChatGPT, Claude, Gemini가 여기에 속해요.
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.
- 전문가 혼합
- 여러 하위 모델 중 일부만 골라 계산하는 구조. 모델이 커도 실행 비용을 줄일 수 있어요.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
초대형 언어 모델을 로컬에서 구동하는 핵심 기술은 무엇인가요?
비대칭 2비트 양자화 기술을 적용하여 전문가 혼합(MoE) 구조의 경로를 압축하면서도 핵심 기능을 유지할 수 있어요. 이러한 방식으로 초대형 모델이 고용량 메모리 장치에서도 실질적으로 작동하게 돼요.
어떤 최신 대규모 언어 모델들을 지원하나요?
DeepSeek V4/V4.1, GLM 5.x, Qwen3.8 등 여러 최신 모델을 지원해요. 또한, 로컬 API와 네이티브 에이전트도 제공하여 작업 환경을 구축할 수 있어요.
긴 프롬프트를 처리하는 효율적인 방법이 있나요?
긴 프롬프트 접두사(prefix)를 SSD에 저장하고 이를 프롬프트 해시로 재개할 수 있어요. 이 기능은 사용자의 작업 효율성을 높여줘요.