DeepSeek-V4.1-Flash: 552B 파라미터의 고효율 멀티모달 LLM
deepseek-ai/DeepSeek-V4.1-Flash
Hugging FaceDeepSeek-V4.1-Flash는 552B 파라미터 규모의 멀티모달 MoE 모델로, 이미지와 텍스트를 동시에 처리하며 최대 100만 토큰까지 지원합니다.
- Causal Encoder-Decoder(CED) 아키텍처와 KV 캐시 압축 기술을 도입하여 전작 대비 메모리 사용량을 대폭 줄이고 추론 비용 효율성을 크게 개선했습니다.
- 최대 100만 토큰의 긴 컨텍스트 처리 능력과 강화된 에이전트 기반 성능 덕분에, 복잡한 장기 추론 및 방대한 데이터 분석에 강점을 보입니다.
- 사용자는 '추론 노력(reasoning effort)' 조절 등 고급 설정을 활용할 수 있어, 모델의 유연성과 제어 가능성을 높인 것이 주요 특징입니다.
DeepSeek-V4.1-Flash는 552B 백본 를 가진 (MoE) 모델입니다. 이 모델은 이미지와 텍스트를 네이티브하게 처리할 수 있으며, 최대 100만 에 달하는 긴 컨텍스트 처리를 지원합니다. 아키텍처적으로는 Causal Encoder-Decoder (CED) 구조를 채택하여 효율성을 높였으며, 전처리(prefill) 시에는 토큰당 8B 파라미터, 디코딩 시에는 16B 파라미터를 활성화하도록 설계되었습니다.
모델의 메모리 효율성은 여러 기술적 개선을 통해 극대화되었습니다. DeepSeek-V4.1-Flash는 Compressed Sparse Attention 2 (CSA2)를 사용하여 어텐션 레이어별로 세 가지 모드(Full, Reindex, Reuse)를 할당하고, FP4 main KV 캐싱 방식을 적용했습니다. 이러한 설계 덕분에 글로벌 사용량을 DeepSeek-V4-Flash 대비 약 1/4 수준으로 줄였습니다.
멀티모달 기능을 위해 DeepSeek-ViT 비전 인코더가 도입되었으며, 이로써 이미지는 시각 으로 변환되어 언어 모델 사전 학습 단계부터 텍스트 임베딩과 공동 처리됩니다. 또한, 이 모델은 총 45조 토큰 규모의 멀티모달 코퍼스로 처음부터 훈련되었으며, 사용자는 추론 비용과 정확도를 조절할 수 있는 '추론 노력(reasoning effort)' 설정을 (1~100)으로 활용하여 제어 가능성을 높였습니다.
실제 프로덕션 환경에서의 사용 편의성을 위해 `deepseek-recipe` 라이브러리가 별도로 공개되었습니다. 이 도구킷은 Messages, Chat Completions 등 다양한 API 요청 형식을 모델이 인식하는 대화 형식(Conversation format)으로 변환하고 인코딩하며, 추론 과정에 필요한 모든 설정을 지원하여 개발자가 쉽게 통합할 수 있도록 돕습니다.
용어 풀이
- 파라미터
- 모델이 학습하면서 조정한 내부 숫자. 개수가 많을수록 대체로 모델이 크고 무거워요.
- 멀티모달
- 글뿐 아니라 이미지·음성·영상처럼 여러 형태의 입력을 함께 다루는 것.
- Mixture-of-Experts
- 여러 하위 모델 중 일부만 골라 계산하는 구조. 모델이 커도 실행 비용을 줄일 수 있어요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- KV 캐시
- 모델이 앞에서 계산한 값을 저장해 두고 다음 토큰을 만들 때 다시 쓰는 메모리. 입력이 길수록 커져요.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.