Qwen-Image-2.1 GGUF 모델 로컬 구동 가이드
abenzerps/Qwen-Image-2.1-Uncensored-GGUF
Hugging FaceQwen-Image-2.1 모델을 로컬 환경에서 구동할 수 있도록 다양한 양자화 옵션의 GGUF 파일과 필수 구성 요소(Text Encoder, VAE)를 제공합니다.
- 메모리 효율성을 극대화하기 위해 최적의 GGUF 모델과 함께 텍스트 인코더를 시스템 RAM에 분산 배치하는 방법을 안내하여 VRAM 절약이 가능합니다.
- ComfyUI와 ComfyUI-GGUF 환경에서 사용하도록 설계되었으며, 공식 워크플로우를 통해 쉽게 통합하여 고성능 이미지 생성을 할 수 있습니다.
- 본 모델은 안전 필터나 콘텐츠 제한 기능이 없는 'Uncensored' 버전으로, 로컬 환경의 높은 자유도를 제공하지만 프롬프트에 따라 모든 종류의 이미지가 생성될 수 있음을 유의해야 합니다.
Qwen-Image-2.1의 로컬 이미지 생성을 위한 파일과 필수 구성 요소(Text Encoder 및 VAE)가 제공됩니다. 사용자는 BF16 (14.23 GB), FP8 (6.63 GB), MLX 4-bit (4.00 GB) 등 다양한 정밀도의 파일을 선택할 수 있으며, 특히 Q4_K_M 모델이 크기와 품질의 균형 면에서 권장됩니다.
본 모델은 ComfyUI와 ComfyUI-GGUF 환경에 맞춰 설계되었으며, 사용자는 다운로드한 GGUF 파일과 텍스트 인코더, VAE 파일을 각각 지정된 디렉터리(models/diffusion_models/, models/text_encoders/, models/vae/)에 배치해야 합니다. 구동을 위해서는 `leejet/ComfyUI-GGUF` 포크를 설치하고, Unet Loader (GGUF) 노드와 CLIPLoader 노드를 사용하여 각 구성 요소를 연결하는 워크플로우 설정이 필요합니다.
메모리 효율성을 높이기 위해 GGUF 은 VRAM에 유지하고, 텍스트 인코더는 시스템 RAM(CPU)으로 분산 배치하는 것이 권장됩니다. 이 설정을 통해 VRAM을 9–17 GB 절약할 수 있으며, Diffusion 모델로는 `qwen-image-2.1-UC-Q4_K_M.gguf` (~4.6 GB)를 사용하는 것이 좋습니다.
용어 풀이
- GGUF
- 언어 모델을 개인 PC에서 돌리기 쉽게 담는 파일 형식. llama.cpp 계열 도구에서 써요.
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.
- 확산 모델
- 잡음에서 시작해 조금씩 다듬으며 이미지나 영상을 만들어 내는 생성 모델.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.