모델 도구
Qwen-Image-2.1: 로컬 구동용 GGUF 양자화 모델 배포
abenzerps/Qwen-Image-2.1-GGUF
Hugging FaceQwen-Image-2.1을 로컬 환경에서 구동할 수 있도록 GGUF 형식으로 양자화하여 배포한 텍스트-이미지 생성 모델입니다.
세 줄 요약
- 최적의 성능과 메모리 효율성을 위해, GGUF 모델은 GPU VRAM에, 텍스트 인코더는 시스템 RAM에 분산 배치하는 것이 권장됩니다.
- 본 모델은 안전 필터나 콘텐츠 제한이 없어 NSFW 등 모든 종류의 이미지를 자유롭게 생성할 수 있다는 점을 유념해야 합니다.
- 사용을 위해서는 ComfyUI 환경과 전용 커스텀 노드 설치가 필수적이며, Q4_K_M 같은 최적화된 버전을 활용하는 것이 좋습니다.
본 자료는 Qwen/Qwen-Image-2.1을 로컬 환경에서 사용할 수 있도록 형식으로 한 파일을 제공한다. 사용자는 Q8_0(7.59 GB), Q6_K(5.88 GB), Q5_K_M(5.22 GB), Q4_K_M(4.60 GB), Q4_0(4.05 GB) 등 다양한 양자화 옵션 중 선택할 수 있으며, 이 중 Q4_K_M 버전이 크기와 품질의 균형 면에서 권장된다.
모델 구동을 위해서는 GGUF 외에도 텍스트 인코더와 VAE 파일 같은 보조 모델들이 필요하다. Text Encoder는 BF16(17.53 GB) 또는 Int8(9.35 GB) 정밀도로 제공되며, VAE는 BF16 형식으로 676 MB 크기이다. 사용자는 ComfyUI 환경에 전용 커스텀 노드(`leejet/ComfyUI-GGUF`)를 설치하고, 각 구성 요소별로 적절한 로더 노드를 설정하여 워크플로우를 구축해야 한다.
성능 최적화를 위해서는 GGUF 을 VRAM에 배치하고 텍스트 인코더는 시스템 RAM(CPU)에서 실행하는 것이 권장된다. 이 방식은 9~17 GB의 VRAM 절약 효과가 있다. 또한, 해당 GGUF 배포판은 안전 검사기나 콘텐츠 필터가 내장되어 있지 않아 에 따라 NSFW 등 모든 종류의 이미지를 생성할 수 있다는 점을 유념해야 한다.
용어 풀이
- GGUF
- 언어 모델을 개인 PC에서 돌리기 쉽게 담는 파일 형식. llama.cpp 계열 도구에서 써요.
- 양자화
- 모델 숫자의 정밀도를 낮춰 크기와 메모리 사용을 줄이는 기법. 품질이 조금 떨어질 수 있어요.
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 확산 모델
- 잡음에서 시작해 조금씩 다듬으며 이미지나 영상을 만들어 내는 생성 모델.
- GPU
- 많은 계산을 한꺼번에 처리하는 칩. AI 학습과 실행에 가장 많이 써요.
- 프롬프트
- AI에게 주는 지시나 질문 글.