Qwen-1_8B-GGUF

생성 정보

• 원본 모델: Qwen/Qwen-1_8B
• 원본 revision: main
• 샤드 병합 사용: False
• 기본 GGUF 타입: f16
• 양자화 타입: Q2_K, Q3_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_0

파일 목록

• Qwen-1_8B-f16.gguf
• Qwen-1_8B-Q2_K.gguf
• Qwen-1_8B-Q3_K.gguf
• Qwen-1_8B-Q3_K.gguf
• Qwen-1_8B-Q4_K.gguf
• Qwen-1_8B-Q5_K.gguf
• Qwen-1_8B-Q6_K.gguf
• Qwen-1_8B-Q8_0.gguf
• quantizer-manifest.json

사용 예시

참고

• 변환/양자화는 llama.cpp 도구 체인을 사용했습니다.
• 생성 과정 메타데이터는 quantizer-manifest.json 파일에 포함되어 있습니다.