Views
No views yet
| 檔案 | 位元 | 大小 | 用途 |
|---|---|---|---|
...-Q8_0.gguf | 8-bit | ~29 GB | 近乎無損，品質最高 |
...-Q6_K.gguf | 6-bit | ~22 GB | 高品質 |
...-Q5_K_M.gguf | 5-bit | ~20 GB | 品質與體積的均衡 |
...-Q4_K_M.gguf | 4-bit | ~17 GB | agent 調度主力，單張 24 GB 卡即可 |
...-IQ4_XS.gguf | 4-bit | ~15 GB | 更小的 4-bit（imatrix） |
...-IQ2_M.gguf | 2-bit | ~10 GB | 低 VRAM／邊緣（imatrix，品質較低） |
...-mmproj.gguf | f16 | ~0.9 GB | 視覺投影器（vision） |
...-imatrix.dat | — | — | 重要度矩陣，供 IQ 系列量化 |
1llama-server -m Qwen3.8-27B-Uncensored-xCloud-Q4_K_M.gguf \
2 --mmproj Qwen3.8-27B-Uncensored-xCloud-mmproj.gguf -c 4096 -ngl 99純文字可省略--mmproj。
blk.40.attn_norm.weight 等 norm，載入即失敗）；本版全 64 層張量完整，已實測 Q6_K 正常載入與生成。