Qwen3-Sanguo-GGUF
这是一个基于 unsloth/Qwen3-8B-bnb-4bit，使用 LoRA 适配器 Moko007/Qwen3-Sanguo-LoRA-Adapter 微调后，转换并量化而成的 GGUF 模型。
模型描述
本模型旨在学习经典《三国志》的风格和语言进行文本生成。它经过了特定语料的微调，能够更好地理解和生成与三国主题相关的内容。
这个 GGUF 版本特别适合在本地消费级硬件上，通过 LM Studio, Ollama, llama.cpp 等工具运行。
量化信息
这是在性能、速度和模型质量之间取得良好平衡的常用量化级别。
如何使用
在 LM Studio 中使用
- 在 LM Studio 的模型市场中搜索本模型 (
Moko007/Qwen3-Sanguo-GGUF)。
- 下载 GGUF 文件。
- 在聊天界面加载并使用。
在 Ollama 中使用
可以通过创建一个 Modelfile 来使用此 GGUF 模型：
```
FROM ./sanguo_q4_k_m.gguf
TEMPLATE "[INST] { .Prompt } [/INST]"
```
然后运行 `ollama create sanguo -f Modelfile` 来创建本地模型。
模型来源
