GSW-Qwen3-0.6B-20251207-0016-GGUF

模型信息

• 微调模型: GSW-Qwen3-0.6B-20251207-0016
• 基座模型: unsloth/Qwen3-0.6B
• 量化方法: q4_k_m
• Chat Template: qwen3
• 训练框架: Unsloth + TRL

使用方法

Ollama

llama.cpp

LM Studio

1. 下载 GGUF 文件
2. 在 LM Studio 中加载模型
3. 设置 Chat Template 为 qwen3
4. 设置 Context Length 为 8192
5. 设置 Max Generated Length 为 2048+

⚠️ 重要注意事项

防止乱码

• 必须使用与训练时相同的 chat_template: qwen3
• 确保推理引擎版本支持该模型架构
• 参考: https://docs.unsloth.ai/basics/inference-and-deployment/saving-to-gguf

推荐推理参数

temperature: 0.7
top_p: 0.9
repetition_penalty: 1.05
max_tokens: 4096

训练信息

• 训练日期: 2025-12-07
• LoRA: r=64, alpha=128