GSW-Llama3.2-1B-20251207-0837-GGUF

模型信息

• 微调模型: GSW-Llama3.2-1B-20251207-0837
• 基座模型: unsloth/Llama-3.2-1B-Instruct
• 量化方法: q4_k_m
• Chat Template: llama-3.1
• 训练框架: Unsloth + TRL

使用方法

Ollama

llama.cpp

LM Studio

1. 下载 GGUF 文件
2. 在 LM Studio 中加载模型
3. 设置 Chat Template 为 llama-3.1
4. 设置 Context Length 为 8192
5. 设置 Max Generated Length 为 2048+

⚠️ 重要注意事项

防止乱码

• 必须使用与训练时相同的 chat_template: llama-3.1
• 确保推理引擎版本支持该模型架构
• 参考: https://docs.unsloth.ai/basics/inference-and-deployment/saving-to-gguf

推荐推理参数

temperature: 0.7
top_p: 0.9
repetition_penalty: 1.05
max_tokens: 4096

训练信息

• 训练日期: 2025-12-08
• LoRA: r=64, alpha=128