GSW-EduChat-1.8B-20251207-1201-GGUF

模型信息

• 微调模型: GSW-EduChat-1.8B-20251207-1201
• 基座模型: ecnu-icalk/educhat-sft-002-1.8b-qwen1.5
• 量化方法: q4_k_m
• Chat Template: chatml
• 训练框架: Unsloth + TRL

使用方法

Ollama

llama.cpp

LM Studio

1. 下载 GGUF 文件
2. 在 LM Studio 中加载模型
3. 设置 Chat Template 为 chatml
4. 设置 Context Length 为 8192
5. 设置 Max Generated Length 为 2048+

⚠️ 重要注意事项

防止乱码

• 必须使用与训练时相同的 chat_template: chatml
• 确保推理引擎版本支持该模型架构
• 参考: https://docs.unsloth.ai/basics/inference-and-deployment/saving-to-gguf

推荐推理参数

temperature: 0.7
top_p: 0.9
repetition_penalty: 1.05
max_tokens: 4096

训练信息

• 训练日期: 2025-12-07
• LoRA: r=32, alpha=64