GSW-Gemma3-270M-20251206-1636-GGUF

模型信息

• 微调模型: GSW-Gemma3-270M-20251206-1636
• 基座模型: unsloth/gemma-3-270m-it
• 量化方法: q4_k_m
• Chat Template: gemma-3
• 训练框架: Unsloth + TRL

使用方法

Ollama

llama.cpp

LM Studio

1. 下载 GGUF 文件
2. 在 LM Studio 中加载模型
3. 设置 Chat Template 为 gemma-3
4. 设置 Context Length 为 8192
5. 设置 Max Generated Length 为 2048+

⚠️ 重要注意事项

防止乱码

• 必须使用与训练时相同的 chat_template: gemma-3
• 确保推理引擎版本支持该模型架构
• 参考: https://docs.unsloth.ai/basics/inference-and-deployment/saving-to-gguf

推荐推理参数

temperature: 0.7
top_p: 0.9
repetition_penalty: 1.05
max_tokens: 4096

训练信息

• 训练日期: 2025-12-06
• LoRA: r=128, alpha=256