You can deploy this model and start earning money today!

biscuitzzz/
minimind-full-sft-lora

Name: minimind-full-sft-lora
Availability: InStock

Views

No views yet

MiniMind 768 Full SFT and Pet-domain LoRA

这是一次 MiniMind 学习实践的个人训练产物，包含一个约 64M 参数的 Dense MiniMind SFT checkpoint，以及在该 checkpoint 上训练的宠物问答 LoRA 增量权重。

full_sft_768.pth 基于个人训练的 Pre-training checkpoint，使用对话数据完成一轮 SFT。训练时只在 assistant 回复区域计算监督损失。

完整日志见 sft-log.txt。

lora_pet_large_768.pth 基于 full_sft_768.pth，使用中文农林牧渔问答数据集筛选和去重得到的 16,688 条宠物相关问答进行训练。

权重为 MiniMind 原生 PyTorch checkpoint。请先克隆代码仓库：

然后将文件放入该仓库的 out/ 目录，并按照仓库中的推理脚本加载：

bash

python eval_llm.py --weight full_sft
python eval_llm.py --weight full_sft --lora_weight lora_pet_large

LoRA 微调后，模型在部分宠物关键词上更敏感，平均输出也明显变短；但样例中出现了幻觉、重复和通用能力退化。这说明训练 loss 下降不能直接等同于回答质量提升。详细前后对比见 LoRA 实践笔记。

当前结果没有经过独立测试集、多随机种子或系统化 benchmark 评估，不适合生产使用，也不应视为优于基座模型的证据。本仓库目前只公开 SFT 和 LoRA 权重，不包含 Pre-training 或 DPO checkpoint。