| 模型 | 目录 | 架构 | 训练方式 | 特点 |
|---|---|---|---|---|
| MiniMind-GuCheng-AR | ar/ | 自回归(Softmax Attention) | Pretrain + SFT | 生成质量最好,意象完整 |
| MiniMind-GuCheng-dLM | dllm/ | 扩散语言模型(双向注意力 + MDM) | A2D 迁移训练 | 迭代去噪采样,小数据下收敛有限 |
| MiniMind-GuCheng-Linear | linear/ | 线性注意力(Gated DeltaNet) | A2L 迁移训练 | 线性复杂度,小数据下收敛有限 |
data/pretrain_gucheng.jsonl:7481 条预训练语料(诗歌、散文、哲思录、小说节选)data/sft_gucheng.jsonl:213 条指令微调样本(续写/仿写任务)1# AR 模型(推荐,效果最好)
2python gen_gucheng_ar.py --weight full_sft_gucheng --mode chat --prompt "你是一个诗人,请仿写一首顾城风格的诗"
3
4# dLM 模型
5python gen_gucheng_dllm.py --weight dllm_gucheng --mode chat --prompt "请写一首顾城风格的现代诗"
6
7# Linear 模型
8python gen_gucheng_linear.py --weight full_sft_linear_gucheng --mode chat --prompt "请写一首顾城风格的现代诗"--mode raw 续写,提示为顾城名句开头):