• 本开源项目旨在完全从0开始，最快仅用3小时！即可训练出仅为26.88M大小的微型语言模型MiniMind。
• MiniMind极其轻量，最小版本体积约是 GPT3 的 $\frac{1}{7000}$，力求做到最普通的个人GPU也可快速推理甚至训练。
• MiniMind发布了大模型极简结构，数据集清洗和预处理、监督预训练(Pretrain)、有监督指令微调(SFT)、低秩自适应(LoRA) 微调，无奖励强化学习直接偏好对齐(DPO)的全阶段代码，也包含拓展共享混合专家(MoE) 的稀疏模型；拓展视觉多模态VLM: MiniMind-V。
• 这不仅是一个开源模型的实现，也是入门大语言模型（LLM）的教程。
• 希望此项目能为研究者提供一个抛砖引玉的入门示例，帮助大家快速上手并对LLM领域产生更多的探索与创新。

  为防止误读，「最快3小时」是指您需要具备＞本人硬件配置的机器，具体规格的详细信息将在下文提供。

---

📌 Introduction

[!TIP] （截至2024-9-17）MiniMind系列已完成了3个型号模型的预训练，最小仅需26M（0.02B），即可具备流畅的对话能力！

该分析在具有Torch 2.1.2、CUDA 12.2和Flash Attention 2的2×RTX 3090 GPU上进行。

• 公开MiniMind模型代码（包含Dense和MoE模型）、Pretrain、SFT指令微调、LoRA微调、DPO偏好优化的全过程代码、数据集和来源。
• 兼容transformers、accelerate、trl、peft等流行框架。
• 训练支持单机单卡、单机多卡(DDP、DeepSpeed)训练，使用wandb可视化训练流程。支持在任意位置停止，及在任意位置继续训练。
• 在Ceval数据集上进行模型测试的代码。
• 实现Openai-Api基本的chat接口，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。

👉最近更新

2024-10-05 (newest 🎉)

• 为MiniMind拓展了多模态能力之---视觉
• 移步孪生项目minimind-v查看详情！

2024-09-27

• 09-27更新pretrain数据集的预处理方式，为了保证文本完整性，放弃预处理成.bin训练的形式（轻微牺牲训练速度）。
• 目前pretrain预处理后的文件命名为：pretrain_data.csv。
• 删除了一些冗余的代码。

2024-09-17

• 更新minimind-v1-moe模型
• 为了防止歧义，不再使用mistral_tokenizer分词，全部采用自定义的minimind_tokenizer作为分词器。

2024-09-01

• 更新minimind-v1 (108M)模型，采用minimind_tokenizer，预训练轮次3 + SFT轮次10，更充分训练，性能更强。
• 项目已部署至ModelScope创空间，可以在此网站上体验：
• 🔗ModelScope在线体验🔗

2024-08-27

• 项目首次开源

📌 Environment

• Ubuntu == 20.04
• Python == 3.9
• Pytorch == 2.1.2
• CUDA == 12.2
• requirements.txt

📌 Quick Start Test

「注意」需要python>=3.10，安装 pip install streamlit==1.27.2

📌 Quick Start Train

• 0、克隆项目代码
  bash

  1git clone https://github.com/jingyaogong/minimind.git 2cd minimind
• 1、环境安装
  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  text

  1# 测试torch是否可用cuda 2import torch 3print(torch.cuda.is_available())

  如果不可用，请自行去torch_stable 下载whl文件安装。参考链接

• 2、如果你需要自己训练
  • 2.1 下载数据集下载地址放到./dataset目录下
  • 2.2 python data_process.py处理数据集，例如pretrain数据提前进行token-encoder、sft数据集抽离qa到csv文件
  • 2.3 在./model/LMConfig.py 中调整model的参数配置

    这里仅需调整dim和n_layers和use_moe参数，分别是(512+8)或(768+16)，对应于minimind-v1-small和minimind-v1

  • 2.4 python 1-pretrain.py 执行预训练，得到 pretrain_*.pth 作为预训练的输出权重
  • 2.5 python 3-full_sft.py 执行指令微调，得到 full_sft_*.pth 作为指令微调的输出权重
  • 2.6 python 4-lora_sft.py 执行lora微调（非必须）
  • 2.7 python 5-dpo_train.py 执行DPO人类偏好强化学习对齐（非必须）
• 3、测试模型推理效果
  • 确保需要使用的，训练完成的参数权重*.pth文件位于./out/目录下
  • 也可以直接去训练完成的模型权重下载使用我训练好的*.pth权重文件
    text

    1minimind/out 2├── multi_chat 3│   ├── full_sft_512.pth 4│   ├── full_sft_512_moe.pth 5│   └── full_sft_768.pth 6├── single_chat 7│   ├── full_sft_512.pth 8│   ├── full_sft_512_moe.pth 9│   └── full_sft_768.pth 10├── pretrain_768.pth 11├── pretrain_512_moe.pth 12├── pretrain_512.pth
  • python 0-eval_pretrain.py测试预训练模型的接龙效果
  • python 2-eval.py测试模型的对话效果

    

假设你的设备只有1张显卡，使用原生python启动训练即可：

• 执行预训练或指令微调训练
  bash

  1python 1-pretrain.py 2# and 3python 3-full_sft.py

假设你的设备有N (N＞1) 张显卡：

• 单机N卡启动训练(DDP)
  bash

  1torchrun --nproc_per_node N 1-pretrain.py 2# and 3torchrun --nproc_per_node N 3-full_sft.py
• 单机N卡启动训练(DeepSpeed)
  bash

  1deepspeed --master_port 29500 --num_gpus=N 1-pretrain.py 2# and 3deepspeed --master_port 29500 --num_gpus=N 3-full_sft.py
• 开启wandb记录训练过程(非必须)
  bash

  1torchrun --nproc_per_node N 1-pretrain.py --use_wandb 2# and 3python 1-pretrain.py --use_wandb
  通过添加--use_wandb参数，可以记录训练过程，训练完成后，可以在wandb网站上查看训练过程。通过修改wandb_project 和wandb_run_name参数，可以指定项目名称和运行名称。

📌 Data sources

• 🤖 分词器：nlp中的Tokenizer类似于词典，将单词从自然语言通过“词典”映射到0,1,36这样的数字，可以理解为数字就代表了单词在“词典”中的页码。 LLM分词器的构建方式有两种：一种是自己构造词表训练一个分词器，代码可见train_tokenizer.py；另一种是选择开源模型训练好的分词器。 “词典”当然可以直接选择用新华词典或是牛津词典，优点是token转化压缩率很好，但缺点是词表太长，动辄数十万个词汇短语； 也可以使用自己训练的分词器，优点是词表随意控制，缺点是压缩率不够理想，且生僻词不容易面面俱到。 当然，“词典”的选择很重要，LLM的输出本质上是SoftMax到词典N个词的多分类问题，然后通过“词典”解码到自然语言。 因为LLM体积非常小，为了避免模型头重脚轻（词嵌入embedding层参数占整个LLM比太高），所以词表长度需要选择比较小。 强大的开源模型例如01万物、千问、chatglm、mistral、Llama3等，它们的tokenizer词表长度如下：

  Tokenizer模型	词表大小	来源
  yi tokenizer	64,000	01万物（中国）
  qwen2 tokenizer	151,643	阿里云（中国）
  glm tokenizer	151,329	智谱AI（中国）
  mistral tokenizer	32,000	Mistral AI（法国）
  llama3 tokenizer	128,000	Meta（美国）
  minimind tokenizer	6,400	自定义

  👉2024-09-17更新：为了防止过去的版本歧义&控制体积，minimind所有模型均使用minimind_tokenizer分词，废弃所有mistral_tokenizer版本。

  尽管minimind_tokenizer长度很小，编解码效率弱于qwen2、glm等中文友好型分词器。 但minimind模型选择了自己训练的minimind_tokenizer作为分词器，以保持整体参数轻量，避免编码层和计算层占比失衡，头重脚轻，因为minimind的词表大小只有6400。 且minimind在实际测试中没有出现过生僻词汇解码失败的情况，效果良好。 由于自定义词表压缩长度到6400，使得LLM总参数量最低只有26M。

---

• 📙【Pretrain数据】： Seq-Monkey通用文本数据集 / Seq-Monkey百度网盘 是由多种公开来源的数据（如网页、百科、博客、开源代码、书籍等）汇总清洗而成。整理成统一的JSONL格式，并经过了严格的筛选和去重，确保数据的全面性、规模、可信性和高质量。总量大约在10B token，适合中文大语言模型的预训练。

  第2种选择：SkyPile-150B数据集 的可公开访问部分包含约2.33亿个独立网页，每个网页平均包含1000多个汉字。数据集包括大约1500亿个令牌和620GB的纯文本数据。 如果着急的话，可以尝试只挑选SkyPile-150B的部分jsonl下载（并在./data_process.py中对文本tokenizer生成* .csv文件），以便快速跑通预训练流程。

---

• 📕【SFT数据】：匠数大模型SFT数据集 是一个完整、格式统一、安全的大模型训练和研究资源。 从网络上的公开数据源收集并整理了大量开源数据集，对其进行了格式统一，数据清洗， 包含10M条数据的中文数据集和包含2M条数据的英文数据集。 总量大约在3B token，适合中文大语言模型的SFT。 数据集整合来源于以下所有数据（仅供参考，因此无需单独下载，仅需下载一个完整的【SFT数据】）：
  • BelleGroup/train_3.5M_CN
  • LinkSoul/instruction_merge_set
  • stingning/ultrachat
  • BAAI/COIG-PC-core
  • shibing624/sharegpt_gpt4
  • shareAI/ShareGPT-Chinese-English-90k
  • Tiger Research
  • BelleGroup/school_math_0.25M
  • YeungNLP/moss-003-sft-data

---

• 📘【DPO数据】：大约合并后共8万条dpo数据，人工标注的偏好数据，均来自活字模型 ，可以用于训练奖励模型，优化模型回复质量，使其更加符合人类偏好。

---

• 【更多数据集】目前已经有HqWu-HITCS/Awesome-Chinese-LLM 在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，并持续更新这方面的最新进展。全面且专业，Respect！

---

数据集下载地址

📌 Model

• 采用了GPT-3的预标准化方法，也就是在每个Transformer子层的输入上进行归一化，而不是在输出上。具体来说，使用的是RMSNorm归一化函数。
• 用SwiGLU激活函数替代了ReLU，这样做是为了提高性能。
• 像GPT-Neo一样，去掉了绝对位置嵌入，改用了旋转位置嵌入（RoPE），这样在处理超出训练长度的推理时效果更好。

---

• DeepSeek-V2在前馈网络（FFN）方面，采用了更细粒度的专家分割和共享的专家隔离技术，以提高Experts的效果。

---

📌 Experiment

---

1. 预训练(Text-to-Text):
   • LLM首先要学习的并非直接与人交流，而是让肚子中充满知识的墨水，至于墨水理论上喝的越饱越好，产生大量的对世界的认知积累。
   • 预训练就是让Model先埋头苦学大量基本的知识，例如从维基百科、新闻、常识、书籍等。
   • 它无监督的从大量的文本数据中压缩知识到自己模型的权重，目的是：学会词语接龙。例如我们输入“秦始皇是”四个字，它在大量学习后能预测出下一句话大概率是“中国的第一位皇帝”。

   pretrain的学习率设置为1e-4到1e-5的动态学习率，预训练epoch数设为5。

   torchrun --nproc_per_node 2 1-pretrain.py
2. 单轮次对话有监督微调(Single dialog Fine-tuning):
   • 经过预训练，半成品LLM此时已经掌握了几乎所有的语言知识和百科常识。此时它还不会与人聊天，相反它只会无脑地进行输入词语的接龙，生成下一个词。
   • 此时需要对半成品LLM做限制在聊天模板中进行微调，例如当它遇到这样的模板“<聊天开始>秦始皇是<聊天终止> ”后不再无脑接龙，而是意识到这是一段完整的对话结束。
   • 我们称这个过程为指令微调，就如同让学富五车的「牛顿」先生适应21世纪的聊天习惯，学习屏幕左侧是对方消息，右侧是本人消息这个规律。
   • 在训练时，MiniMind的指令和回答长度被截断在512，是为了节省显存空间。就像我们学习时，会先从短的文章开始，当学会阅读200字作文后，800字长文章就不需要再单独学习。

   在推理时通过调整RoPE线性差值，实现长度外推到1024或2048及以上很方便。学习率设置为1e-5到1e-6的动态学习率，微调epoch数为6。

   bash

   1# 3-full_sft.py中设置数据集为sft_data_single.csv 2torchrun --nproc_per_node 2 3-full_sft.py
3. 多轮对话微调(Multi dialog Fine-tuning):
   • 在2的基础上，LLM已经学会一个问题->一个回答的聊天模板。此时仅需在具备历史问答的更长聊天模板上进一步微调即可。
   • 我们仅需使用数据集的history_chat 字段，即历史对话，以及history_chat_response字段，即历史对话的回答。
   • 构建【问题->回答，问题->回答，问题->】的新聊天模板，然后使用这个数据集进行微调。
   • 学习完成的模型不仅仅只能回答当前问题，还能根据历史对话进行连贯的对话。
   • 这一步 并非必须 ，因为小模型长上文对话能力很弱，强行对齐多轮问答模板会损失一定程度的单轮SFT效果。

   学习率设置为1e-5到1e-6的动态学习率，微调epoch数为5。

   bash

   1# 3-full_sft.py中设置数据集为sft_data.csv 2torchrun --nproc_per_node 2 3-full_sft.py
4. 人类反馈强化学习(RLHF)之-直接偏好优化(Direct Preference Optimization, DPO):
   • 在前面的训练中，GPT已经具备了基本的对话能力，但是这样的能力完全基于单词接龙，缺少正例反例的激励。
   • GPT尚且未知什么回答是好的，什么是差的。我们希望它能够更符合人的偏好，给出更让人满意的回答。
   • 这个过程就像是让GPT参加工作培训，从优秀员工的作为例子，消极员工作为反例，学习如何更好地服务客户。
   • RLHF系列中，与PPO(Proximal Policy Optimization)这种需要奖励模型、价值模型的RL算法不同；
   • DPO通过推导PPO奖励模型的显式解，把在线奖励模型换成离线数据，ref输出可以提前保存。
   • DPO性能几乎不变，只用跑 actor 和 ref 2 个模型，大大节省显存开销和增加训练稳定性。
   • 同样的，LLM的RL步骤也 并非必须，有利也有弊。

   活字三元组(q,chose,reject)数据集，学习率le-5，半精度fp16,共1个epoch，耗时1h。

   python 5-dpo_train.py

---

• d_model↑+n_layers↓->矮胖子
• d_model↓+n_layers↑->瘦高个

作为参考，GPT3的参数设定见下表：

---

训练完成的模型权重

---

📌 Eval

① RLHF篇

[!TIP] 测试基于「单轮对话full_sft」和「DPO强化学习对齐」的minimind模型对比。

👉效果总结

• RLHF数据使用大约10万条；full_sft模型在简洁性和信息准确性方面表现更好；rl模型在回答中提供了更多的背景信息，但信息准确性有待改进。
• 总的来说RLHF后的模型倾向于学习：说更多有礼貌但无用的废话讨好“对话”本身，而对信息准确性则有轻微损失。
• 天下没有免费的午餐，还需要继续提升RLHF数据集的质量，也要接受模型能力无法避免的损失(程度有轻重)。
• DPO和在线PPO的区别在于reject和chosen都是离线准备的，和minimind模型本身的输出必然存在很大的分布差异。
• 这类似于DPO算法使模型观看乒乓球世界冠军的打法「录像」进行强化学习，而不是像PPO一样请reward模型做「教练」纠正自己的打法强化学习。

② Instruct Fine-Tuning 篇

[!TIP] 以下测试于2024-09-17完成，此日期后发布的新模型，无特殊需要时将不加入测试。 测试基于单轮对话full_sft的minimind模型(无多轮微调和强化学习微调)。

[!NOTE] 🙋‍♂️直接把上述模型的回答丢给GPT-4o，让它帮忙打个分：

---

模型表现点评：

1. 模型A：
   • 表现：模型A的回答通常简洁明了，但在某些问题上缺乏详细信息和准确性。例如，在长江的长度问题上，模型A的回答是错误的。
   • 评分：60
2. 模型B：
   • 表现：模型B的回答在某些问题上提供了额外的信息，但这些信息有时是不准确的或多余的。例如，在长江的长度问题上，模型B提供了不准确的长度和流域面积。
   • 评分：65
3. 模型C：
   • 表现：模型C的回答通常较为详细，且在大多数问题上提供了准确的信息。例如，在长江和泰山的问题上，模型C的回答是准确的。
   • 评分：75
4. 模型D：
   • 表现：模型D的回答在某些问题上显得混乱，且缺乏准确性。例如，在泰山的问题上，模型D的回答完全偏离了主题。
   • 评分：50
5. 模型E：
   • 表现：模型E的回答通常非常详细，但在某些问题上过于冗长，且包含了一些不必要的信息。例如，在万有引力的问题上，模型E的回答过于复杂。
   • 评分：70

排序（从高到低）：

---

👉效果总结

• minimind系列（ABC）的排序符合直觉，minimind-v1(0.1B)评分最高，常识性问题的回答基本没有错误和幻觉。
  • 出乎意料的是，minimind-v1-small(0.02B)仅有26M参数，却可以接近minimind-v1(0.1B)的表现。
  • minimind-v1(0.1B)的sft轮数epochs仅有不到2，偷懒提前kill腾出资源给小模型，0.1B没有得到充分训练的情况下依然做到了最强，其实还是底大一级压死人。
  • minimind-v1-moe(0.1B)表现只比minimind-v1-small(0.02B) 略好，同样是因为偷懒早停腾出资源做其它训练了，但是MoE模型这种稀疏多Experts模式需要的训练轮次需要酌情更高，让所有FFN层专家得到路由的激活充分训练，在目前epochs设置为3时训练的还不够充足。 minimind在早期实验验证阶段在Yi-Tokenizer上试验过moe的充分训练版本，可以做到比dense小模型表现肉眼可见地更好。此部分可能需要留给日后腾出服务器再训练并更新v2、v3版本。
• E模型的回答肉眼看起来是非常不错的，尽管存在些许幻觉瞎编的情况。但GPT-4o和Deepseek的评分都一致认为它“信息过度冗长，且有重复内容，存在幻觉”。 其实这种评价略显严格，100个字中哪怕有10个字是幻觉，就很容易把它归到低分。由于E模型预训练文本长度更长，数据集大得多，所以回答的看起来很完备。在体积近似的情况下，数据数量和质量都很重要。

🙋‍♂️个人主观评价：E>C>B≈A>D

🤖 GPT-4o 评价：C>E>B>A>D

📌 Objective dataset: C-Eval

例如minimind-small的结果细项：

---

结果汇总：

以下来自GPT-4o对minimind表现的瞎猜：

📌 Others

推理与导出

• ./export_model.py可以导出模型到transformers格式，推送到huggingface
• MiniMind的huggingface集合地址： MiniMind

---

API推理

• my_openai_api.py完成了openai_api的聊天接口，方便将自己的模型接入第三方UI 例如fastgpt、OpenWebUI等
• 从Huggingface下载模型权重文件

  minimind (root dir)
  ├─minimind
  |  ├── config.json
  |  ├── generation_config.json
  |  ├── LMConfig.py
  |  ├── model.py
  |  ├── pytorch_model.bin
  |  ├── special_tokens_map.json
  |  ├── tokenizer_config.json
  |  ├── tokenizer.json

• 启动聊天服务端
  python my_openai_api.py
• 测试服务接口
  python chat_openai_api.py
• API接口示例，兼容openai api格式
  bash

  1curl http://ip:port/v1/chat/completions \ 2 -H "Content-Type: application/json" \ 3 -d '{ 4 "model": "model-identifier", 5 "messages": [ 6 { "role": "user", "content": "世界上最高的山是什么？" } 7 ], 8 "temperature": 0.7, 9 "max_tokens": -1, 10 "stream": true 11}'

在fastgpt中接入使用minimind api

📌 Acknowledge

[!TIP] 如果您觉得 MiniMind对您有所帮助，可以在 GitHub 上加一个⭐
篇幅不短水平有限难免纰漏，欢迎在Issues交流指正或提交PR改进项目
您的支持就是持续改进项目的动力

[!NOTE] 众人拾柴火焰高 如果您已经尝试训练了新的MiniMind型号，欢迎在Discussions或Issues中分享您的模型权重
可以是在特定下游任务或垂直领域（例如情感识别、医疗、心理、金融、法律问答等）的MiniMind新模型版本
也可以是拓展训练后（例如探索更长文本序列、更大体积（0.1B+）或更大的数据集）的MiniMind新模型版本
任何分享都视作独一无二的，所有尝试都具有价值，并受到鼓励
这些贡献都会被及时发现并整理在鸣谢列表中，再次感谢所有支持！

🤝贡献者

😊鸣谢

参考链接 & 感谢以下优秀的论文或项目

• 排名不分任何先后顺序
• https://github.com/meta-llama/llama3
• https://github.com/karpathy/llama2.c
• https://github.com/DLLXW/baby-llama2-chinese
• (DeepSeek-V2)https://arxiv.org/abs/2405.04434
• https://github.com/charent/ChatLM-mini-Chinese
• https://github.com/wdndev/tiny-llm-zh
• (Mistral-MoE)https://arxiv.org/pdf/2401.04088
• https://github.com/Tongjilibo/build_MiniLLM_from_scratch
• https://github.com/jzhang38/TinyLlama
• https://github.com/AI-Study-Han/Zero-Chatgpt
• https://github.com/xusenlinzy/api-for-open-llm
• https://github.com/HqWu-HITCS/Awesome-Chinese-LLM

🫶支持者

License