keywords: grade school level, large language model, small language model, tiny language model, super tiny language model, 小学生知识水平，大语言模型，小语言模型，迷你语言模型, llm, slm.
受到TinyStories、Phi2等论文的启发，我制作了一个约1B tokens的小学知识水平的“一揽子”大语言模型训练语料库。
“一揽子”指的是本数据集是众多数据集的集合。为了提升模型的不同能力（例如事实性知识、元认知、思维链、阅读理解RAG、逻辑推理等），我开了不少脑洞，使用了多种创新的提示词生成了具有多样性和针对性的子数据集。… See the full description on the dataset page:
https://huggingface.co/datasets/fzmnm/TinyStoriesAdv-zh.
