lilingsunny/

llm101-olmo3-zh-demo-data

为零基础 AI 大模型研发训练营（llm001）L04 提供的学员数据包。

	文件说明




	

路径 大小 说明

tokenizer/ ~4MB 48k BPE 中文分词器，全链路用同一个

nano/tokenized_nano.bin ~1GB 预 tokenize 好的 0.5B tokens（uint16, seed=42 从 3.4B 随机采样 ~15%），直接训

tokenized.bin ~6.8GB 完整 tokenize 数据（3.4B tokens, uint16），有资源可自训完整模型

continue/tokenized_continue.bin ~3.5GB 持续预训练的数据

from huggingface_hub import snapshot_download path =… See the full description on the dataset page: https://huggingface.co/datasets/lilingsunny/llm101-olmo3-zh-demo-data.