用于中文小型语言模型预训练的统一文本语料,字段为:
text:规范化后的训练文本
source:原始数据集名称
来源
有效样本数
TinyStories-Zh-2M
1,994,291
Wikipedia-20231101.zh
1,384,748
Zhihu-KOL
1,002,863
总计
4,381,902
RobinChen2001/TinyStories-Zh-2M:数据卡标注 MIT;同时应检查英文上游数据及机器翻译来源条款。
wikimedia/wikipedia (20231101.zh):CC BY-SA 3.0 与 GFDL。
wangrui6/Zhihu-KOL:原数据卡未声明许可证。
此合并数据集不提供统一的再授权。下载者须分别遵守各来源的许可、署名、隐私与内容使用要求。