本目录包含 OpenOneRec 项目 SFT(Supervised Fine-Tuning)阶段使用的通用文本数据集信息。这些数据集均来自 HuggingFace,经过清洗处理和对齐到项目统一的数据格式,并转换为 Parquet 格式用于训练。
所有数据集均已转换为统一的 Parquet 格式,符合项目的数据格式规范(参考 ../README.md)。SFT 数据主要使用 Chat 格式,使用 messages 字段存储对话消息列表。
每个 Parquet 文件包含以下核心字段:
uuid: 唯一标识符
source: 数据来源标识
metadata: JSON 格式的元数据字典
messages: 对话消息列表(JSON 格式),包含 role(user/assistant/system)和 content 字段
数据集名称
样本数量
HuggingFace 仓库… See the full description on the dataset page:
https://huggingface.co/datasets/OpenOneRec/OpenOneRec-General-SFT.