EthanCao/

wmt19_zh_en_segment

这是一个基于 WMT19 新闻翻译任务的中英平行语料库，已经进行了分词预处理。数据集包含训练集和验证集，每对数据都经过分词处理，适合直接用于机器翻译模型训练。

	数据集详情




	
	数据来源

原始数据：WMT19 新闻翻译任务 (zh-en) 来源网址：https://huggingface.co/datasets/wmt/wmt19

从原始 WMT19 数据集中提取中英文句子对 中文分词：使用 HanLP 进行分词 英文分词：使用空格分词，并转换为小写 保存为 (英文分词列表, 中文分词列表) 格式

数据以 Parquet 格式存储，每个文件包含两列：

en：英文分词列表 (list of strings) zh：中文分词列表 (list of strings)

	数据集统计




	

数据集 文件数 总大小 样本数 压缩格式

训练集 6 4.02 GB 25,984,574… See the full description on the dataset page: https://huggingface.co/datasets/EthanCao/wmt19_zh_en_segment.