zhaode/

cmmlu

	CMMLU (Test-Split) in Unified JSONL Format




	
	1. 数据集描述 (Description)

本项目将 CMMLU 的 test 部分转换为 统一的指令式 JSONL 格式，以便于大语言模型的评估和测试。 CMMLU 是一个综合性的中文评估基准，专门用于评估大语言模型在中文语言和文化背景下的高级知识和推理能力。本仓库的数据源自 cmmlu 的 test 集，并与 C-Eval 数据集采用了完全相同的处理流程和数据结构，方便用户在统一的框架下进行评测。

数据集为 JSONL 格式，每一行都是一个独立的 JSON 对象。该结构经过精心设计，以适应标准的指令微调和推理流程。 每个 JSON 对象包含以下字段：

id: 样本的唯一标识符 (原始数据中可能为空)。 instruction: 指令文本，用于引导模型进行单项选择题的回答。 choices: 一个包含四个选项的 字典，键为 "A", "B", "C", "D"。 answer:… See the full description on the dataset page: https://huggingface.co/datasets/zhaode/cmmlu.