gctian/

comic-eval-benchmark

中文二次元漫画领域的基准评估数据集，包含上千部漫画作品的作者信息、画风、场景、类型、剧情等维度的选择题评估，共 41175 个单选题。 可作为二次元垂直领域大模型的评估基准。 以下是作者基于Baichuan2-13B微调的二次元领域垂直大模型，在此数据集上的评估结果：

模型 zero-shot 3-shot

Qwen-7b 33.647 36.439

ChatGLM3-6b 34.373 37.015

BaiChuan2-13b 37.416 39.08

BaiChuan2-13b-微调 41.035 41.086

Yi-34b 50.103 45.606

欢迎贡献更多二次元领域语料及二次元大模型，如需评测请联系作者获取评测脚本。

	Dataset Details




	
	Dataset Description

中文二次元领域漫画基准评估数据集