mrzjy/

chinese_moegirl_wiki_corpus_raw

Moegirl 是个中文二次元 wiki 网站 本项目对 20230814 wiki dump for wiki-zh.moegirl.org.cn 只进行了简单的数据格式处理（xml -> jsonl dataset），后续如想作为 LLM 预训练语料，务必进行各种文本清洗。 简单使用正则给每条数据增加了 tag；直接过滤掉所有带有 "#REDIRECT" 内容的重定向条目。 Moegirl is a well-known Chinese wiki website for ACG. This datasets is a raw text version of the 20230814 wiki dump for wiki-zh.moegirl.org.cn reformatted into jsonl dataset. You must perform further data processing for LLM (continual) pretraining. Simply… See the full description on the dataset page: https://huggingface.co/datasets/mrzjy/chinese_moegirl_wiki_corpus_raw.