shigureui/

lightnovel_cpt

使用了Megatron CPT训练的轻小说大模型

关于数据

1. 轻小说数据在7G左右，这个版本是CPT版本，没有SFT，请不要期待指令跟随。
2. Roleplay数据非常容易导致过拟合，增加猫箱的RP数据会导致小说的续写长度变短，并且没有发现anime girl效果变好。（几家app用户大多是同人女的关系？）
3. h-corpus质量参差不齐，只采样了一些，用了与轻小说数据量相同的7G左右的文本。（这个数据集与轻小说没有完全太重合，考虑pixiv子集）
4. SFT的数据没有准备好，涉及到summary文章再写作，还有给定章节续写，对话的RP依旧非常头痛。
5. h-corpus的summary暂时没有做，summary用的模型一时没有太好的选择。