Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
ChatGalRWKV – AI Model by Synthia | AlphaNeural AI
You can deploy this model and start earning money today!
Synthia
/
ChatGalRWKV
like
0
visual-novel
galgame
unlicense
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
本项目已经很久没更新了，需要数据可以去
https://huggingface.co/datasets/Limour/b-corpus
ChatGalRWKV
关于项目的名字：chat就是猫（法语），gal就是娘（英语）。
本项目基于
RWKV
，它是一系列从预训练数据、训练代码、推理代码到模型权重都完全开源的大语言模型，并且与基于transformer的模型相比有诸多优势。
可以使用
Colab脚本
自建服务运行最近模型。
加入我们
QQ群：766121889（目前采取邀请制，加之前先跟群主私聊）
Discord：
https://discord.gg/68GtKQ3v3K
现有模型检查点介绍
纯Gal语料微调模型
rwkv-chatgal-v1-3B
试验性早期模型，基于
RWKV-Novel-3B-v1-Chn
共训练了21000步，训练文本长度4096，batchsize4，梯度累积4
rwkv-chatgal-v2-7B
基于
RWKV-Raven-7B-v10x
共训练了14000步，训练文本长度4096，batchsize8，数据并行4卡。以lora的方式训练，rank为16，alpha32。
仓库中放出了
融合系数调整过的合并权重”巧兹“
和
纯lora权重
。
注意，使用纯lora权重时，需要使用正确的底模自行合并。
