Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
karakuri-midrose-CV.gguf – AI Model by sbtom | AlphaNeural AI
You can deploy this model and start earning money today!
sbtom
/
karakuri-midrose-CV.gguf
like
0
2310.04799
template
ja
merge
us
text-generation
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
karakuri-midroze-CV.gguf
Sdff-Ltba/LightChatAssistant-2x7B
のChatVectorマージの手法を参考に、下記モデルをmergekitのtask_arithmetic方式にてmergeしたものを量子化しています。
karakuri-ai/karakuri-lm-70b-v0.1
sophosympatheia/Midnight-Rose-70B-v2.0.3
meta-llama/Llama-2-70b-hf
(ベースモデル)
モデル概要
これは日本語の特定の能力がmergeにより、どのように向上するかをテストするための実験モデルです。
koboldで検証する際は、Max Ctx. Tokensは4096以下、Amount to Genは512以下で使用することを推奨します。
また、ChatVectorの特性らしく、英語を話したがる傾向や延々と出力し続ける事が多いです。最初に日本語を話すように指示しておくと緩和されます。
※ChatVectorの重みを0.8から1.0に修正しました。(対象がインストラクタモデルの場合は0.8が安定しますが、今回はベースモデルなので1.0が良いようです)(2024/4/15)
ライセンス
merge元の各モデルのライセンスに従います。
謝辞
ChatVector
という新たな手法に感謝いたします。
そして、この手法に着目し、実際に素晴らしい日本語モデルのマージモデルを公開してくださった、
Sdff-Ltba氏
に感謝いたします。
マージに使用させていただいた、各モデルの作者様に感謝いたします。