Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
LightChatAssistant-TypeB-2x7B – AI Model by Sdff-Ltba | AlphaNeural AI
You can deploy this model and start earning money today!
Sdff-Ltba
/
LightChatAssistant-TypeB-2x7B
like
0
transformers
safetensors
mixtral
text-generation
mistral
merge
moe
not-for-all-audiences
nsfw
ja
Elizezen/Antler-7B
merge
NTQAI/chatntq-ja-7b-v1.0
merge
autotrain_compatible
text-generation-inference
endpoints_compatible
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
LightChatAssistant-TypeB-2x7B
GGUF量子化は
こちら
Aratakoさん
の
LightChatAssistant-2x7B-optimized-experimental
でChatVectorに適用された加算割合を参考に、
Sdff-Ltba/LightChatAssistant-2x7B
を 製作者の好みに合うように手作業で割合を調整したモデルです。
本モデルの製作にあたりAratakoさんに加算割合データの公開をお願いしたところ、快く対応してくださいました。 その時のディスカッションは
こちら
です。
心から感謝いたします。ありがとうございました！
モデル特徴
LightChatAssistant-2x7Bから以下の特徴を引き継いでいます。
ContextSize 32768 まで対応
iQ3XXS量子化ファイルを用いれば、[
ContextSize:32768
]時でもVRAM12GBでフルロード可能
また本モデルで狙った効果は以下の通りです。
加算するInstruct割合を可能な限り落とさず、それでいて日本語をより自然にする
長文を出力させても日本語をより滑らかにできるように調整
LightChatAssistantの特徴であるクリエイティブな文章力も、可能な限りキープする
製作者の環境では上記3点が実現できたため、本モデルには満足しています。
ただしプロンプト等によっては元モデルより劣るものもあるかもしれないため、バージョンアップとしてではなく別型としてリリースすることにしました。
参考
GitHub - Aratako_Task-Vector-Merge-Optimzier
Aratakoさん作の、ChatVectorに適用する加算割合を最適化するスクリプトです。本モデル製作のきっかけとなりました。
