Beta
Explore
Marketplace
Neural Labs
Chat
Wallet
Docs
Mod-karakuri-8x7B-InstructionBoost – AI Model by aixsatoshi | AlphaNeural AI
You can deploy this model and start earning money today!
aixsatoshi
/
Mod-karakuri-8x7B-InstructionBoost
like
0
transformers
safetensors
mixtral
text-generation
conversational
apache-2.0
autotrain_compatible
text-generation-inference
endpoints_compatible
us
Views
No views yet
Model card
Files and Versions
Community
API
Deploy
karakuri-ai/karakuri-lm-8x7b-chat-v0.1
に対して、Instructの差分ベクトルを加算しています
mistralai/Mixtral-8x7B-Instruct-v0.1
-
mistralai/Mixtral-8x7B-v0.1
継続事前学習や、事後学習で、元モデルのInstructionの一部のタスクに健忘が発生するという仮説に基づき、ベクトルを加算して戻し入れ思い出させるというアプローチをとっています
