このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルをGGUF形式で量子化したものです。
量子化していないものは
こちら 。
Q4_K_M量子化モデルであれば、RTX3060 12GBでフルロード可能です。
筆者はWSL2やGoogle Colaboratotry Proでの作成後、Llama.cppとLMstudioにて動作確認を行っています。
This model is a Mixture of Experts (MoE) language model created using the MergeKit tool.
The gguf version can be found
here.
If using the Q4_K_M quantized model, it can be fully loaded on an RTX3060 12GB.
The author has created the model using WSL2 and Google Colaboratory Pro, and has tested it using Llama.cpp and LMstudio.
