モデルの説明(English explanation is below.)
このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
元のmeta-llama/Meta-Llama-3-8B-Instructに、日本語データセットで継続事前学習されたrinna/llama-3-youko-8bを合わせることで、元のMeta-Llama-3-8B-Instructの能力を維持したまま、日本語能力を向上させようとしたMoEモデルです。
Sdff-Ltba/LightChatAssistant-2x7Bを参考に、以下のようなChatVector加算を行ったllama-3-youko-8bをMoEに用いています。
rinna/llama-3-youko-8b + 0.8*(meta-llama/Meta-Llama-3-8B-Instruct - meta-llama/Meta-Llama-3-8B)
このChatVector加算操作をすでに行った状態のllama-3-youko-8bモデルが
aixsatoshi/Llama-3-youko-8b-instruct-chatvectorでアップロードされていたため、今回はこちらを利用させていただいております。
モデルの詳細
- モデル名: Llama-3-youko-chatvector-2x8B_v0.1
- モデルアーキテクチャ: Mixture of Experts (MoE)
- ベースモデル: meta-llama/Meta-Llama-3-8B-Instruct, aixsatoshi/Llama-3-youko-8b-instruct-chatvector
- マージツール: MergeKit
要求スペック
Q4_K_M量子化モデルであれば、RTX3060 12GBでフルロード可能です。
筆者はWSL2やGoogle Colaboratotry Proでの作成後、Llama.cppとLMstudioにて動作確認を行なっています。
- CPU: Ryzen 5 3600
- GPU: GeForce RTX 3060 12GB
- RAM: DDR4-3200 96GB
- OS: Windows 10
Model Description
This model is a Mixture of Experts (MoE) language model created using the MergeKit tool.
The gguf version can be found
here.
By combining rinna/llama-3-youko-8b, which has been further pre-trained on Japanese datasets, with the original meta-llama/Meta-Llama-3-8B-Instruct, this MoE model aims to improve Japanese language capabilities while maintaining the abilities of the original Meta-Llama-3-8B-Instruct.
Referring to
Sdff-Ltba/LightChatAssistant-2x7B, the llama-3-youko-8b used in the MoE has undergone the following ChatVector addition:
rinna/llama-3-youko-8b + 0.8*(meta-llama/Meta-Llama-3-8B-Instruct - meta-llama/Meta-Llama-3-8B)
The llama-3-youko-8b model with this ChatVector addition operation already performed has been uploaded at
aixsatoshi/Llama-3-youko-8b-instruct-chatvector, which we have utilized in this case.
Model Details
- Model Name: Llama-3-youko-chatvector-2x8B_v0.1
- Model Architecture: Mixture of Experts (MoE)
- Base Models: meta-llama/Meta-Llama-3-8B-Instruct, aixsatoshi/Llama-3-youko-8b-instruct-chatvector
- Merging Tool: MergeKit
Required Specifications
With the Q4_K_M quantized model, it can be fully loaded on an RTX 3060 12GB.
The author has created the model on WSL2 and Google Colaboratory Pro, and has verified its operation using Llama.cpp and LMstudio.
- CPU: Ryzen 5 3600
- GPU: GeForce RTX 3060 12GB
- RAM: DDR4-3200 96GB
- OS: Windows 10
