Microsoft社開発のMoEアーキテクチャの言語モデル
Phi-3.5-MoE-instructをGGUFフォーマットに変換したものです。
日本語能力を重視し、日本語が多量に含まれる
TFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
<|system|>
ここにSystem Promptを書きます<|end|>
<|user|>
ここにMessageを書きます<|end|>
<|assistant|>
