llama.cpp-b3452以降と合わせてご利用ください。
**このモデルのtemperatureは0.3が推奨されています。**一方、llama.cppのdefaultの値は0.8です。
デフォルトのままでは出力の品質低下が予想されますので、--temp引数にて適切なパラメータを設定するようお願いします。
また、このモデルは最大コンテキスト長が極めて長く、これがllama.cppの最大コンテキスト分のメモリ確保を試みようとする仕様と相まって大量のメモリを要求される可能性があります。
対処法として、-c引数にてコンテキスト長を一定に制限することで、メモリの大量使用を回避できます。

Mistral AIの多言語SLMであるMistral-Nemo-Instruct-2407をGGUFフォーマットに変換したものです。

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、imatrixの算出においてはf32精度のモデルを使用しました。これは、本来の数値精度であるbf16でのimatrix計算に現行のCUDA版llama.cppが対応していないためです。

Windows版llama.cpp-b3436および同時リリースのconvert_hf_to_gguf.pyを使用して量子化作業を実施しました。

Apache 2 License

Mistral AI