google/gemma-2-2b-jpn-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。
日本語対応能力が多めに保持されている事を期待しています。
gemma-2-9b-itの4bit量子化版で比較したところ、perplexityスコアがわずかに改善する事がわかっています。
This is a quantized gguf version of
google/gemma-2-2b-jpn-it using an importance matrix (iMatrix) that contains many Japanese words.
I hope it retains more Japanese support.
When
compared with the 4-bit quantized version of gemma-2-9b-it, we found that the perplexity score improved slightly.
ggufフォーマットに対応したツールは様々なものがあるのでお好きなツールをお使いください。例えば、
llama.cppでの使い方は以下です
There are many tools that support the gguf format, so please use the one you like. For example, the usage for
llama.cpp is as follows.
