gemma-4-12B-itのマルチトークン予測（MTP）レイヤーをGGUFフォーマットに変換したものです。
こちらのGGUFは単体ではご利用いただけません。gemma-4-12B-it本体のGGUFと併せて使用することで、トークン生成を高速化できます。
精度維持のため、Q4_0量子化に限り公式のQAT量子化版を元にGGUFを作成しております・

llama.cpp-b9549以降と合わせてご利用ください。
--model-draft gemma-4-12b-it-assistant-Q4_0.gguf --spec-type draft-mtp --spec-draft-n-max 3引数でMTPが有効化されます。
なお、投機的デコードの原理上、8または16bit量子化を使用する意味はほとんどないと思われます。
また、--spec-draft-n-max引数には最大4までの数を指定できますが、日本語では3がスイートスポットのようです。

Apache 2.0

Google DeepMind