Google DeepMind初のReasoning対応MoEモデルgemma-4-26B-A4B-it-ggufをGGUFフォーマットに変換したものです。

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。

llama.cpp-b8662以降と合わせてご利用ください。
-mm mmproj-gemma-4-26b-it-BF16.ggufでビジョンエンコーダーをロードし、Vision対応モデルとして使用することができます。
--reasoning offで思考をオフにできます。

Windows版llama.cpp-b8641およびllama.cpp-b8648同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。

Apache 2.0

Google DeepMind