Views
No views yet
--spec-type draft-mtp) to accelerate the main model's generation speed.--spec-type draft-mtp）でメインモデルの生成速度を向上させるために使います。| File | Size | Description |
|---|---|---|
assistant_q8_0.gguf | 444 MB | Q8_0 quantized / Q8_0 量子化 |
1llama-server \
2 -m gemma-4-12b-it-qat-q4_0.gguf \
3 -md assistant_q8_0.gguf \
4 --spec-type draft-mtp \
5 --spec-draft-n-max 3 \
6 --batch-size 512 \
7 --ubatch-size 512 \
8 --flash-attn on \
9 -ngl 99 \
10 -c 32768 \
11 --port 8081 \
12 --jinja| Setup / 構成 | Speed / 生成速度 |
|---|---|
| Main model only / メインモデル単体 | ~37 tok/s |
| With draft-mtp / draft-mtp 併用 | ~62 tok/s (+65%) |
google/gemma-4-12B-it-qat-q4_0-unquantized-assistant (safetensors)
→ convert_hf_to_gguf.py (BF16 GGUF)
→ llama-quantize (Q8_0)gemma-4-12b-it-qat-q4_0 (QAT-based pair).gemma-4-12b-it-qat-q4_0 である必要があります（QATベース同士での組み合わせ）。--batch-size 512 is required to prevent OOM caused by Gemma 4's large vocabulary size.--batch-size 512 は必須です（Gemma 4 の vocab サイズに起因する OOM 防止）。