Qwen3.8-27BをMTP（＝マルチトークン予測）レイヤーを含めてGGUFフォーマットに変換したものです。

-mm mmproj-Qwen3.8-27b-BF16.ggufでビジョンエンコーダーをロードし、Vision対応モデルとして使用することができます。

推論努力（Reasoning effort）はlow / medium / xhighから選択可能で、デフォルトはxhighです。
llama.cppのserverの場合は起動時に以下の引数を追加することで変更可能です。

引数に--spec-type draft-mtp --spec-draft-n-max 2と追加することでMTPが有効化されます。
なお、--spec-draft-n-maxの値については、日本語では2がスイートスポットのようです。

Apache 2.0

Alibaba Cloud