You can deploy this model and start earning money today!

grapeV-ai/
Qwen3.5-27B-MTP-Only-GGUF

Name: Qwen3.5-27B-MTP-Only-GGUF
Availability: InStock

Views

No views yet

What is this?

Qwen3.5-27BのMTP（＝マルチトークン予測）レイヤーのみをGGUFフォーマットに変換したものです。
こちらのGGUFは単体ではご利用いただけません。Qwen3.5-27B本体のGGUFと併せて使用することで、トークン生成を高速化できます。

-md このGGUFのパス --spec-type draft-mtp --spec-draft-n-max 2引数でMTPが有効化されます。
なお、--spec-draft-n-max引数については、日本語では2がスイートスポットのようです。

Apache 2.0

Alibaba Cloud