Muse Glimmerの公式な投機的デコード用モジュールMuse-Glimmer-30B-assistantをGGUFフォーマットに変換したものです。
こちらのGGUFは単体ではご利用いただけません。Muse Glimmer本体のGGUFと併せて使用することで、トークン生成を高速化できます。

-md このGGUFのパス --spec-type draft-dflash --spec-draft-n-max 2引数でDFlash投機的デコードが有効化されます。
なお、--spec-draft-n-max引数については、日本語では2~3がスイートスポットのようです。

Apache 2.0

Meta Superintelligence Lab