Alibaba Cloudの思考/非思考ハイブリッドMoEモデル、
Qwen3-30B-A3Bを日本語imatrixで量子化したものです。
<|im_start|>system
ここにSystem Promptを書きます。<|im_end|>
<|im_start|>user
ここにMessageを書きます。<|im_end|>
<|im_start|>assistant
-
思考あり
|クオンツ|スコア|コメント|
|---|---|---|
|Q8_0|4.41||
|Q6_K|4.44||
|Q5_K_M|4.46|推奨|
|Q4_K_M|4.44||
|IQ4_XS|4.43||
-
思考なし
|クオンツ|スコア|コメント|
|---|---|---|
|Q8_0|4.06||
|Q6_K|4.09||
|Q5_K_M|4.18|推奨|
|Q4_K_M|4.07||
|IQ4_XS|3.98||
