Japanese-focused imatrix GGUF quantizations of
llmfan46/Qwen3.5-35B-A3B-heretic-v2.
（おそらく）英語データをメインにで生成されたimatrixと比較して、低ビット量子化（IQ3/IQ4クラス）において日本語の生成品質をより良く維持することを期待していましたが、no thinkingでの選択式や抽出型などの日本語ベンチマークでは微妙な結果でした。 **
llmfan46/Qwen3.5-35B-A3B-heretic-v2-GGUFを使用することを推奨します。**Q6_K以上ではimatrixによる差異は小さいと思うので、本リポジトリでは低ビット量子化に絞って公開しています。
このモデルは検閲除去処理が施されたモデルの量子化です。安全フィルターが大幅に緩和されており、有害・不適切なコンテンツを生成する可能性があります。出力内容の利用については利用者自身の責任においてご判断ください。
This is a quantization of an abliterated model with significantly reduced safety filters. Use at your own risk and responsibility.
