日本語を主体としたImportance MatrixによるGGUF量子化です。

Japanese-focused imatrix GGUF quantizations of llmfan46/Qwen3.6-35B-A3B-uncensored-heretic.

ファイル名の末尾に_Lが付いたモデルはtoken embeddingとoutputの重みをQ8で量子化しています。 入力トークンの解釈や出力トークンの選択に直接関わる部分の精度がより良く維持されることを期待しています。 迷った場合はまず通常のIQ4_XSを選べば問題ないと思いますが、VRAMが16GBなどの場合でもGPUに載せられるレイヤー数が1層減るかどうか程度なのでIQ4_XS_Lを試してみるのもいいかもしれません。

日本語テキストを主体としたキャリブレーションデータでImportance Matrixを生成しています。 英語データをメインに生成されたimatrixと比較して、日本語の生成品質がより良く維持されることを期待しています。 imatrixデータファイル(Qwen3.6-35B-A3B-uncensored-heretic.imatrix)を同梱しているため、他の量子化タイプを生成したい場合にご利用いただけます。

このモデルは検閲除去処理が施されたモデルの量子化です。安全フィルターが大幅に緩和されており、有害・不適切なコンテンツを生成する可能性があります。出力内容の利用については利用者自身の責任においてご判断ください。

This is a quantization of an abliterated model with significantly reduced safety filters. Use at your own risk and responsibility.