Huihui-Qwen3.5-35B-A3B-Claude-4.6-Opus-abliterated-int4-AutoRound
English
INT4 AutoRound quantization of
huihui-ai/Huihui-Qwen3.5-35B-A3B-Claude-4.6-Opus-abliterated , optimized for
NVIDIA DGX Spark (GB10 SM121) with Marlin INT4 kernel acceleration.
Model Details
Item Value Architecture MoE (35B total, 3B active) + GDN (Mamba) + Attention hybrid Base model Qwen/Qwen3.5-35B-A3B Fine-tuned by huihui-ai (Claude 4.6 Opus distillation + abliteration)Quantized by YuYu1015 Model size ~23 GB (vs ~70 GB BF16 original) Context length Up to 65,536 tokens (limited by BF16 KV cache on 128GB) Thinking mode Supported (enable_thinking: true/false) Tool calling Supported (qwen3_coder parser) MTP Built-in MTP weights included
Quantization Details
Item Value Method Intel AutoRound v0.12.2Bits 4 Group size 128 Format auto_round (GPTQ-compatible) Iterations 200 Calibration samples 512 Calibration sequence length 2048 Hardware NVIDIA DGX Spark (GB10, 128GB unified memory)
Layers Preserved in BF16
The following layers are not quantized to preserve model quality:
Layer Reason lm_headOutput head, sensitive to quantization noise embed_tokensInput embeddings (auto-excluded by shape) shared_expert.*Shared expert weights, processes every token shared_expert_gateShared expert routing gate mlp.gateMoE routing gate (auto-excluded) linear_attn.*GDN/DeltaNet layers, may output zeros if quantized model.visual.*Vision encoder (auto-excluded by shape) mtp.*Multi-Token Prediction weights (copied as RTN INT4)
Performance
Tested on a single NVIDIA DGX Spark (GB10, 128GB LPDDR5X, SM121):
Speculative Decoding
This model supports two speculative decoding methods:
DFlash (requires separate drafter model):
--speculative-config '{"method": "dflash", "model": "z-lab/Qwen3.5-35B-A3B-DFlash", "num_speculative_tokens": 16}'
Note: The DFlash drafter was trained on the original Qwen3.5-35B-A3B. Acceptance rate on the abliterated variant may be lower than on the original model.
MTP (uses built-in weights, no extra model needed):
--speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'Serving with vLLM
1 vllm serve /path/to/model \
2 --quantization moe_wna16 \
3 --served-model-name qwen3.5-35b \
4 --reasoning-parser qwen3 \
5 --enable-auto-tool-choice \
6 --tool-call-parser qwen3_coder \
7 --kv-cache-dtype auto \
8 --gpu-memory-utilization 0.90 \
9 --max-model-len 65536 \
10 --enable-prefix-caching \
11 --enable-chunked-prefill \
12 --trust-remote-code \
13 --language-model-only
DGX Spark (SM121) Compatibility Notes
Use --quantization moe_wna16 for Marlin INT4 kernel (SM121 compatible via SM120 binary compat)
FP8 KV cache is not compatible with GDN non-causal attention layers; use --kv-cache-dtype auto
NVFP4 is not supported on SM121 (missing cvt.e2m1x2 instruction)
Runtime FP8 (--quantization fp8) is not compatible with DFlash (drafter inherits FP8 config and crashes)
--language-model-only skips vision encoder profiling for text-only inference--performance-mode interactivity enables latency-optimized CUDA graphs and kernelsClear page cache before starting on UMA: sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
Safety Warning
This model has safety filtering removed (abliterated) and may generate inappropriate content. Users are solely responsible for all consequences arising from its use. Please ensure usage complies with local laws and ethical standards.
Credits
Original Model : Qwen/Qwen3.5-35B-A3B by Alibaba Qwen TeamFine-tuning & Abliteration : huihui-ai INT4 Quantization : YuYu1015 on NVIDIA DGX Spark (GB10)Quantization Tool : Intel AutoRound
繁體中文
huihui-ai/Huihui-Qwen3.5-35B-A3B-Claude-4.6-Opus-abliterated 的 INT4 AutoRound 量化版本，針對
NVIDIA DGX Spark (GB10 SM121) 最佳化，使用 Marlin INT4 kernel 加速。
模型資訊
項目 數值 架構 MoE（35B 總參數, 3B 活躍）+ GDN (Mamba) + Attention 混合 基礎模型 Qwen/Qwen3.5-35B-A3B 微調者 huihui-ai （Claude 4.6 Opus 蒸餾 + abliteration）量化者 YuYu1015 模型大小 ~23 GB（原版 BF16 約 70 GB） Context 長度 最高 65,536 tokens（受限於 128GB 統一記憶體上的 BF16 KV cache） 思考模式 支援（enable_thinking: true/false） 工具呼叫 支援（qwen3_coder parser） MTP 內建 MTP 權重
量化詳情
項目 數值 方法 Intel AutoRound v0.12.2位元數 4 Group size 128 格式 auto_round（GPTQ 相容） 迭代次數 200 校準樣本數 512 校準序列長度 2048 量化硬體 NVIDIA DGX Spark（GB10, 128GB 統一記憶體）
保留 BF16 的層
以下層未被量化 以保持模型品質：
層 原因 lm_head輸出頭，對量化雜訊敏感 embed_tokens輸入嵌入（因 shape 自動排除） shared_expert.*共享專家權重，處理每個 token shared_expert_gate共享專家路由門 mlp.gateMoE 路由門（自動排除） linear_attn.*GDN/DeltaNet 層，量化後可能輸出零 model.visual.*視覺編碼器（因 shape 自動排除） mtp.*Multi-Token Prediction 權重（以 RTN INT4 複製）
效能表現
在單台 NVIDIA DGX Spark (GB10, 128GB LPDDR5X, SM121) 上實測：
投機解碼
本模型支援兩種投機解碼方式：
DFlash （需額外下載 drafter 模型）：
--speculative-config '{"method": "dflash", "model": "z-lab/Qwen3.5-35B-A3B-DFlash", "num_speculative_tokens": 16}'
注意：DFlash drafter 是以原版 Qwen3.5-35B-A3B 訓練的，在 abliterated 版本上的接受率可能較原版低。
MTP （使用內建權重，不需額外模型）：
--speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'DGX Spark (SM121) 相容性說明
使用 --quantization moe_wna16 啟用 Marlin INT4 kernel（SM121 透過 SM120 二進制相容性支援）
FP8 KV cache 與 GDN non-causal attention 不相容 ，請使用 --kv-cache-dtype auto
NVFP4 在 SM121 上不支援 （缺少 cvt.e2m1x2 指令）
Runtime FP8（--quantization fp8）與 DFlash 不相容 （drafter 繼承 FP8 config 導致 crash）
--language-model-only 跳過視覺編碼器 profiling，加速純文字推理啟動--performance-mode interactivity 啟用延遲最佳化的 CUDA graphs 和 kernelUMA 架構啟動前請先清除 page cache：sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'
安全警告
此模型已移除安全過濾機制（abliterated），可能產生敏感、爭議性或不當內容。使用者須自行承擔所有風險與法律責任，並確保使用方式符合當地法規與倫理標準。
致謝
原始模型 ：Qwen/Qwen3.5-35B-A3B ，Alibaba Qwen 團隊微調與去審查 ：huihui-ai INT4 量化 ：YuYu1015 ，於 NVIDIA DGX Spark (GB10) 上完成量化工具 ：Intel AutoRound 
