Views
No views yet
| Item | Value |
|---|---|
| Architecture | Dense 27B + GDN (Mamba) + Attention hybrid |
| Base model | Qwen/Qwen3.5-27B |
| Fine-tuned by | huihui-ai (Claude 4.6 Opus distillation + abliteration) |
| Quantized by | YuYu1015 |
| Model size | ~26 GB (vs ~54 GB BF16 original) |
| Context length | Up to 65,536 tokens |
| Thinking mode | Supported (enable_thinking: true/false) |
| Tool calling | Supported (qwen3_coder parser) |
| Item | Value |
|---|---|
| Method | Intel AutoRound v0.12.2 |
| Bits | 4 |
| Group size | 128 |
| Format | auto_round (GPTQ-compatible) |
| Iterations | 200 |
| Calibration samples | 512 |
| Calibration sequence length | 2048 |
| Hardware | NVIDIA DGX Spark (GB10, 128GB unified memory) |
| Layer | Reason |
|---|---|
lm_head | Output head, sensitive to quantization noise |
embed_tokens | Input embeddings (auto-excluded by shape) |
linear_attn.* | GDN/DeltaNet layers, may output zeros if quantized |
model.visual.* | Vision encoder (auto-excluded by shape) |
--speculative-config '{"method": "dflash", "model": "z-lab/Qwen3.5-27B-DFlash", "num_speculative_tokens": 16}'Note: The DFlash drafter was trained on the original Qwen3.5-27B. Acceptance rate on the abliterated/distilled variant may be lower than on the original model.
1vllm serve /path/to/model \
2 --quantization gptq_marlin \
3 --served-model-name qwen3.5-27b \
4 --reasoning-parser qwen3 \
5 --enable-auto-tool-choice \
6 --tool-call-parser qwen3_coder \
7 --kv-cache-dtype auto \
8 --gpu-memory-utilization 0.90 \
9 --max-model-len 65536 \
10 --enable-prefix-caching \
11 --enable-chunked-prefill \
12 --trust-remote-code \
13 --language-model-only--quantization gptq_marlin for Marlin INT4 kernel (Dense model, not MoE)--kv-cache-dtype autocvt.e2m1x2 instruction)--quantization fp8) is not compatible with DFlash--language-model-only skips vision encoder profiling for text-only inferencesudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'| 項目 | 數值 |
|---|---|
| 架構 | Dense 27B + GDN (Mamba) + Attention 混合 |
| 基礎模型 | Qwen/Qwen3.5-27B |
| 微調者 | huihui-ai（Claude 4.6 Opus 蒸餾 + abliteration） |
| 量化者 | YuYu1015 |
| 模型大小 | ~26 GB（原版 BF16 約 54 GB） |
| Context 長度 | 最高 65,536 tokens |
| 思考模式 | 支援（enable_thinking: true/false） |
| 工具呼叫 | 支援（qwen3_coder parser） |
| 項目 | 數值 |
|---|---|
| 方法 | Intel AutoRound v0.12.2 |
| 位元數 | 4 |
| Group size | 128 |
| 格式 | auto_round（GPTQ 相容） |
| 迭代次數 | 200 |
| 校準樣本數 | 512 |
| 校準序列長度 | 2048 |
| 量化硬體 | NVIDIA DGX Spark（GB10, 128GB 統一記憶體） |
| 層 | 原因 |
|---|---|
lm_head | 輸出頭，對量化雜訊敏感 |
embed_tokens | 輸入嵌入（因 shape 自動排除） |
linear_attn.* | GDN/DeltaNet 層，量化後可能輸出零 |
model.visual.* | 視覺編碼器（因 shape 自動排除） |
--quantization gptq_marlin 啟用 Marlin INT4 kernel（Dense 模型，非 MoE）--kv-cache-dtype autocvt.e2m1x2 指令）--quantization fp8）與 DFlash 不相容sudo sh -c 'echo 3 > /proc/sys/vm/drop_caches'