部分	位宽	group size	说明
GDN in_proj_qkv / in_proj_z	4bit	128	GDN 线性层容错性好,大胆压缩
GDN MLP gate/up/down	4bit	128	计算量主体,4bit 大幅省显存
GDN out_proj	8bit	64	输出路径保留精度
self-attention o_proj + MLP	8bit	128	注意力输出关键路径 8bit
self-attention in_proj_qkv	FP16 未量化	—	q/k/v 投影对量化最敏感,保持全精度
embedding / norm / conv	FP16	—	全精度

G8 = 关键路径 8bit; L4 = 大部分线性层 4bit; i = int8 KV cache
量化格式: compressed-tensors (pack-quantized), recipe 见 recipe.yaml
权重体积: ~22GB(原始 FP16 约 54GB),可装入单张 2080Ti 22GB

实测数据(2080Ti ×2, TP=2, FlashInfer 后端)

上下文	prefill 耗时	吞吐
25K	20.4s	1224 tok/s
128K	126.1s	1016 tok/s
256K	342.8s	744 tok/s

质量:算术/逻辑陷阱题/128K needle 检索全部通过
int8 KV cache 使 KV 池翻倍,256K 上下文在双卡 2080Ti 上可运行

部署要求

vLLM(需支持 GDN 混合架构的 fork 版本,如 weicj/vLLM-2080Ti-Definitive)
推荐 --attention-backend FLASHINFER(FlashInfer 0.6.8+ 支持 sm_75 prefill)
推荐 --kv-cache-dtype int8_per_tensor(启用 int8 KV,解锁 256K)
支持 compressed-tensors 4bit/8bit 反量化

快速开始

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "superniker/qwen3.8-27b-g8l4i",
    trust_remote_code=True,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(
    "superniker/qwen3.8-27b-g8l4i", trust_remote_code=True
)

说明

本模型为社区量化版本,与官方 Qwen3.5 架构一致,量化误差已通过长上下文实测验证
训练/量化方法:GPTQ 风格逐层量化,混合位宽策略(见 recipe.yaml)