Views
No views yet
| 项目 | 信息 |
|---|---|
| 原始模型名 | Qwen3.6-27B |
| 原始模型链接 | Qwen3.6-27B |
| msmodelslim commit id | 640291a51ffe5acb919e68f609b84fef419276d4 |
| 精度测试机型 | Atlas 800T A3 1台 |
| 精度测试平台 | docker vllm-ascend |
| 版本 | vllm-ascend:v0.18.0rc1 |
| 链接 | quay.io/ascend/vllm-ascend:v0.18.0rc1-a3-openeuler |
1msmodelslim quant \
2 --model_path weights/Qwen3.6-27B \
3 --save_path weights/Qwen3.6-27B-W8A8 \
4 --device npu \
5 --model_type Qwen3.5-27B \
6 --quant_type w8a8 \
7 --trust_remote_code True| 模型名 | 量化格式 | 数据集 | 测试精度 % | 本地浮点精度 % |
|---|---|---|---|---|
| Qwen3.6-27B-w8a8 | w8a8 | GPQA | 85.415 | 85.4175 |
--max-model-len 256000，精度存在波动，建议多次测试。