量化方案	体积	CMB (100 题)	结论
bf16 GGUF	16 GB	基线	无量化损失但体积大
Q5_K_M	5.5 GB	-1 pp	唯一可生产版
Q4_K_M	4.7 GB	精度损失过大	不推荐
AWQ Int4	4.4 GB	-9 pp	校准数据选错(拒答题)

推理

llama.cpp / llama-server:

bash

# 下载
hf download shdkahjkda/medical-v5-8b-gguf v5-580-Q5_K_M.gguf --local-dir .

# 启动 (thinking on, 建议 max_tokens ≥ 4096)
./llama-server -m v5-580-Q5_K_M.gguf --host 0.0.0.0 --port 8000 -c 8192

已知坑:

vllm 不认 GGUF (gguf=N/A),必须走 llama.cpp
thinking=1 时 max_tokens < 4096 会截断
CUDA build 需 PATH 正确 (nvcc --version 能命中)
重启前清理端口残留
纯 CPU build 慢 100 倍,建议 CUDA / Metal 加速

数据来源

底座: Qwen/Qwen3-8B (Apache 2.0)
SFT 数据 37,353 条:
- A: 高质量清洗的开源中西医问答数据集 32k
- C: Baichuan-M2-32B 蒸馏 thinking 5k
- D1: 教材方剂 296 条

License

底座 Qwen3-8B: Apache 2.0
蒸馏老师 Baichuan-M2-32B: Apache 2.0
教材方剂部分: 版权归原教材,仅研究用途
模型输出仅供参考,不构成医疗建议

配套

全权重 bf16: shdkahjkda/medical-v5-8b
工程代码: 内部微调工程代码暂不开源 (Private)

项目状态

训练完工: 2026-06-21
Q5_K_M 量化: 2026-06-27
推 HF: 2026-07-01