Qwen3-0.6B — MNN / Hexagon cDSP (4-bit)

模型信息

⚠️ 这是 MNN 专用格式，不是 Hugging Face transformers 的 safetensors/bin 格式，无法用 AutoModel.from_pretrained 直接加载。需使用 MNN-LLM App 或 MNN 推理引擎，并选择 hexagon 后端。

文件结构

qwen3_0_6b_hexagon/
├── llm.mnn          # MNN 计算图
├── llm.mnn.weight   # 4-bit 量化权重 (303 MB)
├── llm.mnn.json     # 导出配置
├── config.json      # MNN 配置（含 chat template）
├── llm_config.json  # MNN-LLM 推理配置（采样参数等）
├── tokenizer.mtok   # MNN tokenizer
└── export_args.json # 导出参数记录

使用方法

• 计算图 / 权重：llm.mnn + llm.mnn.weight
• Tokenizer：tokenizer.mtok
• 推理参数（temperature、top_p、repetition_penalty 等）见 llm_config.json

⚠️ 本模型针对 MNN 自研 Hexagon cDSP 后端（FastRPC + 自研 HVX/HMX kernel）优化，不是 QNN / 高通 AI Engine Direct 路线。

量化说明

• 权重：quant_bit=4, quant_block=64, sym=true
• Embedding 采用 tie_word_embeddings，与 lm_head 共享权重（export_args.json 中 tie_word_embeddings: true）

许可