Qwen3-ASR-ncnn (wen3-ASR-ncnn)

本仓库的 ncnn 权重由 Qwen/Qwen3-ASR（0.6B）经 pnnx 转换而来，推理结果与 PyTorch 原版逐字一致。

特性

• 端到端纯 C++：音频解码（MP3/WAV）→ Whisper Mel 前端 → 音频塔 → LLM 自回归解码，一条命令出结果。
• 零外部依赖：MP3 用单文件 dr_mp3.h 解码；重采样（Kaiser 窗 sinc）、梅尔谱、分词器（byte-level BPE）全部自实现，不依赖 ffmpeg / torch。
• 多语言：模型自动检测语言并生成对应文本（中文 / 日语 / 英文等），UTF-8 输出，终端与文件均正确显示。
• 数值对齐：音频塔余弦相似度 ≈ 1.0，解码器逐层 ≈ 1.0，端到端文本与官方一致。

模型文件结构

assets/qwen3_asr_0.6b/
├── text_embed.ncnn.bin / .param      # 文本 embedding
├── lm_head.ncnn.bin / .param         # 输出层
├── decoder_norm.ncnn.bin / .param    # 最终 RMSNorm
├── decoder_00..27_{pre,o,mlp}.ncnn.* # 28 层 LLM 解码器（pre=RMSNorm+QKV+RoPE+GQA+o_proj; o=attn out; mlp=MLP）
├── audio_conv*.ncnn.*                # 音频塔卷积（3×Conv2d + conv_out）
├── audio_post.ncnn.*                 # 音频塔后投影（proj1 gelu + proj2）
├── audio_00..17_{pre,o,mlp}.ncnn.*   # 18 层音频编码器
├── vocab.txt / merges.txt            # byte-level BPE 词表
├── special_tokens.txt                # 特殊 token（本仓库为空，特殊 id 由代码处理）
├── hann_window.bin                   # [400] STFT 窗
└── mel_filters.bin                   # [128,201] 梅尔滤波器

构建

推理

• max_new：最多生成的新 token 数（即输出长度上限，不是音频长度）。
• 程序会自动把控制台切到 UTF-8，并把最终结果额外写入 asr_result.txt（带 BOM），记事本 / VS Code 打开必定正确显示。
• 若终端仍乱码，运行前执行 chcp 65001（Windows）或使用 Windows Terminal。

性能提示

• 瓶颈在 prefill：长音频（如 2 分钟）的 prefill 阶段约占总耗时 90%（串行逐 token 喂入）。 单步 decode ≈ 200ms/token（10 物理核 AVX2+OMP）。后续可优化为 batch prefill。
• 线程数：ncnn 默认用满逻辑核；本项目外层并行已去除，建议 net.opt.num_threads 设为物理核数（而非超线程数）。

许可

致谢

• Qwen3-ASR — 阿里巴巴通义千问团队
• ncnn — 腾讯开源高性能推理框架