CosyVoice2_distill_rknn RK3588
本项目旨在填补端侧嵌入式设备缺乏高质量现代音色克隆 TTS 方案的空白。
本方案基于 CosyVoice2-0.5B 模型，针对 RK3588 平台进行了“一步 Flow 流式蒸馏”深度优化。项目提供了完整的端到端部署资产，涵盖原始模型、蒸馏模型、ONNX 导出、RKLLM/RKNN 转换脚本、全 C++ 推理引擎及实机测试报告。
经实测，该方案在 RK3588 上已具备流式输出能力，在短、中等长度文本下基本达到或接近实时标准（
若部署于 QCS6490、AX650N 等更高算力平台，实时表现将更优）（AX650N已支持，
链接地址）
RK3572_rknn3平台已经适配，性能表现比RK3588更好一些。930ms≤TTFT≤1050ms，0.75≤持续RTF≤0.8。rknn3库无法直接开源，如有需要私聊。
受限于一步蒸馏的压缩比，当前方案在超长文本下的持续实时性尚无法绝对保证，且音质存在轻微可听失真，整体听感略低于官方 10 步模型。
客观声学评估表明，该蒸馏模型与官方 Teacher 模型的 Mel L1 相对误差为 0.17048。Mel 余弦相似度高达 0.998754
适配于RK3588的极致优化推理版本正在测试中.在不蒸馏LM模型的情况下（也就是保留最大文本能力情绪音色能力的情况下），手动混合量化int4+int8和手写推理引擎和手动量化会大约50%的提升。
这个方案会在此仓库心心like超过100时开源。（以下是它的性能，实际性能以实际开源为准）
| 档位 | 文本 token | 生成 token | 音频时长 | 一次性初始化 | TTFT | 流式 RTF | 总 RTF |
|---|
| 短 | 20 | 96 | 3.84 s | 4.440 s | 1070.217 ms | 0.596097 | 0.800288 |
| 中 | 51 | 192 | 7.68 s | 4.602 s | 1168.456 ms | 0.619256 | 0.732696 |
| 长 | 148 | 320 | 12.80 s | 4.728 s | 1362.013 ms | 0.627336 | 0.710218 |
就算这样也没有把TTFT压进1s。只能说端侧还是任重道远。如果有别的思路确定有一定性能收益可以私聊。
| 组件 | 配置 |
|---|
| LLM | 24 层 Qwen2，librknnrt / rknn_matmul |
| LLM 投影 | 74 组 W4A4，22 组 W8A8 |
| Speech head | W8A8 RKNN |
| Flow | T16 Encoder + 单步缓存 Estimator，FP16 RKNN |
| HiFT | F0 + Decoder，FP16 RKNN，32/40 帧 bucket |
| 流式调度 | 首段 T16 + 1 lookahead，稳态 T16 + 3 lookahead |
| KV cache | 15-token 固定前缀 |
模型卡
| 项目 | 内容 |
|---|
| 基础模型 | CosyVoice2-0.5B |
| 任务 | 中文零样本音色克隆 TTS |
| 输入 | 已规范化 UTF-8 文本 |
| 输出 | 24 kHz、16-bit、单声道 PCM/WAV |
| 默认音色 | runtime/clone/test.wav |
| LLM Prompt | 1 秒 |
| Flow Prompt | 3 秒 |
| RKLLM | Qwen2，两核 W8A8，context 2048 |
| RKNN | Speech Head W8A8；Flow、HiFT 和音色注册模型 FP16 |
| 运行时 | RKLLM 1.3.0、RKNN 2.3.2、RKNPU driver 0.9.8 |
| 硬件 | RK3588，4 个大核、3 个 NPU 核 |
部署结构
1规范化文本
2 -> C++ GPT-2/BPE 文本前端
3 -> Qwen2 W8A8 RKLLM，NPU0+1
4 -> Speech Head W8A8 RKNN，NPU0
5 -> 一步缓存 Flow FP16 RKNN，NPU2
6 -> HiFT FP16 RKNN，NPU2
7 -> 24 kHz PCM 流
默认使用 CPU5 至 CPU7（mask 0xE0）。RKNN 缓存使用 native I/O memory，文本和语音 embedding 使用 mmap 查表。
音色由 LLM Prompt、Flow Prompt、说话人 embedding 和 HiFT 共同控制。本项目只蒸馏 Flow，没有修改 LLM、Speech Head、CampPlus 和 HiFT 权重。
默认音色档案位于：
rknn/models/cosyvoice2/voices/testwav_llm_prompt1sRK3588 性能
测试条件：默认音色、两核 W8A8 RKLLM、一步 FP16 Flow、FP16 HiFT，不计模型加载时间。
| 档位 | 音频时长 | TTFT | 持续 RTF | 总 RTF | 峰值 RSS |
|---|
| 短音频 | 5.92 s | 2.255 s | 0.7459 | 1.0210 | 1523.6 MiB |
| 中等音频 | 9.64 s | 2.090 s | 0.8456 | 0.9888 | 1563.8 MiB |
| 长音频 | 24.28 s | 2.334 s | 0.9128 | 0.9773 | 1604.6 MiB |
| 超长音频，分 3 段 | 75.11 s | 2.165 s | 0.9182 | 1.0100 | 1633.9 MiB |
- 相同主验证文本三轮历史持续 RTF 中位数为
0.7880。
- 建议使用
400 ms 启播缓冲。
- 约 25 秒以上文本应按完整语义句切分，避免长上下文重复、漏句或乱序。
TTFT 是请求开始到第一块 PCM 就绪的时间；持续 RTF 不含第一块；总 RTF 是完整请求耗时除以音频时长。
Flow 蒸馏与质量
一步学生由官方 10 步 Flow Teacher 蒸馏得到。以下为同一固定测试集上的标准化 Mel 对比：
| Flow | 相对 10 步 Mel L1 | Mel 余弦 |
|---|
| 官方 10 步 | 0 | 1.000000 |
| 5 步 | 0.07810 | 0.999500 |
| 2 步 | 0.15184 | 0.999086 |
| 最终 1 步 | 0.17048 | 0.998754 |
一步模型适合验证端侧吞吐上限，但听感仍低于 5 步。Mel 余弦不能替代人工试听，也不能解释为主观音质只损失某个百分比。
RK3588 FP16 相对主机一步结果的 Mel MAE 为 0.016937、余弦为 0.999989，说明主要误差来自蒸馏，不是 ONNX/RKNN 转换。
短、中、长和超长样本均通过内容识别检查；对 test.wav 的 CampPlus 音色余弦为 0.661545 至 0.752080。
模型精度
| 组件 | 精度 | 说明 |
|---|
| Qwen2 RKLLM | W8A8 | 两核生产版本 |
| Speech Head | W8A8 | logits 余弦 0.999950 |
| Flow Encoder/Estimator | FP16 | W8A8 音质损失不可接受 |
| HiFT F0/Decoder | FP16 | W8A8 波形和 F0 偏差较大 |
生产模型位于 rknn/models/，ONNX 位于 onnx/models/，转换清单位于各自的 conversion/manifests/。
快速使用
RK3588 短音频：
1cd /home/cat/nextTTS/cosyvoice2_rknn
2./rknn/examples/infer_short.sh
指定文本和输出目录：
1./rknn/examples/infer_short.sh \
2 '今天的天气很好，我们一起去公园散步吧。' \
3 /home/cat/nextTTS/cosyvoice2_rknn/tests/results/rknn/my_short
长度基准：
./rknn/examples/benchmark_lengths.pyWSL 原始模型与 ONNX 回归：
1cd /home/serial/project/nextTTS/cosyvoice2_rknn
2./tests/run_wsl_tests.sh
板端组件回归：
1cd /home/cat/nextTTS/cosyvoice2_rknn
2./rknn/scripts/run_board_tests.sh
试听结果
- 短音频
- 中等音频
- 长音频
- 75 秒分句音频
- 性能汇总：
tests/results/rknn/length_demo/benchmark_summary.json
- 质量汇总：
tests/results/rknn/length_demo/quality_summary.json
目录
1original/ 原始模型、一步学生和官方推理源码
2onnx/ ONNX 模型、导出代码和数值回归
3rknn/ RKLLM/RKNN、C++ 推理和板端测试
4tests/ 测试入口、指标和试听音频
5runtime/ 默认音色、文本规范化资源和运行目录
已知限制
- 一步 Flow 仍有可听失真，不能视为官方 10 步模型的无损替代。
- 超长文本需要语义切分，75.11 秒分句结果的总 RTF 为
1.0100。
- HiFT Decoder 存在 CPU fallback，不同文本可能出现 NPU/CPU 调度波动。
- C++ 入口要求文本已经规范化，日期、货币等需由应用层处理。
- 固定音色已验证，任意新参考 WAV 的纯板端注册尚未完成严格验收。
- W8A8 Speech Head 会轻微改变采样概率，相同 seed 不保证生成相同 token。
完整性与许可
归档约 12 GB，文件清单见 manifest.json 和 MANIFEST.sha256。校验命令：
sha256sum -c MANIFEST.sha256本归档新增的源码、脚本、配置和文档使用顶层 LICENSE（Apache-2.0）。再分发时保留版权和许可证声明，并标注修改内容即可；上游 CosyVoice 源码、模型权重和第三方资产仍遵循各自的授权条款。
