git clone https://github.com/piedpiperG/rgad-crosslingual-tts.git
cd rgad-crosslingual-tts

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
pip install -e .

python scripts/setup_zipvoice.py
python scripts/download_model.py --output-dir models/rgad-crosslingual-tts

python scripts/infer.py \
  --model-dir models/rgad-crosslingual-tts \
  --prompt-wav /path/to/foreign_speaker.wav \
  --text "这是用外语说话人音色合成的中文语音。" \
  --output-wav outputs/demo.wav \
  --gpu 0

文件说明

本模型仓库包含：

best-valid-loss.pt：推荐 checkpoint。
model.json：ZipVoice 模型结构配置。
tokens.txt：Emilia tokenizer 词表。
run_config.json：训练配置。
train_summary.json：训练摘要。

配套数据集

10 小时跨语言 TTS 数据集：

https://huggingface.co/datasets/isabeth/rgad-crosslingual-tts-10h

数据集包含 train.jsonl、dev.jsonl、metadata.csv、audio/prompts/*.wav 和 audio/targets/*.wav。可配合 GitHub 仓库中的 scripts/prepare_prefix_manifest.py 构建 prefix fine-tuning manifest。JSONL 每行包含 id、prompt_wav、target_wav、text、prompt_language、target_language 和 speaker_id，音频路径相对数据集根目录。

跨语言 TTS 评测

下面结果整理自原 RGAD-TTS 项目的 docs/paper_assets/stage21_main_text_20260520 主表。所有系统使用相同 prompt audio、目标文本、ASR、SIM-o、UTMOS 和 RTF 评测协议；目标语言为中文，因此主要看 CER。

FLEURS 公共跨语言基准

系统	样本数	CER ↓	SIM-o ↑	UTMOS ↑	RTF ↓
Original compact model	946	51.31%	0.551	2.988	0.0548
F5-TTS	946	21.22%	0.526	2.699	0.1364
IndexTTS2	946	3.68%	0.667	2.979	0.9580
Fish Audio S2	946	7.25%	0.642	3.516	0.5104
CosyVoice3	946	20.80%	0.674	3.338	0.5705
RGAD-TTS release	946	13.70%	0.512	3.244	0.0565
Reference target audio	946	4.15%	0.066	2.727	-

Podcast held-out 真实跨语言配音基准

系统	样本数	CER ↓	SIM-o ↑	UTMOS ↑	RTF ↓
Original compact model	425	49.10%	0.488	2.662	0.0672
F5-TTS	425	54.81%	0.426	1.939	0.0626
IndexTTS2	425	2.87%	0.509	2.546	1.4839
Fish Audio S2	425	169.91%	0.605	3.631	0.5035
CosyVoice3	425	105.95%	0.563	3.335	0.4570
RGAD-TTS release	425	3.38%	0.453	2.630	0.0564
Podcast target audio	425	2.67%	0.501	2.535	-

RGAD-TTS 在 FLEURS 上明显超过 F5-TTS 和原始 compact model；在 Podcast held-out 上，CER 接近 IndexTTS2 和目标音频参考，但 RTF 约为 IndexTTS2 的 1/26。 IndexTTS2 和 Fish Audio S2 在部分指标上仍更强，因此这里不声明公开中文 TTS SOTA；本模型的核心价值是提供一个本地可部署、推理成本较低的跨语言中文 TTS 模型。

模型特点

面向外语 prompt 到中文 TTS 的跨语言克隆。
使用 ZipVoice-style flow-matching compact model，本地推理成本较低。
推荐使用 duration filler 避免外语 transcript 干扰中文 target。
适合在该仓库基础上继续做 speaker-only prompt mode、duration aligner、speaker loss 等架构改进。

局限性

主要面向中文目标文本。
prompt audio 如果噪声大、多人说话或过长，音色保持和内容稳定性会下降。
当前 checkpoint 仍使用原 ZipVoice duration 机制，长句韵律和停顿仍有改进空间。

许可

模型和配套代码按 Apache-2.0 发布。ZipVoice 底座同样为 Apache-2.0。使用任何 prompt audio 或训练数据时，请自行确认数据和声音授权。