• finetune模型为已经在特定数据集微调过的模型，可直接使用
• pretrain模型为无监督预训练模型，无法直接进行ASR任务，需要用少量标注数据进行有监督训练后使用。相比于直接训练的方言识别模型，基于预训练模型可以利用更少的有标注数据获得更好的方言识别性能。我们提供了两种有监督训练框架，用于下游ASR任务：1) 基于fairseq的预训练模型微调； 2) 基于wenet的表征提取（特征提取器）训练下游ASR模型

环境配置

• PyTorch version >= 1.13.0
• Python version >= 3.8
• 数据准备、程序训练需要使用kaldi，请确保已正确安装：https://github.com/kaldi-asr/kaldi
  • 若已有提好的特征，程序运行时可以使用wenet开源框架中kaldi_io.py实现的方法替换kaldiio.load_mat，从而无需安装kaldi

• 安装fairseq及其依赖

• 安装fairseq额外依赖以及wenet表征训练任务运行所需依赖

• 若只需要fairseq进行微调、解码，可以不安装完整的requirements.txt，只需保证kaldiio, timm, editdistance, soundfile已正确安装

数据准备

特征提取

• 利用kaldi提取40维mfcc特征，参数设置参考mfcc_hires.conf
• 为各数据集准备训练用文件data.list，以\t分隔：

$ cat train/data.list
utt:X0000000000_100638174_S00037	feat:/data/raw_nnaudio.test.1.ark:2983479385	feat_shape:363,40	text:不惜在这种试验中毁灭包括自己在内的一切	token:不 惜 在 这 种 试 验 中 毁 灭 包 括 自 己 在 内 的 一 切	tokenid:[TOKENID]	token_shape:19,5537
utt:X0000000001_100849618_S00006	feat:/data/raw_nnaudio.test.1.ark:2984296665	feat_shape:345,40	text:在他们收到足够建立大统一模型的数据后	token:在 他 们 收 到 足 够 建 立 大 统 一 模 型 的 数 据 后	tokenid:[TOKENID]	token_shape:18,5537
...

字典准备

• 微调阶段，需要准备fairseq格式的 dict.${label}.txt，${label}为建模单元类型，如ltr, bpe等。以dict.ltr.txt为例：

是 2
好 3
...

• 预训练模型表征训练ASR任务阶段，需要准备wenet格式的lang_char.txt，相比于dict.${label}.txt额外添加<blank>, <unk>, <sos/eos>3个token，例如

<blank> 0
<unk> 1
是 2
好 3
...
<sos/eos> 5536

预训练模型微调

微调

• 准备train.tsv和dev.tsv，保存于同一训练目录下

  $ ln -s /path/to/train/data.list /path/to/train/train.tsv
  $ ln -s /path/to/dev/data.list /path/to/train/dev.tsv

• 进入data2vec_dialect路径，修改path.sh文件中/path/to/fairseq为fairseq安装路径
• 将run_scripts/run_d2v_finetune.sh中/path/to/fairseq和/path/to/data2vec_dialect路径替换
• 修改task.data为.tsv保存路径，如task.data=/data/wenetspeech/train
• 执行
  $ bash run_scripts/run_d2v_finetune.sh

解码

• 同样修改run_scripts/decode.sh中的模型路径、测试数据路径等
  • dataset.gen_subset为测试数据路径下tsv文件的名称，可配置多个
• 执行
  $ bash run_scripts/decode.sh

表征训练下游任务

• 进入wenet_representation路径，修改path.sh文件中fairseq, data2vec_dialect, wenet_representation相关路径
• 连续表征训练与解码：
  • 配置run_d2v.sh中dataset相关内容，执行
    $ bash run_d2v.sh
• 离散表征训练与解码：
  • 首先根据data.list，准备离散表征对应训练文件data.list.discrete，修改wenet/discrete_token/kmeans_d2v.yaml中model_dir和user_dir，执行
    $ bash wenet/discrete_token/dump_feat.sh
  • 再配置run_discrete.sh中dataset相关内容，执行
    $ bash run_discrete.sh

开源数据集结果

• 我们选择了多个开源中文数据集进行验证，以测试集上的字错误率 (Character Error Rate, CER) 结果作为衡量标准
• 在Aishell-1上我们选择其Train集作为有监督数据进行训练，在Test集上统计CER
• 在WenetSpeech上，我们分别使用100小时训练集Train_s和1000小时训练集Train_m分别作为有监督数据进行训练，在Test_Meeting测试集上统计CER
• Babel为NIST（美国国家标准与技术研究院）举办的低资源粤语电话识别任务数据集，我们使用其提供的训练集与测试集统计CER
• KeSpeech为中文多方言测试集，我们使用1396小时训练集作为有监督数据进行训练，选择提供的Test测试集统计CER

声明与协议

声明

协议