config: conf/train_asr_smaller_aishell_xlsr.yaml
print_config: false
log_level: INFO
dry_run: false
iterator_type: sequence
output_dir: exp_train_asr_smaller_aishell_xlsr/asr_train_asr_smaller_aishell_xlsr_raw_zh_word
ngpu: 1
seed: 0
num_workers: 1
num_att_plot: 3
dist_backend: nccl
dist_init_method: env://
dist_world_size: null
dist_rank: null
local_rank: 0
dist_master_addr: null
dist_master_port: null
dist_launcher: null
multiprocessing_distributed: false
unused_parameters: false
sharded_ddp: false
cudnn_enabled: true
cudnn_benchmark: false
cudnn_deterministic: true
collect_stats: false
write_collected_feats: false
max_epoch: 100
patience: null
val_scheduler_criterion:
- valid
- loss
early_stopping_criterion:
- valid
- loss
- min
best_model_criterion:
- - train
- loss
- min
- - valid
- loss
- min
- - train
- acc
- max
- - valid
- acc
- max
keep_nbest_models: 5
grad_clip: 5.0
grad_clip_type: 2.0
grad_noise: false
accum_grad: 1
no_forward_run: false
resume: true
train_dtype: float32
use_amp: false
log_interval: null
use_tensorboard: true
use_wandb: false
wandb_project: null
wandb_id: null
wandb_entity: null
wandb_name: null
wandb_model_log_interval: -1
detect_anomaly: false
pretrain_path: null
init_param: []
ignore_init_mismatch: false
freeze_param:
- frontend.upstream
num_iters_per_epoch: null
batch_size: 20
valid_batch_size: null
batch_bins: 1000000
valid_batch_bins: null
train_shape_file:
- exp_train_asr_smaller_aishell_xlsr/asr_stats_raw_zh_word/train/speech_shape
- exp_train_asr_smaller_aishell_xlsr/asr_stats_raw_zh_word/train/text_shape.word
valid_shape_file:
- exp_train_asr_smaller_aishell_xlsr/asr_stats_raw_zh_word/valid/speech_shape
- exp_train_asr_smaller_aishell_xlsr/asr_stats_raw_zh_word/valid/text_shape.word
batch_type: folded
valid_batch_type: null
fold_length:
- 80000
- 150
sort_in_batch: descending
sort_batch: descending
multiple_iterator: false
chunk_length: 500
chunk_shift_ratio: 0.5
num_cache_chunks: 1024
train_data_path_and_name_and_type:
- - dump/raw/train/wav.scp
- speech
- sound
- - dump/raw/train/text
- text
- text
valid_data_path_and_name_and_type:
- - dump/raw/valid/wav.scp
- speech
- sound
- - dump/raw/valid/text
- text
- text
allow_variable_data_keys: false
max_cache_size: 0.0
max_cache_fd: 32
valid_max_cache_size: null
optim: adam
optim_conf:
lr: 0.0001
scheduler: warmuplr
scheduler_conf:
warmup_steps: 2500
token_list:
- <blank>
- <unk>
- 航
- 导
- inform_操作_none
- inform_终点名称_none
- 去
- none_none_none
- 我
- 到
- inform_poi名称_none
- unknown
- 要
- 市
- side
- 一
- 个
- 路
- 区
- 第
- 大
- 县
- 你
- inform_序列号_none
- 小
- 城
- 站
- 家
- 南
- 中
- 山
- 州
- 好
- 镇
- 场
- 的
- 院
- 西
- 店
- 东
- 车
- 阳
- 学
- 北
- 园
- dialect
- 安
- 新
- 海
- 回
- 公
- 医
- 二
- 不
- 三
- 广
- 天
- 村
- 有
- 闭
- 开
- 酒
- 下
- 江
- 消
- 人
- 帮
- 金
- 是
- 取
- 花
- 近
- 政
- 民
- 口
- 十
- 里
- 河
- 府
- 请
- 关
- 国
- 了
- 华
- 那
- 高
- robot
- 出
- 平
- 湖
- 在
- 省
- 定
- 号
- 门
- 想
- 街
- 四
- 道
- 水
- 龙
- 京
- 啊
- 地
- 行
- 么
- 五
- 都
- 桥
- 上
- 给
- 明
- 业
- 哪
- 附
- 八
- 宁
- 心
- 长
- 馆
- 百
- 这
- 汽
- 机
- 工
- 庄
- 方
- 商
- 司
- 石
- 确
- 兴
- 火
- 走
- 乡
- 万
- 通
- 加
- 银
- 青
- 发
- 校
- 速
- 交
- 退
- 德
- 际
- 电
- 楼
- 宾
- 找
- 苑
- 和
- 嗯
- 油
- 林
- 乐
- 景
- 打
- 达
- 来
- 七
- 川
- inform_请求类型_none
- 最
- noise
- 兰
- 湾
- 台
- 所
- 保
- 什
- 福
- 建
- 说
- 就
- 沙
- 页
- 宝
- 子
- 厂
- 科
- 尔
- 光
- inform_页码_none
- 六
- 费
- 环
- 成
- 昌
- 吗
- 汉
- 白
- 黄
- 限
- 局
- 泉
- 怎
- 云
- 武
- 源
- 吃
- 前
- 点
- 收
- 物
- 滨
- 溪
- 马
- 贵
- 务
- 世
- 岛
- 没
- 生
- 常
- 理
- 会
- 们
- 重
- 浦
- 名
- 合
- 运
- 顺
- 美
- 儿
- 头
- 乌
- 设
- 厦
- 化
- 郑
- 时
- inform_poi目标_none
- 现
- 农
- 港
- 泰
- 停
- 宜
- 昆
- 九
- 对
- 管
- 看
- 界
- 张
- 庆
- 文
- 博
- 嘉
- 零
- 苏
- 能
- 面
- 客
- 红
- 搜
- 远
- 古
- 津
- 始
- 王
- 呃
- 用
- 瑞
- 后
- 雅
- 带
- 流
- 木
- 之
- 汇
- 夏
- 他
- 还
- 清
- 临
- 服
- 渡
- 日
- 幺
- 济
- 田
- 锦
- 吉
- 呀
- 利
- 神
- 饭
- 香
- 太
- 双
- 永
- 图
- 洲
- 集
- 特
- 吧
- request_位置_none
- 技
- 把
- 寺
- 爱
- 丰
- 春
- 盛
- 罗
- 队
- 也
- 亚
- 线
- 玉
- 哦
- 贸
- 果
- 连
- 正
- 结
- 与
- 米
- 鲁
- 警
- 信
- 捷
- 样
- 温
- 岭
- 丽
- 育
- 凤
- 位
- 听
- 动
- 可
- 原
- 年
- 经
- 纪
- 齐
- 索
- inform_对象_none
- 义
- 多
- 叫
- 况
- 气
- 老
- 派
- 池
- 曲
- 营
- 返
- 置
- 品
- 程
- 同
- 辉
- 批
- 音
- 康
- 威
- 幼
- 斯
- 库
- 拉
- 星
- 团
- 风
- 岗
- 话
- 放
- 泽
- 晋
- 部
- 知
- 外
- 塔
- 沈
- 奇
- 卫
- 月
- 庭
- 眼
- 总
- 梅
- 房
- 千
- 哈
- 自
- 字
- 呢
- 豪
- 直
- 盘
- 屯
- 超
- 祥
- 佳
- 恒
- 过
- 以
- 两
- 蓝
- 修
- 入
- 松
- 铁
- 职
- 珠
- 凯
- 快
- 丹
- 体
- 书
- 游
- 转
- 莱
- 寨
- 克
- 当
- 李
- 钱
- s
- 货
- 惠
- 格
- 岳
- 淮
- 束
- 社
- 莞
- 森
- 堵
- 内
- 蒙
- 分
- 柏
- 富
- 碧
- 凰
- 陵
- 桐
- 边
- 坡
- 胶
- 得
- 力
- 滚
- 喀
- 旗
- 料
- 歌
- 块
- 滩
- 查
- 虹
- 续
- 为
- 驾
- 许
- 峰
- 问
- 真
- 视
- 选
- 接
- 语
- 洪
- 众
- 全
- 徽
- 鄂
- 实
- 未
- 杭
- 尚
- 胜
- 塘
- 产
- 鱼
- 叉
- 岸
- 洛
- 随
- 哎
- 配
- 丁
- 继
- 迪
- 牛
- 坪
- 无
- 深
- 圳
- 韩
- 法
- 灵
- 迁
- 间
- 逼
- 步
- 咸
- 期
- 菜
- 紫
- 邢
- 赣
- 横
- 播
- 鼎
- 进
- 止
- 铜
- 便
- 鸡
- 巴
- 仁
- 财
- 佛
- 桂
- 官
- 英
- 绵
- 奥
- 矿
- 波
- 治
- 元
- 首
- 钟
- 计
- 飞
- 坊
- 阿
- 代
- 周
- 朝
- 固
- 错
- 向
- 潭
- 隆
- 装
- 纳
- 伊
- 将
- 军
- 师
- 途
- 影
- 怀
- 择
- 药
- 术
- 手
- 于
- 离
- 族
- 莲
- 布
- 呼
- 峡
- 迈
- 委
- 叮
- 咚
- 阴
- 宏
- 郡
- 健
- 本
- 洋
- 再
- 支
- 划
- 郊
- 绿
- 妈
- 旅
- 堰
- 肥
- 玛
- 左
- 网
- inform_途经点名称_none
- 拜
- 材
- inform_终点修饰_none
- 辽
- 煤
- 谢
- 则
- 土
- 草
- 埠
- 伦
- 堂
- 卡
- 肉
- 底
- 灯
- 树
- 寻
- 掉
- 展
- 庙
- 赵
- 余
- 见
- 望
- 故
- 事
- 相
- 杨
- inform_终点目标_none
- 馨
- 税
- 属
- 资
- 井
- 艺
- 越
- 微
- 包
- 阜
- 记
- 窗
- 维
- 甲
- 鑫
- 休
- 啥
- 锡
- 渝
- 岩
- 彩
- 少
- 处
- 往
- 从
- 封
- 联
- 觉
- 验
- 容
- 萨
- 普
- 弄
- 干
- 强
- 鲜
- 柳
- 衡
- 规
- request_路况_none
- 靖
- 沃
- 板
- 防
- 约
- 球
- 居
- 至
- 坝
- 翠
- 持
- 具
- 烟
- 榆
- 枫
- 照
- 意
- 目
- t
- 凌
- 邦
- 报
- 码
- 轻
- 欣
- 复
- 买
- 玻
- 璃
- 住
- 恩
- 女
- 嘴
- 级
- 振
- 邵
- 浴
- 茂
- 黔
- 您
- 比
- 显
- 渭
- 钢
- 妇
- 易
- 党
- 版
- 介
- 姐
- 才
- 览
- k
- 崇
- 桃
- 厅
- 虎
- 皮
- 仪
- 赤
- 寓
- 洞
- 绍
- 饰
- 很
- 病
- 度
- 胡
- 像
- 邮
- 又
- 充
- 贤
- 御
- 然
- 潍
- 基
- 启
- 聊
- 驶
- inform_路线偏好_none
- 澄
- 几
- 等
- 塑
- 监
- 办
- 沧
- 亭
- 观
- 螺
- 领
- 秀
- 咋
- 坨
- 奎
- 优
- 半
- 贡
- 唐
- 写
- 今
- 慢
- 傻
- 反
- 次
- 甘
- 肃
- 它
- 泗
- 贺
- 拍
- 咱
- 留
- ktv
- 察
- 顶
- 啦
- 别
- 润
- 谷
- 仙
- 慧
- 朱
- 靠
- 座
- 锅
- 麦
- 雁
- 羊
- 共
- 邓
- 荣
- 食
- 陕
- 邑
- 右
- 铺
- 梁
- 宣
- 幸
- 哥
- 士
- 员
- 招
- 番
- 徐
- 检
- 巷
- 私
- 堡
- 跟
- 器
- 峪
- 立
- 氏
- 教
- 圣
- 购
- 印
- 黑
- 完
- 条
- 唉
- 燕
- 屿
- 闸
- 茶
- 任
- 种
- 蛋
- 荆
- 岔
- inform_value_none
- 黎
- 奉
- 准
- 熟
- 薛
- 朔
- 范
- 械
- 菲
- 雪
- 腾
- 备
- 琼
- 尹
- 垣
- 吴
- 示
- 嫖
- 宫
- 冲
- 毛
- 绘
- 菏
- 嘞
- 浙
- 遵
- 各
- 饶
- 嗷
- 简
- 施
- 俱
- 岚
- 豆
- 栋
- 险
- 岘
- 滇
- 叶
- 卓
- 荔
- 刘
- 滕
- 系
- 统
- e
- 做
- 巡
- 坐
- 研
- 究
- 盐
- 冀
- 象
- 斗
- 娄
- 先
- 陆
- deny_操作_none
- 户
- 额
- 价
- 更
- 拆
- 溧
- 量
- 帝
- 断
- 态
- 智
- 蜀
- 庐
- 舟
- 摄
- 泡
- 洗
- 历
- 咖
- 啡
- 湘
- 甸
- 泾
- 卖
- 朗
- 芜
- 棠
- 凉
- 嵩
- 焦
- 让
- 夫
- 吐
- 童
- 薇
- 旺
- 浩
- 息
- 裕
- 禄
- 睡
- 狮
- 质
- 樱
- 递
- 鸣
- 句
- 韶
- 色
- 典
- 厉
- 测
- 应
- 尉
- 汤
- 己
- 宸
- 漳
- 证
- 沟
- 巩
- 扬
- 笨
- 旁
- 湟
- 主
- 浪
- 殡
- request_前方路况_none
- 竹
- 列
- 季
- 唱
- 冠
- 泥
- 懂
- 秋
- 君
- 祁
- 声
- 拥
- 曹
- 嘛
- 静
- 嗨
- 起
- 刚
- 墨
- 宿
- 络
- 襄
- 葫
- 芦
- 漫
- 峨
- 需
- 眉
- 瓦
- 如
- 根
- 域
- 式
- 何
- 鞍
- 饺
- 票
- 冶
- 喷
- 映
- 组
- 昭
- 延
- 萌
- 角
- 解
- 玲
- 蟹
- 晃
- 瀑
- 纽
- 逸
- 些
- 猪
- 蹄
- 亲
- 野
- 蒋
- 喂
- 荷
- 窝
- 锁
- 试
- 桑
- 沥
- 非
- 制
- 督
- 贝
- 址
- 识
- 侬
- 烧
- 翡
- 堤
- 伟
- 驼
- 昊
- 牌
- 陶
- 室
- 轩
- 鹰
- 钉
- 空
- 着
- 蛳
- 已
- 砖
- 姓
- 顿
- 麓
- 亿
- 售
- 功
- 淄
- 澳
- 斜
- 击
- 活
- 缴
- 输
- 雍
- 鄄
- 降
- 革
- 恢
- 卸
- 承
- 箬
- 澧
- 栈
- 疗
- 传
- 媒
- 血
- 战
- 舞
- 姨
- 婆
- 辆
- 蚌
- 鹅
- 剧
- 湛
- 亳
- b
- 敦
- 煌
- 迎
- 味
- 数
- 妞
- 嫂
- 厚
- hi
- 邹
- 摁
- 榄
- 梨
- 亮
- 纺
- 婚
- 培
- 训
- inform_起点名称_none
- 护
- 霍
- 升
- 考
- m
- 呗
- 摩
- 送
- 段
- 悦
- 餐
- 早
- 议
- 互
- 助
- 抚
- 慈
- 按
- 调
- 杰
- 份
- 兵
- 粥
- 邻
- 墅
- 鬃
- 泳
- 朋
- 良
- 缘
- 鼓
- 赛
- 枝
- 藏
- 鸿
- 冷
- 匀
- 征
- 欢
- 闯
- 汝
- 讲
- 肤
- 响
- 浮
- 录
- 冰
- 圆
- 算
- 思
- 储
- 蓄
- 苗
- 聚
- 湿
- 肇
- 阆
- 拿
- 沣
- 渔
- 铝
- 植
- 托
- 盟
- 宇
- 但
- 渠
- 告
- 丘
- 拓
- 陇
- 鹤
- 操
- 珙
- deny_poi名称_none
- 询
- 攀
- 寿
- 副
- 或
- 假
- 焰
- 夜
- 妓
- 而
- 漆
- 濮
- 胥
- 密
- 志
- 苹
- 彭
- 陪
- 添
- 满
- 章
- 骨
- 栖
- 呦
- 善
- 乖
- 姑
- 爷
- 鸟
- 璧
- 专
- 洧
- 依
- 仔
- 晨
- 沂
- 券
- 晓
- 压
- 涨
- 闻
- 男
- 诊
- 融
- 怡
- 蓬
- 廊
- 殖
- 益
- 必
- 靓
- 蒲
- beyond
- i
- love
- you
- 旋
- 尖
- 驿
- 貂
- 蝉
- 足
- 迹
- 翰
- 杏
- 牡
- 帅
- 雨
- 呈
- 迷
- 哟
- 召
- 娼
- 辛
- 顾
- 殷
- 闵
- 潮
- 脑
- 彗
- 枣
- 杆
- 洁
- 画
- 片
- 认
- 灰
- 鞋
- 宠
- 劫
- 潘
- 烤
- 破
- 隶
- 搞
- 忠
- 仕
- 郴
- 梧
- 酌
- 涵
- 醍
- 候
- 俩
- 馈
- 磨
- 骤
- 翔
- 莘
- 希
- 娅
- 剑
- 权
- 壹
- 冕
- 蛟
- 拨
- 诶
- 盖
- 楠
- 只
- 编
- 虾
- 尽
- 尧
- 晚
- 珍
- 因
- 捆
- 绑
- 端
- 盱
- 眙
- 贩
- 卷
- 养
- 陂
- 晟
- 巧
- 椿
- 毕
- 沭
- 供
- 秒
- 眠
- 状
- 璟
- 受
- 伤
- 萍
- 奔
- 效
- 禽
- 玫
- 瑰
- request_剩余距离_none
- 序
- 鹃
- 齿
- 厕
- 厨
- 忻
- 埔
- 茅
- 芳
- 雕
- 刻
- 蜜
- 筝
- g
- 橄
- 畜
- 牧
- 仑
- 臣
- 溆
- 纱
- 卉
- 群
- 痛
- 疼
- 仟
- 赶
- 紧
- 闫
- 嘶
- 潼
- 烽
- 勾
- 驰
- 麻
- 烦
- 遍
- 樟
- 浜
- 极
- 酷
- 晶
- 穿
- 芽
- 害
- 钓
- 棍
- 核
- 橙
- 琴
- 滋
- 柯
- 箐
- 株
- 陌
- 坤
- 炳
- 槐
- 协
- 湄
- 滏
- 旦
- 策
- 虞
- 陈
- 情
- 潞
- 藁
- 豹
- 若
- 垃
- 圾
- 舰
- 造
- 珥
- 董
- 泼
- 乾
- 瑶
- 龚
- 撤
- 钛
- 责
- 吶
- 喜
- 隔
- 碗
- 倒
- 椰
- 冬
- 伯
- 乳
- 隐
- 尼
- 境
- 圩
- 卧
- 抱
- 使
- 玩
- 饮
- 峤
- 炉
- 终
- 霸
- 晴
- 糕
- 疫
- 弥
- 萧
- 围
- 邬
- 贞
- 逊
- 祠
- 泛
- 逯
- 侯
- 距
- 织
- 谋
- 嵋
- 楚
- 瑜
- 妹
- 误
- 念
- 镜
- 粮
- 涮
- 值
- 鹿
- 捞
- 沅
- 移
- 涉
- 模
- 饿
- 佩
- 汀
- 朐
- 魔
- 细
- 者
- 暖
- 汕
- 谛
- 棣
- 敖
- 此
- 背
- 鲅
- 圈
- 逻
- 绕
- 锋
- 班
- 珲
- 汾
- 著
- 参
- 且
- 摇
- 宕
- 缅
- 柔
- 脂
- 肪
- 变
- 谱
- 积
- 礼
- 凡
- 落
- 羽
- 歇
- 仰
- 聋
- 雷
- 磊
- 繁
- 吭
- 皇
- 晖
- 粤
- 腊
- 习
- 题
- 绅
- 畔
- 啤
- 弋
- 匹
- 订
- 单
- ok
- 灶
- 描
- 婺
- 沿
- 莉
- 弘
- 茵
- 换
- 屏
- 瞎
- 较
- 岁
- 湫
- 塞
- 疏
- 勒
- 涟
- 巫
- 违
- 戈
- 吾
- 脏
- 葛
- 轮
- 胎
- 霞
- 鹭
- 废
- 稍
- 谨
- 慎
- 淡
- 注
- 每
- 既
- 删
- 喝
- 付
- 诸
- 暨
- 戴
- 綦
- 伍
- 诚
- 坦
- 兜
- 残
- 韵
- 喽
- 廖
- 麒
- 麟
- n
- 感
- 籍
- 难
- 死
- 笑
- 哭
- 孩
- 频
- 舍
- 溶
- 垸
- 淀
- 奸
- 改
- 藤
- 狭
- 隧
- 翁
- 陀
- 扎
- 肯
- 揭
- 壁
- 件
- 刷
- 牙
- 节
- 恋
- 淹
- 桦
- 幢
- 棉
- 俺
- 屎
- 彬
- 牟
- 亩
- 傣
- 裴
- 翼
- 辰
- 剪
- 挡
- 凹
- 投
- 碣
- 妆
- 荡
- 驻
- 颍
- 狐
- 享
- 恐
- 汶
- 寅
- 仍
- 睿
- 搁
- 尊
- 泊
- 仲
- 午
- 枞
- 仓
- 卞
- 瀚
- 佰
- 暮
- 拐
- 崔
- 榭
- 棵
- 孕
- 潜
- 俏
- 葡
- 萄
- 采
- 摘
- 癜
- 屑
- 芙
- 蓉
- 咏
- 忙
- 漂
- 父
- 母
- 差
- 彻
- 魏
- 绥
- 闲
- 遥
- 棕
- 榈
- 壶
- 疆
- 苍
- 磁
- 辅
- 泸
- 淅
- a
- 呐
- 燃
- 沱
- 禺
- 宛
- 友
- 俊
- 筑
- 贾
- 宋
- 梯
- 吨
- inform_poi修饰_none
- 础
- 碑
- request_剩余路程_none
- 创
- 孙
- 枢
- 翟
- 浑
- 糖
- 舜
- 橱
- 柜
- 浠
- 莒
- 乔
- 幕
- 磅
- 嘿
- 曼
- 昔
- 衣
- 铭
- 浏
- 喆
- 垦
- 墓
- 戍
- <sos/eos>
init: null
input_size: null
ctc_conf:
dropout_rate: 0.0
ctc_type: builtin
reduce: true
ignore_nan_grad: true
model_conf:
ctc_weight: 0.3
lsm_weight: 0.1
length_normalized_loss: false
extract_feats_in_collect_stats: false
use_preprocessor: true
token_type: word
bpemodel: null
non_linguistic_symbols: null
cleaner: null
g2p: null
speech_volume_normalize: null
rir_scp: null
rir_apply_prob: 1.0
noise_scp: null
noise_apply_prob: 1.0
noise_db_range: '13_15'
frontend: s3prl
frontend_conf:
frontend_conf:
upstream: wav2vec2_xlsr
download_dir: ./hub
multilayer_feature: true
fs: 16k
specaug: specaug
specaug_conf:
apply_time_warp: true
time_warp_window: 5
time_warp_mode: bicubic
apply_freq_mask: true
freq_mask_width_range:
- 0
- 30
num_freq_mask: 2
apply_time_mask: true
time_mask_width_range:
- 0
- 40
num_time_mask: 2
normalize: utterance_mvn
normalize_conf: {}
preencoder: linear
preencoder_conf:
input_size: 1024
output_size: 80
encoder: conformer
encoder_conf:
output_size: 256
attention_heads: 4
linear_units: 2048
num_blocks: 6
dropout_rate: 0.1
positional_dropout_rate: 0.1
attention_dropout_rate: 0.0
input_layer: conv2d
normalize_before: true
macaron_style: true
pos_enc_layer_type: rel_pos
selfattention_layer_type: rel_selfattn
activation_type: swish
use_cnn_module: true
cnn_module_kernel: 15
postencoder: null
postencoder_conf: {}
decoder: transformer
decoder_conf:
attention_heads: 4
linear_units: 2048
num_blocks: 4
dropout_rate: 0.1
positional_dropout_rate: 0.1
self_attention_dropout_rate: 0.0
src_attention_dropout_rate: 0.0
required:
- output_dir
- token_list
version: 0.10.3a3
distributed: false
