ESPnet2 pretrained model, kamo-naoyuki/hkust_asr_train_asr_transformer2_raw_zh_char_batch_bins20000000_ctc_confignore_nan_gradtrue_sp_valid.acc.ave, fs=16k, lang=zh

This model was trained by kamo-naoyuki using hkust recipe in espnet. Python API

See https://github.com/espnet/espnet_model_zoo

Evaluate in the recipe

git clone https://github.com/espnet/espnet cd espnet git checkout db7dfea809ef919332bd28c392b78378a8df5a77 pip install -e . cd egs2/hkust/asr1 ./run.sh --skip_data_prep false --skip_train true --download_model kamo-naoyuki/hkust_asr_train_asr_transformer2_raw_zh_char_batch_bins20000000_ctc_confignore_nan_gradtrue_sp_valid.acc.ave 

Results

 # RESULTS ## Environments - date: `Mon Jan 11 08:44:15 JST 2021` - python version: `3.8.5 (default, Sep 4 2020, 07:30:14) [GCC 7.3.0]` - espnet version: `espnet 0.9.6` - pytorch version: `pytorch 1.4.0` - Git hash: `db7dfea809ef919332bd28c392b78378a8df5a77` - Commit date: `Mon Jan 4 09:44:09 2021 +0900` ## asr_train_asr_transformer2_raw_zh_char_batch_bins20000000_ctc_confignore_nan_gradtrue_sp ### WER |dataset|Snt|Wrd|Corr|Sub|Del|Ins|Err|S.Err| |---|---|---|---|---|---|---|---|---| |decode_lm_lm_train_lm_transformer_zh_char_optim_conflr0.001_scheduler_confwarmup_steps25000_batch_bins3000000_accum_grad1_valid.loss.ave_asr_model_valid.acc.ave/dev|5413|5240|30.7|69.1|0.2|0.4|69.7|67.4| |decode_lm_lm_train_lm_transformer_zh_char_optim_conflr0.001_scheduler_confwarmup_steps25000_batch_bins3000000_accum_grad8_valid.loss.ave_asr_model_valid.acc.ave/dev|5413|5240|30.0|69.8|0.2|0.4|70.4|68.1| ### CER |dataset|Snt|Wrd|Corr|Sub|Del|Ins|Err|S.Err| |---|---|---|---|---|---|---|---|---| |decode_lm_lm_train_lm_transformer_zh_char_optim_conflr0.001_scheduler_confwarmup_steps25000_batch_bins3000000_accum_grad1_valid.loss.ave_asr_model_valid.acc.ave/dev|5413|56154|81.2|15.1|3.7|2.4|21.2|66.1| |decode_lm_lm_train_lm_transformer_zh_char_optim_conflr0.001_scheduler_confwarmup_steps25000_batch_bins3000000_accum_grad8_valid.loss.ave_asr_model_valid.acc.ave/dev|5413|56154|80.6|15.7|3.7|2.4|21.8|66.8|

ASR config

config: conf/tuning/train_asr_transformer2.yaml print_config: false log_level: INFO dry_run: false iterator_type: sequence output_dir: exp/asr_train_asr_transformer2_raw_zh_char_batch_bins20000000_ctc_confignore_nan_gradtrue_sp ngpu: 1 seed: 0 num_workers: 1 num_att_plot: 3 dist_backend: nccl dist_init_method: env:// dist_world_size: 4 dist_rank: 0 local_rank: 0 dist_master_addr: localhost dist_master_port: 52412 dist_launcher: null multiprocessing_distributed: true cudnn_enabled: true cudnn_benchmark: false cudnn_deterministic: true collect_stats: false write_collected_feats: false max_epoch: 35 patience: null val_scheduler_criterion: - valid - loss early_stopping_criterion: - valid - loss - min best_model_criterion: - - valid - acc - max keep_nbest_models: 10 grad_clip: 5.0 grad_clip_type: 2.0 grad_noise: false accum_grad: 1 no_forward_run: false resume: true train_dtype: float32 use_amp: false log_interval: null unused_parameters: false use_tensorboard: true use_wandb: false wandb_project: null wandb_id: null pretrain_path: null init_param: [] freeze_param: [] num_iters_per_epoch: null batch_size: 20 valid_batch_size: null batch_bins: 20000000 valid_batch_bins: null train_shape_file: - exp/asr_stats_raw_zh_char_sp/train/speech_shape - exp/asr_stats_raw_zh_char_sp/train/text_shape.char valid_shape_file: - exp/asr_stats_raw_zh_char_sp/valid/speech_shape - exp/asr_stats_raw_zh_char_sp/valid/text_shape.char batch_type: numel valid_batch_type: null fold_length: - 80000 - 150 sort_in_batch: descending sort_batch: descending multiple_iterator: false chunk_length: 500 chunk_shift_ratio: 0.5 num_cache_chunks: 1024 train_data_path_and_name_and_type: - - dump/raw/train_nodup_sp/wav.scp - speech - kaldi_ark - - dump/raw/train_nodup_sp/text - text - text valid_data_path_and_name_and_type: - - dump/raw/train_dev/wav.scp - speech - kaldi_ark - - dump/raw/train_dev/text - text - text allow_variable_data_keys: false max_cache_size: 0.0 max_cache_fd: 32 valid_max_cache_size: null optim: adam optim_conf: lr: 0.001 scheduler: warmuplr scheduler_conf: warmup_steps: 25000 token_list: - - - 的 - 是 - 我 - 那 - 你 - 不 - 个 - 一 - 有 - 就 - 啊 - 了 - 对 - 好 - 么 - 在 - 呃 - 这 - 他 - 说 - 还 - 吧 - 也 - 嗯 - 什 - 呀 - 时 - 们 - 没 - 人 - 看 - 后 - 都 - '[LAUGHTER]' - 以 - 得 - 然 - 比 - 多 - 去 - 上 - 要 - 觉 - 现 - 过 - 大 - 呢 - 到 - 学 - 可 - 嘛 - 哦 - 来 - 能 - 喜 - 会 - 欢 - 像 - 很 - 候 - '[VOCALIZED-NOISE]' - 样 - 为 - 吗 - 天 - 国 - 面 - 唉 - 想 - 较 - 点 - 中 - 家 - 些 - 种 - 感 - 吃 - 听 - 怎 - 唔 - 里 - 话 - 最 - 道 - 但 - 方 - 打 - 下 - 如 - 知 - 哪 - 玩 - 太 - 子 - 自 - 别 - 挺 - 友 - 生 - 年 - 小 - 朋 - 行 - 球 - 出 - 定 - 她 - 跟 - 讲 - 经 - 应 - 实 - 十 - 果 - 当 - 因 - 间 - 该 - 事 - 前 - 己 - 常 - 特 - 正 - 噢 - 爱 - 真 - 给 - 所 - 其 - 做 - 它 - 情 - 心 - 和 - 西 - 地 - 开 - 起 - 电 - 游 - 反 - '[NOISE]' - 问 - 作 - 老 - 女 - 几 - 三 - 啦 - 边 - 东 - 工 - 两 - 之 - 只 - 长 - 高 - 发 - 二 - 本 - 少 - 歌 - 意 - 着 - 用 - 叫 - 次 - 再 - 体 - 而 - 错 - 钱 - 认 - 把 - 主 - 同 - 外 - 回 - 业 - 聊 - 肯 - 分 - 喂 - 动 - 成 - 活 - 机 - 音 - 干 - 又 - 男 - 网 - 平 - 力 - 乐 - 才 - 非 - 今 - 于 - 题 - 哎 - 孩 - 找 - 四 - 般 - 啥 - 身 - 从 - 者 - 考 - 法 - 每 - 名 - 烟 - 山 - 让 - 算 - 习 - 明 - 谁 - 或 - 五 - 校 - 运 - 刚 - 关 - 合 - 队 - 手 - 咱 - 放 - 进 - 第 - 场 - 部 - 见 - 相 - 差 - 已 - 且 - 百 - 美 - 饭 - 块 - 买 - 完 - 戏 - 公 - 系 - 足 - 影 - 教 - 先 - 八 - 唱 - 重 - 性 - 结 - 加 - 近 - 难 - 哈 - 始 - 类 - 理 - 记 - 海 - 水 - 拿 - 旅 - 新 - 清 - 书 - 搞 - 晚 - 带 - 全 - 级 - 直 - 等 - 计 - 跑 - 思 - 赛 - 蛮 - 文 - 通 - 班 - 篮 - 北 - 快 - 气 - 强 - 师 - 走 - 金 - 安 - 英 - 交 - 六 - 解 - 万 - 星 - 张 - 花 - 南 - 处 - 原 - 日 - 谈 - 假 - 毕 - 基 - 无 - 零 - 信 - 呗 - 受 - 哇 - 总 - 代 - 期 - 头 - 视 - 食 - 语 - 世 - 接 - 服 - 妈 - 更 - 节 - 请 - 抽 - 月 - 吸 - 办 - 周 - 演 - 展 - 早 - 九 - 单 - 害 - 准 - 专 - 住 - 首 - 菜 - 练 - 够 - 确 - 社 - 历 - 牌 - 城 - 育 - 识 - 哟 - 传 - 马 - 声 - 片 - 喝 - 目 - 备 - 朝 - 肥 - 被 - 门 - 京 - 虽 - 七 - 许 - 课 - 选 - 联 - 容 - 字 - 黄 - 步 - 死 - 提 - 市 - 便 - 奥 - 王 - 慢 - 根 - 车 - 望 - 报 - 告 - 风 - 号 - 格 - 各 - 白 - 段 - 往 - 况 - 婚 - 儿 - 化 - 忙 - 半 - 俩 - 件 - 变 - 踢 - 界 - 内 - 岁 - 员 - 物 - 广 - 度 - 台 - 整 - 利 - 数 - 使 - 希 - 兴 - 管 - 位 - 奇 - 亮 - 红 - 表 - 肉 - 倒 - 越 - 李 - 史 - 远 - 华 - 流 - 条 - 必 - 帮 - 米 - 睡 - 离 - 酒 - 向 - 色 - 竟 - 刘 - 脑 - 象 - 民 - 写 - 愿 - 尔 - 量 - 香 - 钟 - 健 - 费 - 室 - 空 - 古 - 精 - 累 - 光 - 排 - 制 - 科 - 造 - 质 - 厉 - 轻 - 改 - 术 - 济 - 德 - 估 - 林 - 司 - 楚 - 入 - 跳 - 养 - 漂 - 咋 - 阳 - 败 - 建 - 味 - 需 - 试 - 研 - 达 - 锻 - 适 - 并 - 景 - 母 - 笑 - 炼 - 靠 - 武 - 包 - A - 亚 - 洲 - 属 - 随 - 除 - 参 - 持 - 怕 - 共 - 保 - 诉 - 千 - 失 - 型 - 品 - 战 - 口 - 腐 - 念 - 初 - 嘞 - 环 - 克 - 资 - 概 - 路 - 拉 - 军 - 易 - 掉 - C - 惯 - 爸 - 热 - 皇 - 将 - S - 怪 - 络 - 午 - 连 - 深 - 青 - 斯 - 技 - 式 - 谢 - 决 - 务 - 神 - 坐 - 境 - 罗 - 亲 - 任 - 火 - 族 - 照 - 功 - 杯 - 士 - 鱼 - 春 - 区 - 忘 - 趣 - 父 - 观 - 产 - 湖 - 庭 - 毛 - 哥 - 弟 - 素 - 喔 - 句 - 求 - 调 - B - 寝 - 响 - 熟 - 操 - 与 - 程 - 曲 - 导 - 胖 - 唐 - 言 - O - 政 - 装 - 阿 - 昨 - 收 - 院 - 注 - 读 - 升 - 韩 - 际 - 园 - 拍 - 堂 - 贵 - 转 - 康 - 松 - 义 - 耶 - 压 - 烦 - 徽 - 伤 - 挂 - 普 - 介 - 组 - 泡 - 由 - 江 - 烧 - 牛 - 画 - 逛 - 店 - 换 - 眼 - 巴 - 恋 - 帅 - 简 - 龙 - 福 - 设 - 久 - 州 - 待 - 欧 - 输 - 懂 - 择 - 续 - N - 份 - 典 - 房 - 助 - 争 - 论 - 具 - 兰 - 遇 - 须 - 另 - 龄 - 继 - 绍 - 冠 - 苦 - 投 - 项 - 幸 - 底 - 讨 - 商 - 击 - 街 - 统 - 围 - 尽 - 舒 - 黑 - 息 - 卖 - 恐 - 值 - 杰 - 帝 - 究 - 衣 - 支 - 至 - 领 - 效 - 价 - 赢 - 线 - 虑 - 鸡 - 超 - 姐 - 辣 - 阜 - 形 - 坏 - 枚 - 举 - E - 胜 - 飞 - 卡 - 录 - 留 - 消 - 姓 - 及 - 局 - 湾 - 梦 - 客 - 志 - 满 - 紧 - 弹 - 治 - 取 - 皮 - 立 - 卫 - 纸 - 偶 - 标 - 麻 - 据 - 似 - 切 - 乎 - 双 - 夫 - 乒 - 职 - 码 - 妹 - 配 - 角 - 误 - 余 - 厌 - 激 - 农 - 站 - 富 - 乓 - 严 - 减 - 浪 - 层 - 汉 - 敢 - 射 - 复 - 兵 - 何 - 爬 - 散 - 断 - 届 - 约 - 印 - 左 - 爽 - 创 - 短 - 陈 - 穿 - 团 - 怀 - 丽 - 警 - 右 - 豆 - 存 - 魔 - 剧 - 静 - 键 - 验 - 优 - 枪 - 版 - 休 - 绩 - 惜 - 元 - 充 - 背 - 尤 - 势 - 省 - 尼 - 态 - 绝 - 遍 - 冰 - 吉 - 乡 - 居 - 突 - 婆 - 命 - 赚 - 落 - 您 - 冲 - 伴 - 器 - 舞 - 暑 - 送 - 拜 - 泳 - 努 - D - 甜 - 免 - 悉 - 庆 - 锋 - 低 - 喽 - 既 - 楼 - 追 - 血 - 杀 - 板 - 攻 - 增 - 困 - 私 - 医 - 油 - 瘦 - 雄 - 图 - 故 - 推 - 播 - 此 - 夜 - 集 - 坚 - 孙 - 奖 - 曾 - 伟 - 闲 - 艺 - 银 - 劳 - 触 - 宝 - 炒 - 雨 - 纳 - 按 - 乱 - 互 - 指 - 舍 - 营 - 引 - 君 - 云 - 挥 - 彩 - 查 - 土 - 破 - 闷 - 杂 - 兽 - 呐 - 官 - 防 - 挣 - 羽 - 迷 - 川 - 负 - 弄 - 伦 - 证 - 藏 - 岛 - 范 - 微 - 碰 - 缺 - 章 - 刀 - 牙 - 蛋 - 守 - P - 划 - 赶 - 培 - 河 - 词 - 辉 - 顾 - 旁 - 糖 - 戒 - 陪 - Q - 温 - 刻 - 纪 - 暴 - 付 - 洗 - 独 - 规 - 训 - 冷 - 束 - R - 奶 - 姚 - 票 - 套 - 朗 - 宿 - I - 贪 - 娱 - 补 - 沙 - 雪 - 修 - 病 - 遗 - 谓 - 户 - 吵 - 港 - 益 - 脸 - 顺 - T - 止 - 闹 - 固 - K - 顿 - 伊 - 侣 - 沟 - 顶 - 巧 - 险 - 享 - 招 - 夏 - 劲 - 苏 - 秦 - 极 - H - 状 - 料 - 维 - 置 - 盛 - 细 - 夺 - 限 - 饼 - 秋 - 某 - 杨 - 议 - 聚 - 礼 - 馆 - 判 - 例 - 布 - 呆 - 抓 - 闻 - 铁 - 软 - 密 - 晶 - 郁 - 污 - 占 - 梅 - 混 - L - 稍 - 众 - 锅 - 显 - 迹 - 织 - 瓜 - 偷 - 剑 - M - 羊 - 峰 - 纯 - 终 - 丰 - 革 - 距 - 赵 - 善 - 虚 - 急 - 承 - 陆 - 草 - 胡 - 派 - 诚 - 偏 - 田 - 挑 - 甲 - 宜 - 漫 - 肤 - 模 - 依 - 评 - 脚 - 缘 - 未 - 威 - 翻 - 野 - 秀 - 丹 - 唠 - 架 - 猪 - 树 - 称 - 丝 - 哼 - 羡 - 慕 - 佩 - 仅 - 销 - 祖 - 餐 - 率 - 妻 - 宁 - 握 - 担 - 尝 - 村 - 辑 - 石 - 琴 - 冬 - 木 - 淡 - 智 - 阶 - 齐 - 塞 - 示 - 腿 - 速 - 灵 - 憾 - 隆 - 材 - 吴 - 护 - 律 - 晨 - 贝 - 拳 - 猜 - 熙 - 玉 - 虎 - 哭 - 饮 - 答 - 吹 - 搁 - 刺 - 致 - 良 - 呵 - 裁 - 朱 - 茶 - 晓 - 赞 - 佳 - 伙 - 础 - 归 - 菲 - 获 - 骗 - 竞 - 权 - 炸 - 辛 - 瘾 - 烤 - 府 - 括 - 鲜 - 波 - 痛 - 床 - 积 - 途 - 俄 - 著 - 即 - 柔 - 郑 - 麦 - 暗 - 酸 - 煌 - 泛 - 犯 - 懒 - 季 - 骑 - 汤 - 停 - 梁 - 辈 - 埋 - 怖 - 寻 - 采 - 冒 - 末 - V - 翔 - 退 - 借 - 狗 - Y - 敏 - 淮 - 博 - 否 - 稳 - 燕 - 斤 - 疼 - 蒙 - 葡 - 萄 - 惨 - 盘 - 姑 - 仔 - 粉 - 恶 - 傻 - 折 - 赏 - 怡 - 笔 - 弱 - 乾 - 迎 - 幼 - 欣 - 融 - 侠 - 净 - 弃 - 圈 - 蓝 - 责 - 莫 - 溜 - 塔 - 异 - 避 - 伏 - 呼 - 滑 - 敬 - 药 - 抢 - 隔 - 氛 - 永 - 款 - 绿 - 雅 - 狂 - 骨 - 疆 - 源 - 租 - 硬 - 毒 - W - 郭 - 椒 - 洞 - 宋 - 悔 - 碟 - 剩 - 施 - 趟 - 察 - 狙 - 廷 - 罚 - 胃 - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -