清晨好,您是今天最早来到科研通的研友!由于当前在线用户较少,发布求助请尽量完整地填写文献信息,科研通机器人24小时在线,伴您科研之路漫漫前行!

Pre-Training With Whole Word Masking for Chinese BERT

计算机科学 语言模型 遮罩(插图) 变压器 自然语言处理 词(群论) 人工智能 编码器 中文 语音识别 语言学 量子力学 操作系统 物理 哲学 艺术 视觉艺术 电压
作者
Yiming Cui,Wanxiang Che,Ting Liu,Bing Qin,Ziqing Yang
出处
期刊:IEEE/ACM transactions on audio, speech, and language processing [Institute of Electrical and Electronics Engineers]
卷期号:29: 3504-3514 被引量:488
标识
DOI:10.1109/taslp.2021.3124365
摘要

Bidirectional Encoder Representations from Transformers (BERT) has shown marvelous improvements across various NLP tasks, and its consecutive variants have been proposed to further improve the performance of the pre-trained language models.In this paper, we aim to first introduce the whole word masking (wwm) strategy for Chinese BERT, along with a series of Chinese pre-trained language models.Then we also propose a simple but effective model called MacBERT, which improves upon RoBERTa in several ways.Especially, we propose a new masking strategy called MLM as correction (Mac).To demonstrate the effectiveness of these models, we create a series of Chinese pre-trained language models as our baselines, including BERT, RoBERTa, ELECTRA, RBT, etc.We carried out extensive experiments on ten Chinese NLP tasks to evaluate the created Chinese pre-trained language models as well as the proposed MacBERT.Experimental results show that MacBERT could achieve state-of-the-art performances on many NLP tasks, and we also ablate details with several findings that may help future research.We open-source our pre-trained language models for further facilitating our research community.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
1秒前
见物思理完成签到 ,获得积分10
6秒前
如懿完成签到,获得积分10
6秒前
如意亦瑶完成签到,获得积分10
8秒前
9秒前
17秒前
拼搏幻柏完成签到,获得积分10
18秒前
YNILY完成签到 ,获得积分10
23秒前
25秒前
岳晓燕完成签到 ,获得积分10
28秒前
34秒前
38秒前
luoqin完成签到 ,获得积分10
41秒前
42秒前
怼怼完成签到 ,获得积分10
42秒前
45秒前
机智的妙芹完成签到,获得积分10
47秒前
53秒前
57秒前
1分钟前
1分钟前
zxdzaz完成签到 ,获得积分10
1分钟前
成就小蜜蜂完成签到 ,获得积分10
1分钟前
1分钟前
1分钟前
夕阳下仰望完成签到 ,获得积分10
1分钟前
1分钟前
典雅涵瑶发布了新的文献求助10
1分钟前
稳重的秋天完成签到,获得积分10
1分钟前
1分钟前
留胡子的翠容完成签到,获得积分10
1分钟前
1分钟前
典雅涵瑶完成签到,获得积分10
1分钟前
1分钟前
ww完成签到,获得积分10
1分钟前
1分钟前
nanjing01完成签到 ,获得积分10
1分钟前
打打的应助被seeyou14采纳,获得20
1分钟前
善良士晋完成签到,获得积分10
1分钟前
慕容杏子完成签到 ,获得积分10
2分钟前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
八旗制度の研究 600
高分子基功能界面水蒸发材料与应用研究 500
外场增强的水汽发电研究 500
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8185496
求助须知:如何正确求助?哪些是违规求助? 9574168
关于积分的说明 21834498
捐赠科研通 7783092
什么是DOI,文献DOI怎么找? 3434577
关于科研通互助平台的介绍 2558949
邀请新用户注册赠送积分活动 2481346