再度PK谷歌预训练模型BERT,百度发布ERNIE 2.0,16个中英文任务全面超越
2019-07-31 16:05:38爱云资讯
2019年3月,百度正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。
今天,经过短短几个月时间,百度ERNIE再升级。发布持续学习的语义理解框架ERNIE 2.0,及基于此框架的ERNIE 2.0预训练模型。继1.0后,ERNIE英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA效果。目前,百度ERNIE 2.0的Fine-tuning代码和英文预训练模型已开源。(Github 项目地址:https://github.com/PaddlePaddle/ERNIE)
近两年,以BERT、XLNet为代表的无监督预训练技术在语言推断、语义相似度、命名实体识别、情感分析等多个自然语言处理任务上取得了技术突破。基于大规模数据的无监督预训练技术在自然语言处理领域变得至关重要。
百度发现,之前的工作主要通过词或句子的共现信号,构建语言模型任务进行模型预训练。例如,BERT通过掩码语言模型和下一句预测任务进行预训练。XLNet构建了全排列的语言模型,并通过自回归的方式进行预训练。
然而,除了语言共现信息之外,语料中还包含词法、语法、语义等更多有价值的信息。例如,人名、地名、机构名等词语概念知识,句子间顺序和距离关系等结构知识,文本语义相似度和语言逻辑关系等语义知识。设想如果能持续地学习各类任务,模型的效果能否进一步提升?
ERNIE 2.0:可持续学习语义理解框架
基于此,百度提出可持续学习语义理解框架ERNIE 2.0。该框架支持增量引入词汇(lexical)、语法 (syntactic) 、语义 (semantic) 等3个层次的自定义预训练任务,能够全面捕捉训练语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。这也意味着,该框架可以通过持续构建训练包含词法、句法、语义等预训练任务,持续提升模型效果。
新发布的ERNIE 2.0模型结构
依托该框架,百度充分借助飞桨PaddlePaddle多机分布式训练优势,利用 79亿tokens训练数据(约1/4的XLNet数据)和64张V100 (约1/8的XLNet硬件算力)训练的ERNIE 2.0预训练模型不仅实现了SOTA效果,而且为开发人员定制自己的NLP模型提供了方案。目前,百度开源了ERNIE 2.0的fine-tuning代码和英文预训练模型。
百度研究团队分别比较了中英文环境上的模型效果。英文上,ERNIE 2.0在自然语言理解数据集GLUE的7个任务上击败了BERT和XLNet。中文上,在包括阅读理解、情感分析、问答等不同类型的9个数据集上超越了BERT并刷新了SOTA。
ERNIE的工作表明,在预训练过程中,通过构建各层面的无监督预训练任务,模型效果也会显著提升。未来,研究者们可沿着该思路构建更多的任务提升效果。
自2018 年预训练语言模型 BERT 提出之后,预训练语言模型将自然语言处理的大部分任务水平提高了一个等级,这个领域的研究也掀起了热潮。如今百度ERNIE 2.0 再度为行业提供了研究思路上的方法创新,可持续学习的特点亦将成为NLP领域发展里程中的注脚。
- 多模态成新“时尚” 谷歌OpenAI万兴科技等出奇招探索多模态能力及应用
- 谷歌将探索AI写作,小美AI城惊艳亮相:AI世界中挑战与机遇并存
- 妙鸭相机海外同款火了 万兴科技旗下“Pixpic”登陆谷歌商店
- 谷歌开发者大会带来升级版Starline,微美全息推进3D显示+全息技术引领新高潮
- TalentOrg携手谷歌、爱点击,共探全球化发展策略
- 谷歌翻译现支持翻译图片内文字
- 谷歌折叠手机Pixel Fold首次在街头被发现
- 中国版“ChatGPT”真的来了,百度、微软、谷歌谁能突围?
- 谷歌Pixel Fold最新外观细节曝光:内外屏参数变化 相机模组造型熟悉
- 传音与谷歌建立全球战略合作伙伴关系,共推新兴市场数字化发展
- Poly博诣多款产品获谷歌及微软认证 加持混合办公生态
- 谷歌明年推8Gbps宽带服务 上行也不限速
- 谷歌Pixel 6a全球定价公布 新晋中端机7月21日开始发货
- Android 13亮相谷歌I/O大会,OPPO首批推出开发者预览版
- 谷歌收购数据科学公司Kaggle增强机器学习和AI业务
- 谷歌 Pixel 6 拆解,FD-SOI首次被用于5G毫米波