百度ERNIN获国际权威数据集GLUE最高分 《麻省理工科技评论》点赞
2019-12-30 15:19:31爱云资讯
12月26日,全球顶级科技商业杂志《麻省理工科技评论》(MITTechnologyReview)英文官方网站报道称,百度预训练模型ERNIE超越微软和谷歌获得自然语言处理领域权威数据集GLUE最高分。《麻省理工科技评论》指出,GLUE测试的满分为100分,人类的平均得分大概在87分左右,百度ERNIE则是在业界首次突破了90分。百度的成就能够表明多样化的贡献参与将有助于推动人工智能研究。
通用语言理解评估基准GLUE是自然语言处理领域最权威的排行榜之一。此前,自然语言模型擅长预测即将出现的下一个单词,自动完成拼写,但却无法理解一个小段落的连续思路。因为这些模型不能理解句子的意思,弄不清楚句子中代词的指代关系。2018年底,谷歌推出BERT,使用“掩码”技术更精准预测文本段落的含义。
但中文语境中,人工智能对自然语言理解更难。相较于英语里的一个单词代表一个含义,中文词语由多个汉字组成,单个汉字在不同词中又具备不同含义。比如灵,可以是机灵,也可以是灵魂。
2019年3月,百度发布NLP模型ERNIE破解了这一难题,通过ERNIE持续学习框架进一步优化了通用词汇级知识学习和面向任务类型的预训练,使得ERNIE能够掌据中文汉字构成词汇的方法,也更能准确预测出缺失的语句内容。而且,研究人员发现ERNIE在英语中也有更好的效果。
《麻省理工科技评论》指出ERNIE的重要意义不止于此,因其采用了连续培训的方法,在培训新数据和新任务的同时又不会遗忘已经积累的知识。如此,在不怎么需要人工干预的情况下,就能够越来越好的执行更广泛的任务。
短短4个月后,ERNIE再度升级。ERNIE 2.0持续学习的语义理解框架发布, 可支持增量引入不同角度的自定义预训练任务,通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,还可牢记以前学到过的信息。此外,ERNIE 2.0在16项中英文任务上超越了 BERT 和 XLNet,取得SOTA效果。据悉,百度ERNIE 2.0的论文已被国际人工智能顶级学术会议AAAI-2020收录,将于2020年2月面向行业公开展示。
(百度ERNIE 2.0原理示意图)
从研发到落地应用,从实现中文场景的突破到2.0版本的惊人表现,ERNIE屡创佳绩背后离不开百度飞桨的长期产业实践积累的高效率GPU分布式训练能力。飞桨的分布式训练能够在相同硬件设备的情况下,大大缩短产品迭代周期,满足深度学习模型对训练速度的高要求。目前,ERNIE预训练技术已广泛地应用于百度内外多个产品和技术场景,在百度搜索、小度音箱、信息流推荐等一系列产品应用中发挥了重要作用。
ERNIE世界性成果引发的国际媒体关注,也是中国自研技术领先业界的一个缩影。未来,将有越来越多ERNIE这样的中国科技、百度这样的中国企业,持续输出中国AI的“战斗值”
- 北京市自动驾驶载人测试牌照发放 百度Apollo拿下首批40张
- 百度贾磊:百度大脑语音实现突破,深度学习助力语音识别打破领域壁垒
- 中国人工智能专利价值及竞争力报告发布 百度公司表现突出
- 百度VR技术支撑多场景赋能,VR Suite或将全面开放
- 百度输入法皮肤玩法全面升级,“YAN”键盘满足用户个性化需求
- 百度智能云携手信通电子在输电人工智能领域夺魁
- 百度AI送上年末大礼,与电子科大共建AI创新实践基地
- 百度发布11月信息安全治理月报,处理有害信息38亿余条
- 联合国气候大会上的中国经验:百度AI助力中国实现低碳智慧
- 小程序电商时代已至 凭借“搜索直链服务” 百度站稳竞争C位
- 展望2020,百度研究院发布十大科技趋势预测
- 李彦宏:智能终端将无处不在 百度智能车联成为“头号阵地”
- 百度AI为西安盲哑学校“聘请”人工智能新助教
- 百度AI2019年度总结,展现技术、生态、应用、产业全景图
- 百度地图极客公园大会秀智能语音成绩单:3亿人喊小度小度,超100万用户录制专属语音包
- 洞悉现在、预测未来 百度地图未来出行功能让出行不再“四处彷徨”