堪称AI届的“学霸” 一个算法学习理解96种语言 问鼎全球顶赛冠军

2021-01-09 09:10:07爱云资讯

打破语言藩篱,重建巴别塔是人类的远古梦想,如今全球化语境下,更是一种当务之急。如何做到多语言交流和跨语义理解,也是人工智能的“圣杯”课题。最近,百度人工智能模型ERNIE-M,取得自然语言领域最新进展,它通过一个算法可以学习并同时掌握 96 门语言,不仅刷新5项经典多语言理解任务的世界最好成绩,还一举超越谷歌、微软、脸书,问鼎国际权威多语言理解评测榜单 XTREME,迈出人工智能领域自然语言处理技术的突破性一步,并在相关真实工业场景中落地,发挥出实际应用价值。

堪称AI届的“学霸” 一个算法学习理解96种语言 问鼎全球顶赛冠军

世界上存在6000余种语言,这给不同国家与地区的交流带来很多不便。人工智能技术有助于打破语言的信息壁垒,搜索引擎、智能客服、智能音箱等人工智能系统不断带来更佳的用户体验。然而,这些系统的构建往往依赖于海量数据,使用单一语言训练而无法直接应用于多语言,这对于数据稀少的小语种(比如布列塔尼语、冰岛语)无疑挑战巨大。如何用一个单一的语言算法或模型,理解多种语言,搭建起交流的桥梁,正是ERNIE-M 的研究目标。

当前,多语言语义理解的相关研究已经展开,主要是通过单一语言的语料分别学习不同语言的语义,再使用双语语料对齐不同语言的语义。实验表明,双语语料可以显著提升多语言模型性能。然而相对大规模的单语语料,双语语料需要专业标注,获取成本大,难以大规模收集。这使得多语言语义理解模型的效果受限。

为克服这一难题,百度基于回译机制,提出首个从单语语料学习多语言语义对齐关系的预训练模型 ERNIE-M,显著提升包括自然语言推断、语义检索、语义相似度、命名实体识别、阅读理解在内的 5 种典型跨语言理解任务效果,并于2021 年1月1号,以 80.9 分的成绩登顶权威跨语言理解评测XTREME 榜首。

据知,ERNIE-M 本身包含很多技术创新,它基于百度飞桨框架训练,构建了25 万个多语言词表,涵盖了汉语、英语、法语、南非语、阿尔巴尼亚语、阿姆哈拉语、梵语、阿拉伯语、亚美尼亚语、阿萨姆语、阿塞拜疆语等 96 种语言的常用词汇,训练语料约1.5万亿字符;它的学习过程由两阶段组成,第一阶段从少量的双语语料中学习跨语言理解能力,第二阶段使用回译的思想,增强模型的跨语言理解能力。

除了上述技术突破之外,ERNIE-M应用前景也很广泛,该技术可将基于汉语研发的人工智能系统,拓展到我国其他民族的语言理解上,帮助我们更好地分析各民族语言。此外,ERNIE-M 技术也可辅助语言学家和考古学家去理解已经濒危或失传的语言,更好地保护我们的民族文化。

ERNIE-M只是百度世界级语义理解技术与平台文心(ERNIE)的众多技术成果之一。自2019年3月诞生以来,文心(ERNIE)已完成3次重要迭代,在自然语言生成、语言-视觉等方面推出全新的模型,提供多模态语义理解研究新思路的同时,极大推动了人工智能技术的发展。

堪称AI届的“学霸” 一个算法学习理解96种语言 问鼎全球顶赛冠军

2020年3月,文心(ERNIE)一举拿下全球最大规模语义评测SemEval 5项世界冠军;5月,文心(ERNIE)提出预训练语言生成技术ERNIE-GEN,在语言生成领域实现重大突破;7月,文心(ERNIE)提出业多模态预训练模型ERNIE-ViL,在多项典型多模态任务上刷新世界最好效果,并登顶多模态权威榜单VCR;同样在7月,2020世界人工智能大会最高奖项SAIL奖颁出,文心(ERNIE)获奖。

值得一体的是,刚刚结束的 Wave Summit + 2020 峰会上,文心(ERNIE)又推出自然语言处理开发套件,其基于业界领先的语义理解技术,对外提供更加灵活的自然语言定制与服务能力,面向开发者和企业进行开放赋能。目前,文心(ERNIE)已通过百度AI开发平台开放,广泛应用于金融、通信、教育、互联网等各行各业,大幅提升产品的智能化体验,带来了显著经济和社会效益。

人工智能
相关文章
精彩评论
热门文章
头条文章
重点文章
推荐文章
热点文章
关于我们|联系我们|免责声明