网易伏羲中文预训练模型玉言登顶FewClue榜单,助力中小企业降本节能
2021-12-31 16:05:30爱云资讯
近日,网易伏羲在中文语言理解权威评测基准FewClue榜单登顶,在IFLYTEK(长本文分类 )、 CLUEWSC(代词消歧)、CSL(论文关键词识别)、CSLDCP(学科文献分类)等多项单任务中取得第一。这也是FewClue榜单上,第一次有人工智能模型与人类标注水平的差距缩小到10分以内,其中CSLDCP(学科文献分类)任务首次超过人类水平。
据了解,FewCLUE是CLUE推出的一项中文小样本学习评测榜单,用来评估预训练模型是否能够通过小样本学习来掌握特定的自然语言处理任务。同时,研究人员也可通过相关测试评估AI模型再学习能力和快速应用能力。而从结果来看,网易伏羲的模型玉言对中文的理解能力,已经接近甚至在部分任务上超过一个受过相关训练的人类。
更值得一提是,玉言具备的自然语言处理能力可应用于语音助手、智能客服、新闻传媒、游戏创作、智能决策等领域。而在获得这些能力背后的模型训练体系及应用方法则验证了基于超级模型进行二次训练和快速应用的可能性。在目标领域通过少量标注样本极大的提升应用的效果,从而节省大量的人力成本。
人工智能研究的诞生到现在已经有60多年的历史,近些年的深度学习掀起了人工智能的新一波浪潮。OpenAI 发布的GPT系列模型将自然语言处理水平推向了新的高度,也证明了大规模预训练的潜力,为智能服务应用场景提供最重要的基石。但是,这些如雨后春笋般涌现的大规模预训练模型都是以文本生成为导向,在语义理解方面受限于其技术局限,效果不佳。
因此,业界为语义理解任务重新训练模型,例如BERT、DEBERTA等。文本生成任务和语言理解任务分别训练,这不仅是对算力和成本的巨大消耗,也不符合当下社会对低碳发展的要求。是否将预训练生成模型通过少量的二次训练转换为理解模型?玉言模型正是基于这个出发点的一次成功尝试,将生成模型通过少量的二次训练转换为高准确度的语义理解模型。更重要的是,这一方法的成功实践,能有效帮助中小企业降本节能。
据该项目团队介绍,玉言模型的前身是网易伏羲自研的50亿GPT2生成模型,通过二次训练变成语义理解能力较好的Prefix-LM,相比于原来的GPT2模型,只是attention mask形状不同,Prefix-LM可以直接使用许多开源的GPT加速库进行推断加速。
玉石二次训练的主要方法包括在Prefix部分增加MLM损失函数,同时使用增强Position Embebedding的方法去进一步强化Prefix部分的编码效果等。在任务数据集处理方面使用类似于T0的基于模板的方法,将FewClue的数据集在二次训练时混入训练语料中。
另外,FewClue提供的无标签数据同样被构造模板,处理完成后加入训练语料中。使用模板的方法可以自然地实现多任务学习,大大降低语义理解大模型的训练成本,更加有利于工程落地。“同时也非常感谢浪潮共享了他们的部分预训练文本,为玉言模型训练提供了充分的数据。”项目团队相关负责人表示。
网易伏羲成立于2017年,是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构。网易伏羲已经发表100多篇AI顶会论文,拥有200多项发明专利,以及数字人、智能捏脸、AI创作、AI反外挂、AI推荐匹配、AI竞技机器人等多个领域的领先技术。目前,网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品,目前已服务超100家客户,应用日均调用量超数亿次。
- 逐点半导体为暴雪和网易联合研发的《暗黑破坏神:不朽》带来全新手游体验
- 网易严选8周年《AI“心”机发布会》脑洞视频:严选好物 无限升级
- 网易严选供应商大会:发布“同舟计划2.0”扶持政策,发展新质生产力
- 网易UX无障碍游戏交互方案获iF设计奖,让视障人士从“听游戏”到“玩游戏”
- 网易Q4及全年财报:网易严选爆品全面开花,驱动销售稳步提升
- 网易云商正式发布七鱼呼入机器人,为企业提供全年无休的语音接待助手
- 网易云商基于AIGC打造全新呼叫坐席辅助,每通会话效率提升40%
- 网易首款鸿蒙原生游戏《倩女幽魂》手游完成开发,商业化版本已就绪
- 网易云商AIGC特辑:听说真正懂提效的人都这么搭知识库
- 网易云商: 商河大模型发布后的3个多月,百家尝鲜者找到了我们
- AI生成式视频往何处去 “灵动 AI”亮相网易未来大会
- 网易游戏与华为达成鸿蒙合作
- 网易云音乐上架凤凰传奇全曲库 携手孔雀廊唱片共推优质华语音乐
- 以数字创意展现北京文化底蕴,网易开启互联网技术赋能文化传播新通路
- AI数字人成数贸会焦点 万兴科技网易有道展示营销场景等应用
- 网易云音乐与荣耀发布全新合作成果,联手推出AI智能配乐及全新音乐应用
- 探索影像新境界:华为Pura70系列与云空间的完美融合体验
- 浪潮商用机器2024 Power Start精彩上演 乘AI东风再绘生态新蓝图
- 水陆两用运动耳机鲸语Alpha新品来袭,音乐潮玩OWS耳机鲸语Loki叛逆亮相
- 西部数据以多样化存储产品赋能广电视听行业多元化发展,携手伙伴共同探索大视频时代下的用户体验
- 黑鹰灭凤凰!联发科天玑9400 CPU采用最新架构,IPC性能鲨疯了
- 超擎数智重磅发布擎天、锋锐、元景系列AI服务器,打造人工智能新质生产力强劲引擎
- CPU性能还是得看联发科,天玑9400采用Arm黑鹰架构又要封神
- 一顿烧烤钱升级疾速WIFI7网络,中兴巡天BE5100仅需229起双2.5G版即将开售