腾讯云小微&腾讯云TI-ONE联合团队获RACE 数据集深层阅读理解冠军

近日,腾讯云小微及腾讯云TI-ONE联合团队在大型深层阅读理解任务数据集 RACE 数据集(ReAding Comprehension dataset collected from English Examinations)上登顶第一。据了解,在此次比赛中,腾讯云小微及腾讯云TI-ONE联合团队在基于ALBERT预训练模型上,取得了单模型90.7%和集成模型91.4%正确率的成绩。

采用全新训练策略,腾讯云小微及腾讯云TI-ONE联合团队展现AI实力

RACE 是一个来源于中学考试题目的大规模阅读理解数据集,包含了大约 28000 个文章以及近 100000 个问题。它的形式类似于英语考试中的阅读理解(选择题),给定一篇文章,通过阅读并理解文章(Passage),针对提出的问题(Question)从四个选项中选择正确的答案(Answers)。

据了解,深度阅读理解的难度在于,正确答案的文字并没有直接使用文章中的话术来回答,不能通过检索文章获取答案,而是要从语义层面深度理解文章来作答。想要提高阅读正确率,就需要机器模型通过分析文章中的线索并基于上下文推理,选出正确答案,这对参赛团队的算法技术提出了更高的要求。

因此,腾讯云小微团队通过全新的训练策略来实现突破。他们跳出从现有的四个选项中选出一个正确答案的固定模式,采用独立地考虑每一个答案是否合理的方式,同时利用多种其他形式的阅读理解数据进行迁移学习,大大提高了阅读理解的准确率,并在基于ALBERT预训练模型上,取得了单模型90.7%和集成模型91.4%正确率的成绩,赢得了本次比赛的冠军。

除此之外,在本次比赛上,腾讯云TI-ONE联合腾讯优图和机智团队在单机性能优化、分布式多机扩展和AutoML收敛优化方面也作出了诸多开创性贡献。

在单机性能方面,基于ALBERT的原生代码,TI-ONE引入了Nvidia的APEX的混合精度训练,并采用动态loss scaling进行正确的权重更新,保证最终模型的精度没有因为低精度训练而有所损失,最终,单卡性能提升为原来的3.6倍。

在多机扩展方面,由于PyTorch原生的DDP通信框架在公有云VPC网络扩展性不好,团队采用自研的TI-Horovod通信加速框架,利用2D-AllReduce和多流通信等技术,把多机训练ALBERT性能提升为原来的5.5倍。

另外,AutoML收敛方面,腾讯自研的TI-AutoML框架解决了模型集成困难和大规模长任务调参效果差的问题,便捷地与ALBERT模型集成,同时针对ALBERT模型pretrain和fine-tune两阶段训练的特点,采用了不同的自动调参策略,最后在腾讯云海量算力的加持下,调参效率相对人工调参提升了8倍,彻底把算法工程师从繁琐的手工调参中解放出来,让精力更多的聚焦在更有意义的模型算法创新工作上。

技术突破让AI应用日渐广泛,在多行业领域落地应用

深度阅读理解是目前AI领域中最受关注、进步最快的技术方向。如何提高机器深度阅读理解的正确率,是业内一直在关注和探索的问题。此次腾讯联合团队创新的训练策略,和在单机性能优化、分布式多机扩展和AutoML收敛优化等方面的技术提升,将给AI技术领域带来新的突破。

不止是在深度阅读理解领域有所突破,此次参赛的腾讯云小微团队专注于AI技术领域,在机器翻译、人机对话、阅读理解、自动摘要等领域内都有所研究,其相关技术多次获得业内的认可。在AIIA2020人工智能开发者大会上,腾讯云小微获得多项技术评测认证;在DSTC第八届对话系统技术挑战赛中,则获得四项第一;在CAIL2019司法人工智能挑战赛阅读理解第一名的好成绩。

当前,人工智能作为经济发展的新动力以及新一轮产业变革的核心驱动力,机器翻译、人机对话、阅读理解等AI技术正在教育、文旅、出行等多个领域内落地应用。在这种背景下,腾讯云小微团队凭借全栈AI语音能力,以及腾讯内外部丰富的内容和服务生态,为各行各业输出完整的AI解决方案,不断渗透智慧生活各个场景。据了解,目前已在智能网联汽车、智慧文旅、智慧教育、智能家居等多行业领域落地应用,服务广泛的用户群体。