阿里云机器学习平台PAI与华东师范大学论文入选SIGIR 2022
2022-07-12 10:33:41爱云资讯
近日,阿里云机器学习平台PAI与华东师范大学高明教授团队合作的论文《结构感知的稀疏注意力Transformer模型SASA》被顶会 SIGIR 2022录取。论文主导通过引入稀疏自注意力的方式来提高Transformer模型处理长序列的效率和性能,并提出了结合代码语言和结构特性的面向长代码序列的Transformer模型性能优化方法。
SIGIR是人工智能领域智能信息检索方向顶级国际会议,涉及搜索引擎、推荐系统等多个方向,该会议曾推动了面向搜索的排序模型、基于深度学习的推荐算法等人工智能领域的核心创新,在学术和工业界都有巨大的影响力。此次入选意味着阿里云机器学习平台PAI自研的稀疏注意力Transformer模型达到了业界先进水平,获得了国际学者的认可,展现了中国机器学习系统技术创新在国际上的竞争力。
那么SASA主要解决了什么问题?基于Transformer的模型在self-attention模块的复杂度随序列长度呈次方增长,多数编程预训练语言模型(Programming-based Pretrained Language Models, PPLM)采用序列截断的方式处理代码序列,从而导致上下文信息缺失。
针对以上问题,SASA设计了四种稀疏注意力模式,包括:sliding window attention,global attention,Top-k attention,AST-aware attention,在一定程度上将计算复杂度与序列长度解耦。其中sliding window和Top-k模式基于局部上下文和重要的attention交互学习表示,抽象语法树(AST)模式引入代码的结构特性,与序列上下文信息相互补足,global attention通过与序列中所有token进行交互来获取全局信息。对比CodeBERT,GraphCodeBERT等方法,SASA在多个长代码任务上取得最佳效果,同时也降低了内存和计算复杂度。
SASA技术将在开源框架EasyNLP中集成,给PAI的NLP开发者提供基于稀疏注意力机制的长序列自然语言处理能力。机器学习平台PAI面向企业客户级开发者,提供轻量化、高性价比的云原生机器学习,涵盖PAI-DSW交互式建模、PAI-Designer可视化建模、PAI-DLC分布式训练到PAI-EAS模型在线部署的全流程。
论文信息
EasyNLP开源地址:https://github.com/alibaba/EasyNLP
论文链接:https://arxiv.org/abs/2205.13730论文名字Understanding Long Programming Languages with Structure-Aware Sparse Attention. SIGIR 2022论文作者刘婷婷,汪诚愚,陈岑,高明,周傲英
- 阿里云和蚂蚁数科合作开发的实人认证产品适配华为HarmonyOS NEXT
- 联合阿里云,首批诚邀 30 家!Alibaba Cloud Linux 伙伴招募计划发布
- 阿里云“云创月汇,数智营销Go!”开启,带你玩转数字化营销
- MongoDB和阿里云携手驱动WeLab,引领超千万用户迈向智能金融未来
- 阿里云能耗宝:助力企业算碳节能
- 强强联合!Flat Ads出席云栖大会,加入阿里云“橙”云出海服务联盟
- 亚信科技亮相2023云栖大会 携手阿里云共推AI大模型 打造数字政务联盟
- 官宣!山石网科与阿里云签署战略合作
- 中国信通院联合阿里云、清华大学网络科学与网络空间研究院发布《“DNS+”发展白皮书》
- 2023云栖大会圆满结束,阿里云能耗云推进碳中和目标高质量实现
- 阿里云安全大模型投入使用,引领云上安全运营新体验
- 阿里云坚定科技平台定位,“风起云间”助力中小企业科技创新
- 受邀出席云栖大会,小影科技与阿里云共话出海新机遇
- DolphinDB x 阿里云,云服务合作伙伴+1
- 阿里云& NVIDIA TensorRT Hackathon 2023 决赛圆满收官
- 阿里云发布创业者计划:支持30000家创业公司,每家公司最高可获100万云资源