阿里云机器学习平台PAI论文入选ASPLOS 2023
2023-03-27 15:07:35爱云资讯
近日,阿里云机器学习平台PAI主导的论文《图神经网络统一图算子抽象uGrapher》被ASPLOS 2023录取。论文通过抽象统一的的高性能图算子接口来自适应探索它们在不同图数据集上的最佳并行执行策略, 这是首个在图神经网络上利用自适应的并行策略,在不同图数据和不同图算子中探索高性能计算优化的研究工作。
ASPLOS是计算机系统领域的顶级国际会议,涉及体系结构、编程语言和操作系统等多个方向,尤其重视不同方向之间的交叉,该会议曾推动了多核处理器、虚拟化、RAID、RISC、深度学习处理器等计算机系统领域的核心创新,在学术和工业界都有巨大的影响力。
此次入选意味着阿里云机器学习平台PAI在图神经网络高性能计算优化领域达到了全球业界先进水平,获得了国际学者的认可,展现了中国机器学习系统技术创新在国际上的竞争力。
图神经网络相对于传统深度学习引入了特有的新型不规则算子,即图算子。随着图神经网络算法演进,图神经网络所使用的图算子的可变性和复杂性不断增加,其计算也变得更加复杂。同时,具有差异化的分布特点的图数据作为输入也给图神经网络的计算带来了特有的复杂性。现有的图神经网络框架依靠手写静态算子来实现图算子的计算操作,难以在变化的图神经网络模型或输入图数据上维持较好的性能结果。
针对这一问题,uGrapher提出了一个统一的高性能接口,通过将所有图算子抽象为一个统一的稀疏稠密混合循环的中间表达形式,解耦图算子的计算和调度,并探索了对应于GPU 上不同图算子的不同循环变换所得到的不同的执行策略之间的权衡关系,以针对不同图神经网络算子和数据集的动态变化的场景自适应的提供高性能的计算支持。对比DGL[1], PyG[2], GNNAdvisor[3],uGrapher平均可以取得3.5倍的性能提升。
目前,阿里云正在将uGrapher的关键设计集成进PAI自研的大规模图神经网络框架GraphLearn中,从而为工业级别的图神经网络应用带来性能加速。
● 论文标题:
uGrapher: High-Performance Graph Operator Computation via Unified Abstraction for Graph Neural Networks
● 论文作者:
周杨杰,冷静文,宋曜旭,卢淑文,王勉, 李超,过敏意, 沈雯婷,李永,林伟等
● 论文pdf链接:
https://dl.acm.org/doi/10.1145/3575693.3575723
● 参考文献:
[1] M. Wang, D. Zheng, Z. Ye, Q. Gan, M. Li, X. Song, J. Zhou, C. Ma, L. Yu, Y. Gai et al., “Deep graph library: A graph-centric, highly-performant package for graph neural networks,” arXiv preprint arXiv:1909.01315, 2019.
[2] M. Fey and J. E. Lenssen, “Fast graph representation learning with pytorch geometric,” arXiv preprint arXiv:1903.02428, 2019.
[3] Y. Wang, B. Feng, G. Li, S. Li, L. Deng, Y. Xie, and Y. Ding, “GNNAdvisor: An adaptive and efficient runtime system for GNN acceleration on GPUs,” in 15th USENIX Symposium on Operating Systems Design and Implementation (OSDI 21), 2021, pp. 515–531.
- 阿里云和蚂蚁数科合作开发的实人认证产品适配华为HarmonyOS NEXT
- 联合阿里云,首批诚邀 30 家!Alibaba Cloud Linux 伙伴招募计划发布
- 阿里云“云创月汇,数智营销Go!”开启,带你玩转数字化营销
- MongoDB和阿里云携手驱动WeLab,引领超千万用户迈向智能金融未来
- 阿里云能耗宝:助力企业算碳节能
- 强强联合!Flat Ads出席云栖大会,加入阿里云“橙”云出海服务联盟
- 亚信科技亮相2023云栖大会 携手阿里云共推AI大模型 打造数字政务联盟
- 官宣!山石网科与阿里云签署战略合作
- 中国信通院联合阿里云、清华大学网络科学与网络空间研究院发布《“DNS+”发展白皮书》
- 2023云栖大会圆满结束,阿里云能耗云推进碳中和目标高质量实现
- 阿里云安全大模型投入使用,引领云上安全运营新体验
- 阿里云坚定科技平台定位,“风起云间”助力中小企业科技创新
- 受邀出席云栖大会,小影科技与阿里云共话出海新机遇
- DolphinDB x 阿里云,云服务合作伙伴+1
- 阿里云& NVIDIA TensorRT Hackathon 2023 决赛圆满收官
- 阿里云发布创业者计划:支持30000家创业公司,每家公司最高可获100万云资源