阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!
2023-04-24 11:14:21爱云资讯
近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。
TePDist不仅仅是一个分布式Compiler,还拥有自己的分布式Runtime,以解决深度学习模型并行策略的自动搜索与分布式策略实施问题。在架构方面,TePDist采用Client/Server模式,实现分布式策略与模型描述的解耦。Server端是TePDist最重要部分,以HLO IR作为输入,自动探索并实施分布式并行策略;Client端以用户描述的模型为输入,将其转换成HLO IR。因此,任何具有转换HLO IR能力的Client,都可经过适配后接入Server端。
在功能方面,TePDist分为两个部分。一是在HLO IR上进行SPMD(Data Parallel和Sharding)和Pipeline并行的策略搜索。并以此构建编译基于Task Graph的执行计划。二是高效运行执行计划的分布式执行引擎。同时,TePDist提供了不同优化级别,高优化级别更加追求分布式策略质量,低优化级别会额外采取一些Heuristic,以较为微小策略质量牺牲,换取更快地搜索时间,以此满足落地需求。
性能上,TePDist通过在GPT和MoE模型上SPMD+Pipeline混合策略的模型扩展性实验,TePDist能够使GPT和MoE分别达到峰值能力的62%和58%。同时,在自动化方面的通用性上,TePDist也通过了VGG-19,DNABert和UNet等模型实验验证。
一直以来,大模型在模型效果上被证明具有显著优势。而ChatGPT的出现,证明了其在工业生产工具方面具有巨大潜力。阿里云机器学习平台PAI也宣布将TePDist开源,与AI开发者共同打造更快更好的自动分布式系统,全面助力AI大模型发展!
开源地址:https://github.com/alibaba/TePDist
- 阿里云和蚂蚁数科合作开发的实人认证产品适配华为HarmonyOS NEXT
- 联合阿里云,首批诚邀 30 家!Alibaba Cloud Linux 伙伴招募计划发布
- 阿里云“云创月汇,数智营销Go!”开启,带你玩转数字化营销
- MongoDB和阿里云携手驱动WeLab,引领超千万用户迈向智能金融未来
- 阿里云能耗宝:助力企业算碳节能
- 强强联合!Flat Ads出席云栖大会,加入阿里云“橙”云出海服务联盟
- 亚信科技亮相2023云栖大会 携手阿里云共推AI大模型 打造数字政务联盟
- 官宣!山石网科与阿里云签署战略合作
- 中国信通院联合阿里云、清华大学网络科学与网络空间研究院发布《“DNS+”发展白皮书》
- 2023云栖大会圆满结束,阿里云能耗云推进碳中和目标高质量实现
- 阿里云安全大模型投入使用,引领云上安全运营新体验
- 阿里云坚定科技平台定位,“风起云间”助力中小企业科技创新
- 受邀出席云栖大会,小影科技与阿里云共话出海新机遇
- DolphinDB x 阿里云,云服务合作伙伴+1
- 阿里云& NVIDIA TensorRT Hackathon 2023 决赛圆满收官
- 阿里云发布创业者计划:支持30000家创业公司,每家公司最高可获100万云资源