阿里云发布机器学习平台PAI v3.0
2019-03-22 13:53:25爱云资讯
阿里云机器学习平台是构建在阿里云 MaxCompute(原 ODPS)计算平台之上,集数据处理、建模、离线预测、在线预测为一体的机器学习平台。阿里云机器学习封装了阿里巴巴集团内成熟的算法,向机器学习用户提供了更简易的操作体验。
今日发布的 PAI 3.0 推出了全新的算法模型市场,涵盖电商、社交、广告、金融等多个行业,数十种场景的算法模型。同时还新增了流式算法组件、图神经网络、增强学习组件等平台工具。
作为机器学习平台的内核,PAI 的智能计算引擎进行了全面升级,通过编译技术优化通用计算引擎,训练性能提升 400%——PAI 团队研发了深度学习编译器 TAO(Tensor Accelerator and Optimizer),以通用化、平台化的方式有效解决上层 Workload 与底层硬件计算单元之间高效映射的问题。
此外,在深度学习优化分布式引擎方面,PAI 3.0可以实现单任务支持上千 worker 并发训练,并支持 5k+ 超大规模异构计算集群。
PAI 希望实现「用更少的硬件,支持更多业务更快完成业务迭代」。为了完成这个目标,团队有针对性地研发了 GPU 分时复用技术。整套技术实现遵循了数据驱动的思想,包括实时在线性能数据反馈通路、细粒度 GPU 资源复用、虚拟显存以及基于历史数据的资源预估策略这几个关键模块。
此外,PAI 3.0 还发布了大规模图神经网络,缓存机制效率提升 40%,算子速度提升 12 倍,系统端建图时间从数小时降至 5 分钟。
据了解,从 PAI1.0 开始,该机器学习平台已经在阿里巴巴内部使用了 2 年。基于该平台,在淘宝搜索中,搜索结果会基于商品和用户的特征进行排序。通过使用参数服务器,淘宝可以把百亿个特征的模型,分散到数十个乃至于上百个参数服务器上,打破了规模的瓶颈。
- 阿里云和蚂蚁数科合作开发的实人认证产品适配华为HarmonyOS NEXT
- 联合阿里云,首批诚邀 30 家!Alibaba Cloud Linux 伙伴招募计划发布
- 阿里云“云创月汇,数智营销Go!”开启,带你玩转数字化营销
- MongoDB和阿里云携手驱动WeLab,引领超千万用户迈向智能金融未来
- 阿里云能耗宝:助力企业算碳节能
- 强强联合!Flat Ads出席云栖大会,加入阿里云“橙”云出海服务联盟
- 亚信科技亮相2023云栖大会 携手阿里云共推AI大模型 打造数字政务联盟
- 官宣!山石网科与阿里云签署战略合作
- 中国信通院联合阿里云、清华大学网络科学与网络空间研究院发布《“DNS+”发展白皮书》
- 2023云栖大会圆满结束,阿里云能耗云推进碳中和目标高质量实现
- 阿里云安全大模型投入使用,引领云上安全运营新体验
- 阿里云坚定科技平台定位,“风起云间”助力中小企业科技创新
- 受邀出席云栖大会,小影科技与阿里云共话出海新机遇
- DolphinDB x 阿里云,云服务合作伙伴+1
- 阿里云& NVIDIA TensorRT Hackathon 2023 决赛圆满收官
- 阿里云发布创业者计划:支持30000家创业公司,每家公司最高可获100万云资源