阿里云开源大数据平台EMR 全面升级 性能最高可提升6倍
2022-12-30 14:43:42爱云资讯
12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0,升级后的开源大数据平台在成本持平的情况下,扩缩容性能最高可提升6倍。
据悉,阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。
EMR2.0与EMR1.0弹性扩容速度对比
云原生趋势下,开源大数据处于重构之中,以 Hadoop 为核心的开源大数据体系,开始转变为多元化技术并行发展。阿里云EMR产品负责人何源介绍, 阿里云EMR于2009年开始服务阿里巴巴集团内部客户,2016年将过往的技术能力产品化开放,为客户提供商业化服务。作为开源大数据领域的引领产品,EMR 2.0通过云原生能力重构平台层、数据层、计算层,满足数千客户流处理、数据可视化、交互式分析、数据湖等多场景需求,重新定义了新一代开源大数据平台。为客户构建新一代开源大数据基础设施。
EMR 2.0产品架构图
客户基于EMR2.0平台可实现更加低成本、高效率、智能化的大数据集群管控和应用开发。通过使用抢占式实例,生产实证最多可降低百分之八十以上的成本。开启故障实例自动补偿,在全场景集群下,稳定性可以提高1个9。全新发布的EMR Doctor,通过健康检查服务的集群日报功能,查看集群是否存在资源浪费;通过任务评分倒排Top N,找到资源浪费最多的作业进行优化;通过持续优化,帮助客户最大化利用资源,避免浪费。同时,还可以帮助客户提前发现一些风险并进行处理。EMR Studio,提供Notebook和Workflow服务。全托管Notebook,兼容 用户Jupyter使用习惯,可以无缝对接EMR各计算、存储引擎,进行交互式的大数据开发和调试,已经开发和调试完的作业可以加入Workflow工作流里进行调度和上线。此外EMR Studio的Workflow服务也还支持Flink等的作业。
2022年6月,阿里云EMR联合 OSS、 DLF、DataWorks等构建的云原生数据湖产品方案通过信通院评测认证,是国内首批且唯一满分的产品方案,该方案为用户提供“全托管湖存储、全面湖加速、统一湖管理、多模态湖计算和智能湖治理”等全面数据湖能力。(国内首批!阿里云云原生数据湖产品通过信通院评测认证)
国内知名广告营销服务商汇量科技已使用EMR产品4年。在业务快速增长的大好形势下,汇量科技面临越来越多的困扰:如数据来源复杂、数据量大、数据维度多、实时运营业务秒级数据新鲜度需求等业务需求;本次升级后,汇量科技在素材平台、热力引擎等业务的大数据平台搭建上,数据同步和及查询效率有数倍提升,系统稳定性显著提升,未再出现之前cpu、mem、io负载高等情况。
随着阿里云EMR2.0的发布,阿里云EMR将技术引领优势,转化为云上产品服务能力。重新定义的新一代 EMR 产品,将为各行业广大客户构建开源大数据平台提供最扎实的基座保障。
- 阿里云和蚂蚁数科合作开发的实人认证产品适配华为HarmonyOS NEXT
- 联合阿里云,首批诚邀 30 家!Alibaba Cloud Linux 伙伴招募计划发布
- 阿里云“云创月汇,数智营销Go!”开启,带你玩转数字化营销
- MongoDB和阿里云携手驱动WeLab,引领超千万用户迈向智能金融未来
- 阿里云能耗宝:助力企业算碳节能
- 强强联合!Flat Ads出席云栖大会,加入阿里云“橙”云出海服务联盟
- 亚信科技亮相2023云栖大会 携手阿里云共推AI大模型 打造数字政务联盟
- 官宣!山石网科与阿里云签署战略合作
- 中国信通院联合阿里云、清华大学网络科学与网络空间研究院发布《“DNS+”发展白皮书》
- 2023云栖大会圆满结束,阿里云能耗云推进碳中和目标高质量实现
- 阿里云安全大模型投入使用,引领云上安全运营新体验
- 阿里云坚定科技平台定位,“风起云间”助力中小企业科技创新
- 受邀出席云栖大会,小影科技与阿里云共话出海新机遇
- DolphinDB x 阿里云,云服务合作伙伴+1
- 阿里云& NVIDIA TensorRT Hackathon 2023 决赛圆满收官
- 阿里云发布创业者计划:支持30000家创业公司,每家公司最高可获100万云资源