击破IO瓶颈,扩容成本降低40%,浪潮让数据洞察更轻松
2021-01-20 11:45:45爱云资讯
浪潮为国内某通信运营商搭建的大数据平台要求存储上亿级用户数据,业务对高并发和时延要求极为苛刻,需要单服务器每秒支持上万次数据读写操作,对于整个系统性能稳定性提出了较为严苛的要求。浪潮基于双路服务器NF5280M5搭载英特尔®傲腾™持久内存的解决方案,让大数据平台处理性能提升了2-3倍,扩容成本降低多达40%,帮助用户有效应对复杂查询及大数据量分析场景。
在数据堪比金矿的新时代,社会和企业数据正在快速增长,对于政府和企业,从实时数据分析中获得洞察将有越来越重要的价值。比如疫情期间,政府能够对大众出行数据进行分析的 “健康码”,密切接触者的动态追踪,全球医疗防护物资智能调度、复工复产情况分析等。但随着5G、AI、物联网、大数据的发展,如何利用数据服务于当下及未来业务,将数据转化为真正的资产,成为很多企业当前面临的难题。
国内某知名通信运营商下设的大数据有限公司是其全网数据对外运营的统一出口,其自主研发的UBD平台,是以Hadoop为核心的混搭架构大数据平台,实现了Hadoop、Spark、Storm、Redis等开源技术在实际生产服务中的规模化应用。
每秒上万次存取操作背后,成本与性能间的矛盾
面对日剧增的数据处理业务需求,浪潮为该运营商搭建的大数据平台要求存储上亿级用户数据,对并发和时延要求极为苛刻,通常需要单服务器每秒支持上万次数据存取操作,对于性能提出了较为严苛的要求。
IO阻塞是Spark SQL查询的常见痛点。在混合并发查询等场景中,由于需要访问的表数据较多,内存很快消耗殆尽,大数据平台常常需要将大量数据缓存到相对低速的磁盘中,导致出现显著的磁盘IO阻塞,且CPU利用率会上升至高达100%,严重拖慢了系统速度,想要扩充大数据平台的内容容量,但是随之而来的成本的大幅增长问题又让该运营商望而却步。
针对这种情况,浪潮提供了以双路服务器NF5280M5搭载英特尔®傲腾™持久内存的解决方案,傲腾持久内存在内存和存储之间的持久内存,容量显著大于DRAM,单一模块可提供128GB/256GB/512GB三种规格,有效缓解内存不足的难题。
击破I/O瓶颈,让数据处理更高效
由于首次使用这种方案,客户更关注服务器的稳定性、处理能力和网络I/O能力,以及与英特尔®傲腾™持久内存的兼容性。浪潮NF5280M5支持2颗Intel的可扩展处理器,单CPU最高拥有28个内核及56线程,CPU之间采用2条10.4 GT/s UPI互连链路,可支持M.2和全闪,实现超高的存储吞吐量,将I/O延时从秒、毫秒级直接降低至微秒级,在数据库、ERP、大数据分析等应用场景可以体现极致的实际应用性能。
采用浪潮方案后,新建成的大数据平台OAP(Optimized Analytics Package)的Spark测试结果显示,处理性能提升了2-3倍,扩容成本降低多达40%。大数据平台的性能提升,将助力用户有效应对复杂查询及大数据量分析场景,显著改善数据分析应用延迟等方面的表现。
搭载傲腾持久内存,浪潮服务器让新技术应用变得更简单,在传统内存与存储之间架起一座桥梁,帮助用户在靠近处理器的内存系统上加载规模远超以往的数据集,满足包括内存数据库在内的,几乎所有对大内存有要求的应用负载需求,让更多数据的处理和分析走向实时化,释放数据金矿更大的价值。
- 华为首款开放式耳机正式发布,创新C形设计引领科技时尚新浪潮
- 统信软件多款产品与KeyarchOS完成浪潮信息澎湃技术认证
- 浪潮信息G7服务器全面支持第五代英特尔®至强®可扩展处理器
- CHS2023丨神州医疗许娟:AI浪潮下的医疗大模型突破与创新
- 内嵌混合AI算力+增强AI+体验升级,ThinkPad X1 Carbon AI引领AI PC浪潮
- 清流资本十周年特别行动:CEO闭门会系列之“拥抱新AI+新智造浪潮”专场
- 信创浪潮下,蓝科LucaNet如何助力企业财务实现数字化跃升
- IDC: 浪潮信息居全球服务器份额第二
- 2024 信心满满!19家元脑生态伙伴与浪潮信息签署亿元分销协议
- 高通孟樸:在新一轮5G+AI创新浪潮下,携手产业共建数字化未来
- 中控技术发布InPlant SCADA 2024新版本:免费授权加速组态软件发展浪潮
- 浪潮信息刘军:智算力系统创新 加速生成式AI产业发展
- 高通陈雷:新一轮5G浪潮推动绿色低碳经济发展
- AGI引领智能升级浪潮,微美全息布局高增长领域书写AI行业发展前沿
- 迎数贸浪潮,信天金钗石斛与数字未来共健康
- 浪潮信息赵帅:实现算力全流程绿色化,推动数据中心可持续发展