浪潮存储基于智能运维技术,加速存储自治
2021-11-14 11:22:13爱云资讯745
存储智能管理就是通过AI技术实现存储自治,即自我管理、自我修复、自我调优,提高存储系统的性能、稳定性和易用性,降低存储使用的复杂性,简化运维,使存储设备永远保持在最优运行状态,加速数据在线。
近几年,浪潮一直在致力于该方向研发和探索新特性,目前推出了智能管理软件InView,包含了4个预测和2个自动化智能运维功能特性。四个预测分别为包括提前两周识别风险磁盘,降低数据丢失风险;智能预测性能增长需求,预知性能瓶颈;智能预测容量增长需求,给用户提供科学、准确的扩容建议;预测SSD使用寿命,精准到天。两个自动化分别为性能瓶颈分析,通过端到端诊断分析,快速发现存储性能瓶颈状态,并能定位根因;性能自动调优,结合应用场景和用户IO模型,自动挖掘最优的客户端配置和存储端配置,并主动推荐配置给需要的存储系统和用户。
为什么需要性能自动调优?
目前的存储系统中具有大量的可调参数,以浪潮分布式存储系统AS13000为例,系统软硬组件多,内、外部参数多达两千多个,且90%的参数为数值型和布尔型,参数的可调范围非常大,修改这些参数往往会对系统性能产生不同的影响。通常默认的参数配置由供应商提供,这些参数值的组合一般都不是最优的参数集合。研究表明,即使调整一小部分的参数值,也可以将系统的能耗和性能效率提高数倍以上。
传统的参数调整是由系统管理员依据自身的专业知识和经验完成的,由于存储系统的复杂性不断提升,手动调参将较难适应大规模的存储系统,并且人工调参具有无法全天候的监控以及高额的人力成本等问题。如何结合具体应用场景,在存储默认配置和性能数据基础上,自动挖掘最优的存储配置,并主动推荐配置给需要的存储系统,对存储系统的性能优化具有重要意义。
浪潮分布式存储参数分布
浪潮存储:基于InView性能自动调优技术,将带宽提升41%、时延降低29%
在自动调优中,强化学习是一个非常好的解决方案,强化学习(RL)是机器学习的一个分支,涉及代理(agent)如何在当前环境下采取行动(action)以最大程度地获得回报(reward)。与监督学习和无监督学习不同,强化学习通过试错机制,与环境进行互动并获得奖励,从奖励中进行学习。
强化学习工作原理
关键算法采用的是2016年谷歌DeepMind提出的DDPG算法,算法包含Actor网络和Critic网络,其中Actor网络可根据环境当前运行状态输出连续动作,Critic网络可对当前环境运行状态和实施的动作进行评估打分,两者相结合,适用于高维连续动作场景。这是首次使用强化学习方法学习和推荐存储系统参数。
性能自动调优整体架构
浪潮智能管理软件InView强化学习进行存储系统参数调优整体包含三个模块,分别是用户的应用、分布式存储系统AS13000以及调优模块。其中,参数推荐引擎可根据浪潮分布式存储AS13000的当前状态生成最佳配置,负责将最佳配置动态下发给AS13000,AS13000负责响应客户端的IO读写请求,性能指标采集器负责采集AS13000在新配置下的状态信息并计算在新配置下的性能提升效果,深度学习引擎根据AS13000的反馈迭代更新Actor和Critic网络。该过程迭代直到模型收敛,最终将找到最合适的参数设置。
浪潮InView性能自动调优系统具备端到端参数自动调整、提升网络带宽同时降低网络时延、参数的调整不影响集群正常运行三大特点,具体实验效果如下:橙色框中的前360步,模型随机探索学习,红色框为360步之后,模型自动推荐参数,相比默认配置(黑色框中的点),平均带宽提升41%,时延降低29%,调优效果与性能专项组专家经验相当。
自动调优与默认配置效果对比
随着云、大数据、人工智能、区块链、5G等新技术与实体经济将加速融合,中国存储市场未来5年复合增长率将达到8%,其中全闪存储和分布式存储将持续高速增长。浪潮存储基于“云存智用 运筹新数据”的理念,将在包括分布式和集中式存储的平台及智能管理软件领域持续加大投入与创新,释放数据价值加速企业数字化转型。
相关文章
- 引领大模型推理效率革命!浪潮存储发布国内首款推理加速存储AS3000G7
- 浪潮KaiwuDB 出席 2025 开放原子开源生态大会,开源社区项目挑战赛正式发布
- 数智浪潮奔涌青岛,华为中国政企用户峰会2025启幕在即
- 浪潮KaiwuDB 入选 Gartner DBMS “市场指南”及数据技术“成熟度曲线”双报告
- 浪潮KaiwuDB 受邀出席2025可信数据库发展大会,分享能源行业数据库应用创新
- 机器人替代机器:智库智能引领托盘仓储领域时代浪潮 ——专访江苏智库智能科技有限公司CEO 蔡传玉
- 传音控股本地化战略的跨区域成功:驱动东南亚、南亚数字化浪潮
- 浪潮KaiwuDB 连续三年入选中国信通院数据库产业图谱,持续筑牢可信数字底座
- 工业富联:AI浪潮中的“蜕变者”,下一个万亿巨头
- 中国工联院联合浪潮KaiwuDB 等单位编写《工业数据库规范》系列标准,推进工业数字底座建设
- 浪潮通信信息参编的TM Forum自智网络产业白皮书7.0发布
- AI浪潮下存储需求大增,江波龙以自研技术加速全产业链布局
- 医药数字化浪潮奔涌,新畅科技亮相第90届全国药品交易会引行业瞩目
- 浪潮瑶台预制模块化数据中心入选《中国-上海合作组织数字技术工具箱(2025)》
- 从“新三样”到空天地海,中国移动硬核科技矩阵引领AI+时代浪潮
- 来也科技发布多场景智能体矩阵,开启智能体规模化落地浪潮