华芯超算技术负责人分享分布式存储技术核心
2021-06-11 11:55:01爱云资讯
分布式存储技术龙头企业华芯超算技术负责人刘一在接受记者专访时针对分布式存储技术的核心问题进行了分享。
在谈到分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。
数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。
分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。
从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:
LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。
随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。 华芯超算一直聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。
刘总在谈到华芯超算在分布式存储技术上的战略布局时介绍到,自2018年成立以来,华芯超算以分布式存储及计算技术为先锋,不断探索IPFS技术架构深层应用,围绕软件定义、智能化、安全可靠构建了完全自主可控的分布式存储及计算的解决方案,可为用户提供创新和高效的存储、计算及数据资产管理方案。华芯超算以设计、研发、推广和销售分布式产品为主营业务,自主设计研发华芯E20、 CHIA华芯X10、 CHIA华芯X20等产品,并推出配套的托管服务方案。
华芯超算聚焦细分市场,围绕分布式计算及分布式存储架构产品的设计研发生产+全程托管服务为一体的核心策略,不断深化“自主可控、高效计算、智能存储、EB级存储”的产品发展规划。积极响应用户需求,为用户提供数据计算、运营、数据采集分析、业务运行优化等增值服务。
- 九章云极DataCanvas公司牵手国家超算互联网,实现算法与算力一体化服务
- 落地大模型时代的超算应用,青云QingCloud的实践经验
- 青云科技联合济南超算模式创新,入选产业数字化案例金奖
- 国家超算互联网启动公测,用户可享创新算力服务
- 繁荣算力生态,国家超算互联网亮相乌镇峰会
- 以终为始 繁荣创新|东软睿驰总经理曹斌:基于中央超算芯片的软件开放技术框架
- 首批13家数据中心加盟东方材料全资子公司东方超算“全国一体化超级算力集群”
- 东方超算在京发布“东方超算-银河” 全国一体化超级算力调度平台
- 超算与智算融合是未来必然趋势!超算赋能大模型发展应用论坛成功举办
- 超算赋能,智启未来|北京超算荣获AI大模型算力平台解决方案奖
- 极光超算推动生成式AI发展,将支持运行当今规模最大的大语言模型!
- 武汉人工智能计算中心、武汉超算中心发布10大创新成果,打造数智经济高地
- Aurora有望成为世界第一超算: 搭载英特尔21248个CPU和63744个GPU
- 译筑科技与国家超算天津中心达成战略合作,共助数字经济发展
- 超算芯纪元 华硕PRO WS W790-ACE工作站主板上市
- 大咖云上齐聚,超算最佳应用落地,CCF HPC China 2022影响力超越时空!