华芯超算技术负责人分享分布式存储技术核心
2021-06-11 11:55:01爱云资讯510
分布式存储技术龙头企业华芯超算技术负责人刘一在接受记者专访时针对分布式存储技术的核心问题进行了分享。
在谈到分布式存储是当代大数据的基本存在形式,在工业界和学术界已经得到深入研究和高度重视,为了解决大规模存储带来的磁盘故障,跨节点直接复制数据包存储是最简单的解决方案。分布式存储能增强存储系统可靠性、柔性生存力、抗数据损毁风险;是实现网络热点访问负载均衡的技术途径、提高边缘计算的处理效率;能达成数据共享服务和隐私保护的便利性。
数据编码分布式存储有明显的短板,从而提出分布式存储的局部可修复问题和热数据节点负载平衡问题。归纳为发展局部再生修复编码技术的源动力包括减少修复成本以提高维护效率,负载均衡与边缘计算服务。当今分布式存储的新需求是节点数据间接访问的局部重构开销问题和节点数据的局部修复开销问题。
分布式存储的局部修复码LRC是一个欲求解的科学问题,分布式数据的局部再生的性能参数直接的制约博弈关系。分布式存储的局部修复码研究现状:LRC码性能界的上限和LRC纠删码的具体构造办法,此处列举了实例和成果。
从应用需求看,LRC或RGC纠删码尚存在的不足和倾向如下:
LRC和RGC纠删码的研究存在瓶颈,未来十年需要大家一起挑战存储纠删码,提升优异技术性能。
随着计算机技术和存储技术的发展,数据正以爆炸式的速度增长,海量数据对存储系统提出了巨大的挑战。纠删码技术以牺牲CPU计算量和网络负载为代价,提高存储空间利用率,同时提供近似副本的可靠性。 华芯超算一直聚焦于分布式存储系统中的纠删码技术,将丰富的理论和工程实践经验加以糅合,探讨可局部再生修复纠删码技术用于提高分布式存储可靠性的实质问题,有助于存储产业在分布式存储架构层面上不断探索和完善。
刘总在谈到华芯超算在分布式存储技术上的战略布局时介绍到,自2018年成立以来,华芯超算以分布式存储及计算技术为先锋,不断探索IPFS技术架构深层应用,围绕软件定义、智能化、安全可靠构建了完全自主可控的分布式存储及计算的解决方案,可为用户提供创新和高效的存储、计算及数据资产管理方案。华芯超算以设计、研发、推广和销售分布式产品为主营业务,自主设计研发华芯E20、 CHIA华芯X10、 CHIA华芯X20等产品,并推出配套的托管服务方案。
华芯超算聚焦细分市场,围绕分布式计算及分布式存储架构产品的设计研发生产+全程托管服务为一体的核心策略,不断深化“自主可控、高效计算、智能存储、EB级存储”的产品发展规划。积极响应用户需求,为用户提供数据计算、运营、数据采集分析、业务运行优化等增值服务。
相关文章
- 上线一年,国家超算互联网交出“高质量增长”答卷
- 科研效率大幅提升!超算互联网助深势科技加速AI4S创新
- 专业团队护航企业级部署开发!超算互联网上线DeepSeek系列模型
- 实现高可信AI环境, 国家超算互联网上线DeepSeek系列模型
- 国家超算长沙中心联合加佳科技赋能教育出版创新发展
- 云知声 Atlas 超算平台入选《分布式统一大数据虚拟文件系统Alluxio原理、技术与实践》
- 谷歌发布突破性量子计算芯片Willow:五分钟完成超算10的25次方年的计算
- “智算+超算”一套平台搞定!青云科技助力教学科研效率 10 倍提升
- 南京信易达智算超算融合纳管平台,亮相中国高校算力联盟大会
- 促进算力与绿色电力融合发展,国家超算互联网闪耀2024算力网络发展大会
- 国家超算互联网平台入选2024世界计算大会“优秀成果”
- 高性价比普惠算力!东方超算智算一体机重磅发布
- “全国一体化算力网应用优秀案例”发布,国产超算互联网平台入选
- 算力应用大提升!国家超算互联网“滨城”尝鲜,赋能协同创新
- 智算中心和超算中心有区别,青云科技AI智算平台无区别支持建设与运营
- 超算迎来“通久必专”转折点?专用超算玩家已建起产业应用护城河