腾讯Techo开发者大会揭晓云存储发展趋向:高性能、高可用、高性价比
2019-11-11 17:27:48AI云资讯1299
产业数字化转型过程中产生着比过去任何一个时代都多的数据。在这样的背景下,数据存储技术应该怎么发展?11月7日,在腾讯Techo开发者大会上,来自科研领域的专家和腾讯云存储业务的工程师们共同揭开了云存储的发展趋势。

据IDC预测,全球数据总量预计2020年达到44ZB(440亿TB)。随着IT信息系统的不断发展,数据在各个行业的应用越来越广的同时,云存储又该如何进化满足大数据时代的要求?华中科技大学计算机学院教授、信息存储专委会常委、SNIA中国区专家委员会副主席谢长生在活动现场对存储行业的未来发展趋势进行了展望。
谢长生指出,主流存储介质从磁介质到闪存介质转移的同时,也驱动了接口协议的变化。存储行业未来将在纵向沿着Cache技术,横向朝着分布式存储两个方向继续进化。此外,包括智能存储、支撑AI的存储、交存内计算、计算型存储、类脑存储、区块链存储等在内的一些新兴存储技术也将迎来更大的发展际遇,在存储的大数据时代发挥更大的作用。
万物上云时代,云硬盘已经成为云的基础服务。腾讯技术工程事业群云硬盘专家工程师王银虎表示,通过介质升级,腾讯云云硬盘产品历经了普通云盘、高性能云盘、SSD云盘三大阶段。基于混合存储介质的高性能云盘性能指标达到了普通云盘的10倍,延迟低于5ms,高性能SSD云盘延迟甚至低于3ms。而腾讯云的下一代云硬盘——HSSD云盘则利用客户端卸载、存储卸载以及网络卸载的技术手段,可实现更低的延时和高性能,目前在平台侧已将延时降低到100微秒以下。
近年来,随着云端数据的增长,用户对云上数据产生价值的需求越来越强烈,云端大数据处理的瓶颈正在逐渐凸显。虽然业界推出了大数据存储基于对象存储的方案,提升了整体灵活性,但云数据的延时较高,整体大数据分析场景效率较低。在此背景下,腾讯云基于对象存储研发了CHDFS。腾讯云腾讯云存储研发专家工程师严俊明表示,腾讯云CHDFS融合了独立的元数据管理能力和对象存储的存储容量的能力,拥有高效和云数据操作低延时的特性。目前腾讯云CHDFS的服务可用性已达99.9%,数据持久性可以达到99.999999999%。
另一方面,腾讯庞大的自有业务体系也为云存储产品和技术提供了绝佳的实践平台。
微信作为一款月活用户超过10亿的国民级应用,系统每天读写量超过数万亿,峰值时数据调用超过1亿次/秒的。在海量存储中做到高性能,进而降低成本,是其面临的最大挑战。微信事业群分布式存储工程师郑建军表示,通过定制式开发的手段提升微信存储系统的基本能力,使得微信的存储性能比传统模式提升了近1倍。为提升数据安全性,微信还采用了多副本存储、实时校检、人工排查等方式,并通过定期对齐数据副本、副本数据的跨地域容灾等手段确保数据的完整性。此外,微信还通过快速拒绝策略、非租约的Paxos、大系统小做以及多副本冗余等方式确保存储服务在高峰期的可用性,目前,微信核心数据存储服务的可用性已经达到99.9999%的水平。
对于非常消耗存储资源的图片和音视频文件在微信和微信小程序内应用比例越来越高的问题,腾讯云还在尝试用更多的技术创新去满足这些应用对存储的需求。腾讯技术工程事业群图片业务技术副总监孙云清表示,腾讯云通过新的图片压缩技术和GPU加速技术,几年时间已经节省了近1T的图片带宽;腾讯云通过设置大容量、低成本,且直接跳过了文件系统的缓存处理服务池,大幅减少了应用读取图片和音视频档案时缓存的拷贝消耗,再结合IO的方式提高并发速度,大幅节省了系统性能,并降低了内存的消耗。此外,腾讯云还充分结合存储空间利用率优化、路由IP均衡、磁盘内存热文件缓存等手段全力挖掘系统性能潜力,并充分利用腾讯云平台上其他闲置资源进行资源弹性调配,不仅让业务变得透明,也大幅降低了成本。
腾讯云和微信小程序团队联合打造的小程序·云开发也封装了云存储的能力,提供快速上传和下载、CDN加速、服务端的对象管理和权限管理等底层云存储服务。腾讯云对象存储高级产品经理贺永红表示,通过小程序+云存储的结合,小程序可以实现直接读写云存储资源,服务端在管理资源同时还可同步进行AI处理。例如腾讯乘车码出行小程通过将城市数据迁移上云储存,实现大业务,小体积;香格里拉智能入住小程序通过和云储存的结合实现了客户的快速便捷智能入住;作业盒子小程序通过云存储的AI识别实现在线作批改。
贺永红介绍,目前腾讯云在云存储的可用性、数据可靠性和QPS三大核心指标上分别已经达到99.95%,99.9999999999%和30000的高水准,在业界遥遥领先。
相关文章
- 腾讯与特斯拉共同升级座舱体验,正式上线微信互联与目的地服务
- 腾讯游戏启动2026寒假未成年人保护专项行动,AI功能助力家庭科学管控
- 腾讯云助力炫佳科技全新升级一站式AI短剧平台 平均制作效率提升90%
- 生态共赢 赞同科技携手腾讯云斩获三项大奖
- 绿联科技联手腾讯游戏:打造“NAS+游戏”新生态,突破存储设备功能局限
- 腾讯云 WeData 升级三大 Data+AI 能力,位居一体化数据智能平台市场第一!
- 腾讯云智能体开发平台升级:做深平台、做厚内容、做强应用,构筑Agent产业合作新生态
- 从工具辅助到认知革命:天立与腾讯的战略共振如何重塑学习未来
- 腾讯云发布 AI 数据湖解决方案,支持 CPU和GPU 混合调度
- 智效跃迁,架构无界,第三届腾讯云架构师峰会圆满落幕!
- 腾讯云ADP国内首发AI原生Widget:一句话秒级生成交互组件,重塑Agent使用体验
- 绝味食品牵手腾讯打造AI会员智能体 满足消费者多元化需求
- 腾讯视频与北京电影学院达成战略合作 共建“AI影视联合实验室”
- 高端消费科技品牌 xTool 递表港交所:个人创意工具全球龙头,腾讯领投 2 亿美元 pre-IPO
- 四川具身科技新品发布,腾讯云全栈AI能力助力提升机器人情感交互能力
- 腾讯云Valkey社区贡献位居全球第一,率先在国内支持8.0版本
人工智能企业
更多>>人工智能硬件
更多>>人工智能产业
更多>>人工智能技术
更多>>- 云知声Unisound U1-OCR大模型发布!首个工业级文档智能基础大模型,开启OCR 3.0时代
- 基石智算上线 MiniMax M2.5,超强编程与智能体工具调用能力
- 昇腾原生支持,科学多模态大模型Intern-S1-Pro正式发布并开源
- 百度千帆深度研究Agent登顶权威评测榜单DeepResearch Bench
- 在MoltBot/ClawdBot,火山方舟模型服务助力开发者畅享模型自由
- 教程 | OpenCode调用基石智算大模型,AI 编程效率翻倍
- 全国首个!上海上线规划资源AI大模型,商汤大装置让城市治理“更聪明”
- 昇思人工智能框架峰会 | 昇思MindSpore MoE模型性能优化方案,提升训练性能15%+









