阿里云AI存储全面升级,CPFS 容量提升500%
2024-08-07 16:28:11AI云资讯17676
8月7日,阿里云面向AI推出全新升级的存储系统CPFS智算版,单文件系统容量提升500%达到6PB级别,在大规模训练场景中,可支持更大的数据量和更高性能。同时,CPFS全新升级系统智能引擎,冷热数据流动带宽提升20倍,可大幅降低存储成本,更好支撑大模型训练及推理。

随着大模型参数和数据集规模的迅速增长,包含更多数据量的多模态大模型也成为趋势,大模型训练对存储的要求更高,需要更快的数据读写、传输和更大的存储空间。阿里云CPFS是专为AI和高性能计算而设计的存储产品。CPFS通过创新的分布式并行存储架构设计,自研的高性能RoCE RDMA网络协议和虚拟存储通道技术,多级缓存的弹性客户端,最终实现高吞吐、低延迟、Serverless化的高性能存储能力。
为更好满足模型训练不断增长的数据量和计算密度需求,CPFS单文件系统容量从1PB提升至6PB,单计算节点可支持40个容器同时挂载。同时,通过智能数据流动引擎的升级,冷热数据可以100GB/s的高带宽实现流动:在训练前将数据从对象存储OSS中快速导入到CPFS,更好满足训练时数据高并发读取;在训练结束后,将生成的结果数据从CPFS导出到OSS,大幅降低存储成本。
针对大模型训练中的数据安全问题,CPFS通过高性能虚拟化存储通道保障数据访问安全,提供租户权限鉴权、数据隔离和性能隔离,增强端到端安全隔离和数据保护能力。CPFS集成日志服务SLS提供的日志审计能力和云备份CloudBackup自动挂载备份功能也即将上线。
复旦大学、小鹏汽车、零一万物、百川智能、元戎启行等公司和机构已经使用阿里云进行AI训练和应用,通过阿里云CPFS提供的高吞吐带宽和百亿级小文件的高性能访问,数据集的并发读取和checkpoint写效率大幅提升,为模型训练和推理提速。比如,元戎启行基于阿里云的灵骏智算和CPFS分布式存储,完成了高性能的智能驾驶训练,训练效率提升120%,并通过冷热数据的分层存储方案实现大幅成本节省。
Forrester全球AI基础设施解决方案最新报告指出,阿里云AI Infra综合产品力居全球第二。此次CPFS智算版的全新升级,是阿里云存储在面向多模态等AI发展趋势做出的新探索。在存储领域,阿里云曾获中国电子学会科学技术特等奖、世界互联网领先科技成果奖,盘古分布式存储技术还曾荣获中国发明专利金奖。
相关文章
- 阿里云发布AI视频创作平台“万镜一刻”,打通短漫剧和营销视频生成全流程
- 阿里云发布Token-Watt八大前沿课题,推动共建算电协同新业态
- 阿里云推出企业级Agent构建平台JVS Crew:零代码“建龙虾工厂”
- 至强® 6处理器在阿里云第九代ECS实例中的应用案例:货拉拉大促高并发实践
- 合合信息亮相2026金融AI联盟大会,携手阿里云共同启动“超级智能体计划”
- 阿里云数字短信全量开放,终端全覆盖实现营销短信点击率3倍提升
- 阿里云Q3财报:增速36%创新高,AI连续三位数增长!
- 上海数据集团、阿里云、浩鲸科技深化战略合作 发力AI时代数据要素
- 连登顶会!阿里云研究成果大幅提升运维智能精度与效率
- 阿里云金山算力中心加速投产,基于“真武”芯片建设超大规模算力中心
- 黄飞对话阿里云AI专家:当零售中台拥有AI大脑,未来将去向何方?
- 生态共进:昆仑智云以阿里云认证伙伴身份,破解AI落地“最后一公里”
- 昆仑智云:以阿里云认证生态伙伴身份,破解企业AI“三无困境”
- 全来店亮相 2026 阿里云 PolarDB 开发者大会
- 阿里云支持鹰角3D新游《明日方舟:终末地》全球开服
- 风行在线携手阿里云通义大模型,AI漫剧创作平台“橙星梦工厂”,引领数字内容生产新范式!
人工智能企业
更多>>人工智能硬件
更多>>人工智能产业
更多>>人工智能技术
更多>>- 自变量机器人王昊:训练世界模型需付出“时间税”,解决模态对齐是当务之急
- 腾讯发布CodeBuddy Security,用AI Agent实现更高效的代码审计
- Twinkle x昇腾,率先实现Deepseek-V4系列模型高效训练
- 高德发布鸿蒙首个生成式 UI 开源框架 AGenUI,告别传统 UI 开发模式
- 发布即适配| 天数智芯全力支持腾讯混元Hy3 preview 开源落地,共推国内大模型产业普惠
- Seedance 2.0面向企业公测,豆包大模型日均Token使用量突破120万亿
- 端到端OCR模型第一!百度千帆Qianfan-OCR正式发布
- 云知声Unisound U1-OCR大模型发布!首个工业级文档智能基础大模型,开启OCR 3.0时代









