华为云黄瑾:昇腾云CloudMatrix 384 超节点六大科技创新,定义下一代AI基础设施
2025-05-17 09:08:45爱云资讯909
5月16日,华为云AI峰会在北京召开,华为云副总裁黄瑾发表主题演讲,介绍了更多CloudMatrix 384 超节点技术优势与细节。他指出,随着大模型训练和推理对算力需求的爆炸式增长,传统计算架构已难以支撑AI技术的代际跃迁,超节点架构的诞生不仅是技术的突破,更是以工程化创新开辟AI产业的新路径。华为云CloudMatrix 384超节点具备MoE亲和、以网强算、以存强算、长稳可靠、朝推夜训、即开即用六大领先技术优势,以系统架构创新重新定义新一代AI基础设施。
华为云副总裁黄瑾
重新定义AI基础设施架构,开辟算力新纪元
当前,大模型训练经历了从早期小模型在单卡训练、小参数大模型在单机训练,到现在MoE、长序列、多模态大模型都在AI集群上训练的演进过程。AI算力的瓶颈,从单卡算力的瓶颈到单机内总线带宽的瓶颈,再到现在集群间通信带宽的瓶颈,需求增长了1万倍。
然而过去的8年里,单卡硬件的算力增长了40倍,但是节点内的总线带宽只增长了9倍,跨节点的网络带宽只增长了4倍,这使得集群网络通信成为当前大模型训练和推理的最大挑战。
黄瑾表示,面对这些挑战,华为云创新性的推出了采用全对等互联架构的CloudMatrix 384超节点。这项技术创新跳出单点技术限制走向系统性、工程性的创新算力架构,直面通信效率瓶颈、内存墙制约、可靠性短板三大技术挑战。通过新型高速互联总线实现384 张卡互联成为一个超级云服务器,最高提供300Pflops的算力规模,比业界同类产品领先67%。
解码六大优势,CloudMatrix384超节点重构AI算力架构
目前,基于CloudMatrix的超节点集群已经在芜湖、贵安、内蒙规模上线,黄瑾进一步深入解读了六大技术创新点:
MoE亲和架构,从“小作坊”到“超级工厂”。在传统架构下,MoE模型训练容易因通信延迟导致算力浪费,而CloudMatrix 384超节点的分布式推理平台可以说是专为MoE大模型而生。黄瑾指出,对比一卡多专家的“小作坊模式”,超节点更像“大工厂模式”,通过高速互联总线,能够实现一卡一专家高效分布式推理,单卡的MoE计算和通信效率都大幅提升。这也是为什么有几百个政务、零售、医疗、保险、制造、矿山、旅游等各行各业的客户,基于华为云昇腾AI云服务部署DeepSeek模型的创新应用,例如在智能助手、智能客服、互联网搜索、内容创作等各种场景落地。
以网强算,双层网络破解“数据堵车”。当AI算力走向规模化部署,单点的芯片性能不再是制约算力发展的唯一变量,如何由点及面地激活算力矩阵的共振效应,也是破解AI时代算力命题的关键一步。而释放联接力也正是超节点最大的创新突破之一,黄瑾介绍,传统网络像拥堵的城市道路,CloudMatrix 384则构建了AI专属高架桥,通过MatrixLink服务将单层网络升级为两层高速网络,一层是超节点内部的ScaleUp总线网络,确保超节点内384卡全对等高速无阻塞互联,卡间超大带宽2.8T,纳秒级时延;另一层是跨超节点间的ScaleOut网络,可支持微秒级时延,资源弹性扩展;同时,基于全局拓扑感知的智能调度算法,保障客户任务长稳运行。
以存强算,弹性内存改写“算存绑定”。华为云首创了EMS弹性内存存储,打破传统GPU算力与显存绑定的关键障碍,通过内存池化技术,实现显存和算力解绑。一方面,用EMS替代NPU中的显存,可使得首Token时延降低,最高降幅可达 80%;另一方面,当NPU的显存不足时,EMS独立扩容,不必再通过堆NPU以获得更多内存。同时,EMS还支持算力卸载,这也使得系统吞吐量提升,有的场景达100%的提升。总之,这一技术创新大幅提升了资源利用率、性能和吞吐量。
长稳可靠,故障自愈的“AI医生”。随着模型训练需求的不断接入,大集群的运维难度大、复杂性高的问题日益凸显。对此,华为云开发了昇腾云脑运维“1-3-10”标准,即 1 分钟感知、3分钟定界、10 分钟内恢复。通过5层压测、静默故障感知技术,昇腾云脑可将硬件故障感知率从40%提升至90%。同时,覆盖计算、存储、网络、软件四大种类故障模式库也打通了全栈故障场景,这一全栈故障知识库能够覆盖95%常见问题以实现故障快速定界;在恢复机制上,3层快恢技术、快速建链技术、图编译缓存等技术能够实现万卡故障快速恢复。
朝推夜训,算力资源“错峰用电”。在大模型训练中,提升算力利用率,避免算力闲置也是企业关心的重点之一。CloudMatrix 384超节点通过“训推共池”“灵活调度”两大关键技术实现朝推夜训,白天进行模型推理,晚上闲时进行模型训练,算力资源利用率可提升30%以上。
即开即用,“算力水电”普惠模式。为助力客户更好地专注业务模型开发,华为云已经在全国三大枢纽数据中心——乌兰察布、贵安和芜湖完成了超节点规模布局,支持百TB级的带宽互联,10毫秒时延圈覆盖全国19个城市群,让客户能够第一时间享受到即开即用的AI算力资源。同时,华为云拥有专业的超节点运维团队,在为客户免去繁琐的管理和维护的同时,保障资源的稳定运行。
做好智能世界云底座和使能器,加速行业智能跃迁
如今AI已经成为最有影响力的通用技术,如何将技术价值转化为应用成果,成为千行百业面临的核心课题。华为云超节点创新系统架构的背后,是华为云坚持“昇腾云服务支持百模千态,盘古大模型重塑千行万业”的战略。
黄瑾强调,一直以来华为云持续推动昇腾AI云服务全面升级,通过打磨昇腾云的训练、推理的性能、可靠性和性价比,为中国乃至全球客户提供好用、易用的AI算力云服务。现已全面适配了DeepSeek在内的160多个大模型,以云服务的方式,协助客户进行模型的开发,训练,托管和应用。昇腾AI云服务上线以来,面向政府、金融、零售、互联网、交通、制造等行业已经服务六百多家创新先锋企业,加速行业智能化应用的快速落地。
在充满突破和创新的AI发展过程中,每一个阶段都会产生大量的新技术、新模式,企业唯有抓住AI时代机遇,才能抢占发展先机。黄瑾表示,面向智能世界,华为云致力于做好行业数字化的“云底座”和“使能器”,坚定打造AI算力底座,以安全、稳定、高质量、持续创新的AI云服务,赋能千行万业应用创新,携手伙伴、客户加速行业智能跃迁。
相关文章
- HDC2025 | 华为云AI原生应用运行平台,打造应用运行“自动驾驶”全新体验
- 华为云五大案例入选中国信通院“2025政务大模型典型案例”
- 华为云重磅推出ROMA MCP,打造一站式MCP资产全生命周期管理解决方案
- 华为云:CloudMatrix384突破大模型训推瓶颈,加速行业智能化跃迁
- 华为云云商店打造制造引擎,共筑工业软件新生态
- HDC 2025:聚焦 AI-Native 安全,中国燃气携手华为云打造能源行业大模型安全标杆
- 华为云MaaS:用“三层五阶十二步”法,让AI落地不再走弯路
- 智象未来与华为云签署全面合作协议,共同探索人工智能落地应用创新典范
- 华为云助力企业基于盘古大模型打造专业大模型,引领行业智能化变革
- 微赞直播亮相华为云开发者大会,双轮驱动解锁私域直播新未来
- 解码气象预报「不可能三角」,华为云携手深圳气象局开辟AI算天新路径
- 算力赋能营销革新,东信云与华为云签约共建多模态大模型应用标杆
- 华为云CloudDevice亮相HDC 2025:以新一代云终端驱动行业智能应用创新
- 明源云亮相 HDC 2025,携手华为云共筑不动产数字化新未来
- 捷顺科技携手华为云,智能全栈可观测运维,为智慧停车系统保驾护航
- 华为云盘古气象大模型精准预测,助力深圳能源“望雨观风”
人工智能技术
更多>>人工智能公司
更多>>人工智能硬件
更多>>- 从灵感到成片 三星Galaxy S25 Ultra让影像创作更高效
- 芯原推出经市场验证的ZSP5000视觉核心系列,扩展其面向边缘智能的数字信号处理器IP组合
- 从双城救援到DJI FC100发布:大疆无人机重塑应急救援新方式
- 大朋VR AI眼镜预发布,从 VR 领航者到 AI 穿戴开拓者
- 录音界的“黑科技”!索尼ICD-TX660:专业录音、高效随行
- 重磅!方芯半导体推出国产EtherCAT从站控制芯片,原位替代Microchip LAN9252/9253/9254
- 大疆发布旗舰级运载无人机DJI FC100:80kg载重、9分钟快充,开启无人机运载新时代
- 智能健康领域新突破:Ulook脑机智能眼镜正式上市,重新定义“眼-脑-心理”联动新范式