英伟达Blackwell平台为AI推理工作负载带来全新水平的Token优化

2026-02-13 08:40:49AI云资讯1286

(AI云资讯消息)在英伟达竞相构建AI领域新基础设施的过程中,公司最大的关注点始终是提升所部署硬件的效率。随着经Blackwell训练的前沿AI模型陆续面世,英伟达在Token输出与成本控制方面的取得重大进步。在最新发布的博文中,英伟达公司透露正携手企业客户共同扩展Blackwell性能,并展示了相较Hopper架构高达十倍的显著提升。

在探讨Blackwell的Token经济时,英伟达特别提及了贝斯腾(Baseten)、Sully.ai以及专注游戏领域的DeepInfra和Latitude等企业。对于每家公司而言,Blackwell架构都使其得以实现更低延迟、最优推理成本及稳定可靠的响应,这正是该技术栈成为当今主流AI公司首选方案的原因。即便在多智能体工作流与部署专用AI代理的场景中,SentientLabs公司也实现了相较Hopper架构25%至50%的成本效益提升。

英伟达Blackwell AI架构的突破源于其极限协同设计策略,这一方法论与当今的MoE架构高度契合。通过GB200 NVL72,英伟达采用72芯片配置搭配30TB高速共享内存,将专家并行技术推至全新高度,确保Token批次在GPU间持续拆分分发,并使通信量呈非线性增长。这正是Token经济将在Blackwell平台达到巅峰效率的关键原因。

展望Vera Rubin,英伟达计划通过架构革新、针对预填充的CPX等专用机制,将基础设施效能提升至全新维度。AI世界正以势不可挡的速度进化,这警示我们:硬件优化与硬件创新同等重要。

相关文章

人工智能企业

更多>>

人工智能硬件

更多>>

人工智能产业

更多>>

人工智能技术

更多>>
AI云资讯(爱云资讯)立足人工智能科技,打造有深度、有前瞻、有影响力的泛科技信息平台。
合作QQ:1211461360微信号:icloudnews