PD分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案

2026/11/18 11:37AI云资讯13774

11月21日,2026世界计算大会于长沙开幕。会上,海光信息联合清程极智发布PD分离异构混推技术白皮书,推出基于海光深算3号DCU与高端算力卡的异构混合推理方案。方案通过预填充与解码阶段的算力分工协同,破解长上下文大模型推理的性能与成本挑战,为大模型规模化运营提供兼顾效率与性价比的国产算力方案。

长上下文负载演进,同构推理架构凸显瓶颈

大模型推理正向高并发、超长上下文的在线服务演进,单次请求输入规模已达数十万Token。按Token结算的业务模式下,推理服务既要低延迟、高稳定,又要控制单位Token成本,算力产出效率直接影响运营收益。

大模型推理的两个阶段特性迥异:预填充阶段以大规模并行计算为主,属于计算密集型负载,决定首Token响应速度;解码阶段逐Token生成输出,受显存访存约束,影响整体生成流畅度。传统同构方案中两类任务共享芯片资源,既存在调度干扰导致延迟波动,也因硬件能力与负载需求不匹配推高成本;同时,单一算力选型还面临供应链波动的潜在风险。

异构分工协同调度,释放算力资源最大效能

针对行业痛点,联合方案采用预填充与解码分离(PD分离)核心架构,将两阶段部署于独立资源池,按硬件特性匹配对应负载。其中,海光深算3号DCU发挥高密度计算优势,承载长上下文场景预填充计算任务;高端算力聚焦解码环节,依托显存带宽与容量优势保障Token生成的流畅性,实现两类算力各展所长、资源高效利用。

为保障跨架构算力协同,清程极智自研推理平台实现了任务智能调度与KV缓存全生命周期管理。预填充阶段生成的KV缓存经高速RDMA网络跨池传输复用;多平面组网设计实现计算、存储、业务、管理流量物理隔离,保障通信稳定性。同时,海光DTK全栈开发平台兼容PyTorch、vLLM等主流AI框架,支持CUDA代码平滑迁移,大幅降低方案落地的开发适配成本。

多场景实测验证,赋能推理基础设施升级

白皮书披露了基于国内顶尖模型的多场景测试结果,覆盖从轻量交互到超长文档分析的多档典型业务负载。测试显示,方案全链路时延满足在线业务服务等级目标,模型推理精度与官方基准保持一致;同等建设成本下,端到端推理性能可达纯高端算力同构方案的3倍以上,性价比优势突出。

除性能优势外,方案还具备广泛的业务适配能力:面向智算中心与算力服务商,可构建高性价比Token工厂,通过弹性调度提升集群利用率;面向存量算力场景,可实现新旧算力组合复用,盘活既有资产、支撑平滑扩容;面向边缘推理场景,可构建跨层级PD分离架构,兼顾部署成本与低时延交互。

此次联合发布的异构混推方案,为国产算力深度参与大模型推理基础设施建设提供了可复制的技术路径。未来,海光将持续深化DCU产品技术迭代,携手更多生态伙伴拓展算力协同的应用边界,推动国产算力在AI全场景的规模化落地。

相关文章

AI企业

更多>>

AI硬件

更多>>

AI产业

更多>>

AI技术

更多>>
AI云资讯(爱云资讯)立足人工智能科技,打造有深度、有前瞻、有影响力的泛科技信息平台。
合作QQ:1211461360微信号:icloudnews