PD分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案
2026/11/18 11:37AI云资讯13774
11月21日,2026世界计算大会于长沙开幕。会上,海光信息联合清程极智发布PD分离异构混推技术白皮书,推出基于海光深算3号DCU与高端算力卡的异构混合推理方案。方案通过预填充与解码阶段的算力分工协同,破解长上下文大模型推理的性能与成本挑战,为大模型规模化运营提供兼顾效率与性价比的国产算力方案。
长上下文负载演进,同构推理架构凸显瓶颈
大模型推理正向高并发、超长上下文的在线服务演进,单次请求输入规模已达数十万Token。按Token结算的业务模式下,推理服务既要低延迟、高稳定,又要控制单位Token成本,算力产出效率直接影响运营收益。
大模型推理的两个阶段特性迥异:预填充阶段以大规模并行计算为主,属于计算密集型负载,决定首Token响应速度;解码阶段逐Token生成输出,受显存访存约束,影响整体生成流畅度。传统同构方案中两类任务共享芯片资源,既存在调度干扰导致延迟波动,也因硬件能力与负载需求不匹配推高成本;同时,单一算力选型还面临供应链波动的潜在风险。
异构分工协同调度,释放算力资源最大效能
针对行业痛点,联合方案采用预填充与解码分离(PD分离)核心架构,将两阶段部署于独立资源池,按硬件特性匹配对应负载。其中,海光深算3号DCU发挥高密度计算优势,承载长上下文场景预填充计算任务;高端算力聚焦解码环节,依托显存带宽与容量优势保障Token生成的流畅性,实现两类算力各展所长、资源高效利用。
为保障跨架构算力协同,清程极智自研推理平台实现了任务智能调度与KV缓存全生命周期管理。预填充阶段生成的KV缓存经高速RDMA网络跨池传输复用;多平面组网设计实现计算、存储、业务、管理流量物理隔离,保障通信稳定性。同时,海光DTK全栈开发平台兼容PyTorch、vLLM等主流AI框架,支持CUDA代码平滑迁移,大幅降低方案落地的开发适配成本。
多场景实测验证,赋能推理基础设施升级
白皮书披露了基于国内顶尖模型的多场景测试结果,覆盖从轻量交互到超长文档分析的多档典型业务负载。测试显示,方案全链路时延满足在线业务服务等级目标,模型推理精度与官方基准保持一致;同等建设成本下,端到端推理性能可达纯高端算力同构方案的3倍以上,性价比优势突出。
除性能优势外,方案还具备广泛的业务适配能力:面向智算中心与算力服务商,可构建高性价比Token工厂,通过弹性调度提升集群利用率;面向存量算力场景,可实现新旧算力组合复用,盘活既有资产、支撑平滑扩容;面向边缘推理场景,可构建跨层级PD分离架构,兼顾部署成本与低时延交互。
此次联合发布的异构混推方案,为国产算力深度参与大模型推理基础设施建设提供了可复制的技术路径。未来,海光将持续深化DCU产品技术迭代,携手更多生态伙伴拓展算力协同的应用边界,推动国产算力在AI全场景的规模化落地。
相关文章
- PD分离架构破解长上下文难题,海光联合清程极智推出国产推理新方案
- 2026移动网络大会 | 海光打出“词元经营”组合拳
- 海光新品CPU乌镇首发,入选“互联网之光”十大精品
- 海光信息签约国家区块链网络枢纽伙伴,探索算力-区块链融合路径
- 国产科研算力走进AI4S,海光交出科研应用优化答卷
- 从AI4S到多学科科研,海光展示国产芯片创新成果
- 海光算力解锁石油化工全链条智能转型
- 全栈深度适配,海光信息×浩鲸科技共筑运营商BSS/OSS信创新底座
- 日通关20万人次 海光CPU支撑全球最大单体陆路口岸
- 国产算力走向生产核心!海光C86全品类入围中石油集采
- 中科软携手海光信息,重磅发布EngineerAI算力一体机
- 海光信息亮相中国国际数字经济博览会,展现全栈国产算力方案
- 全栈算力底座赋能Agentic AI,海光信息亮相云栖大会
- VARA2026|海光如何守住AI时代的漏洞治理
- 国产算力筑基“AI+”,海光全场景算力方案亮相东博会
- 海光信息全场景金融算力方案亮相东博会
AI企业
更多>>AI硬件
更多>>AI产业
更多>>AI技术
更多>>- 云知声 U2-Flash-1118 全新升级:打造国产第一梯队Flash 级别模型中的性价比标杆
- 可灵AI发布全新Kling Image 4.0 AA榜单排名超越Nano Banana
- 探索具身智能新路径,商汤科技实测 GPT-6-Astra
- 华为×华东师大联合研发时序预测基础模型,登顶国际权威时序测评双榜单
- 阶跃这次够狠:AA 全球开源前二,价格打到 Claude 的 1/8
- 科大讯飞发布Spark-Audio-1.0-Preview,全国产语音基座大模型实现从“听清”到“听懂”
- 全球最强开源模型 Kimi K3 发布,参数规模 3 万亿,真的是强!
- 范式变革!东软发布AI原生软件工程白皮书,重构软件产业底层逻辑









