聚力开源,共话推理生态|昇腾 × SGLang Meetup 圆满举办
2026/11/19 16:36AI云资讯18151
2026年11月14日,由昇腾联合 SGLang 开源社区共同举办的昇腾开源软件极客营 Meetup·上海 SGLang 专场在上海粤海万怡酒店顺利举行。本次活动汇聚了 SGLang 开源社区核心贡献者、产业合作伙伴及广大开发者,围绕 SGLang 最新技术演进、昇腾AI基础软硬件平台适配与性能优化、产业实践及生态协同等方向展开深入交流。

聚焦实践:主流模型昇腾硬件部署与调优
大模型推理技术的发展,不仅需要框架能力的持续创新,也离不开硬件平台适配、性能优化及工程实践的长期积累。本次 Meetup 上午设置了实操环节,围绕业界主流模型Qwen3.8-27B、DeepSeek-V4-Flash(W8A8)、GLM-5.2(W4A8)在昇腾上的部署、推理测试及性能调优展开。
现场按不同任务设置主题桌次,采取赛制并限制通关名额,先通过先拿奖。允许组队通关,同时配备昇腾技术专家现场指导。实操过程中,开发者不仅直观了解到 SGLang 在昇腾上的适配运行情况,还围绕过程中遇到的技术问题展开充分的交流与讨论。有限时间内,活动现场共计有25位学员通过实操验收,其中最快速度通关的学员1.5小时就完成现场验收并提交总结PR,并有1位学员完成了2次现场验收并提交总结PR。

聚焦技术:五大专题分享,深入探讨 SGLang 与昇腾协同演进
下午专题分享环节,来自开源社区、昇腾技术团队和产业合作伙伴的讲师,分别从框架架构、技术规划、核心优化及实际部署等角度带来分享,既呈现了 SGLang 与昇腾生态协同发展的技术探索,也为社区开发者和产业伙伴提供了现场交流、共同学习的机会。

SGLang 最新架构和 Roadmap:洞察开源推理框架的技术演进
来自 SGLang 开源社区的核心开发者张晓雨带来《SGLang 最新架构和 Roadmap》主题分享,整体介绍了 SGLang 推理引擎社区运作现状,并以“一个请求落到硬件”的过程逐层拆解了架构设计,最后围绕 SGLang Q4 Roadmap 展开介绍。

张晓雨 《SGLang 最新架构和 Roadmap》
昇腾 SGLang 关键竞争力规划:持续推进软硬件协同优化
华为昇腾技术专家周逸文带来《昇腾 SGLang 关键竞争力规划》主题分享。结合昇腾AI基础软硬件平台的技术特点和大模型推理发展需求,从昇腾超节点代际演进、统一总线编程模型以及对外提供语义一致接口的SGL-Kernel-NPU三个方面介绍了昇腾 SGLang 在核心能力建设、性能优化、功能适配及生态发展等方面的规划与思考,阐述了通过软硬件协同优化、开源社区协作和持续技术迭代,提升 SGLang 在昇腾上的综合竞争力的相关方向。

周逸文 《昇腾 SGLang 关键竞争力规划》
昇腾 SGLang + Mooncake KV Cache 社区发布:探索推理性能提升新空间
第三场分享由华为昇腾技术专家张景芳围绕《昇腾 SGLang + Mooncake KV Cache社区发布》话题展开。议题深入介绍了基于昇腾超节点场景打造的内存池化软件MemFabric的三大关键能力,百TB级到PB级内存逻辑统一编址、简单的xcopy北向接口以及南向灵活的扩展能力,使用超节点就像使用单节点进行统一内存访问,并介绍了如何深度结合MoonCake,在GLM 5.2/5.3 1M长序列场景取得吞吐1.x倍收益、Prefix Cache取得带宽利用率提升1倍、多实例Engram共享取得显存节省等不同场景的优化案例。

张景芳 《昇腾 SGLang + Mooncake KV Cache 社区发布》
SGLang 在 Atlas 800T A2 优化实践:从长程任务需求到软硬协同落地
产业实践分享环节,中国电信人工智能公司PaaS平台技术总监李立彪带来《SGLang 在 Atlas 800T A2 上的优化实践》分享。议题分享阐述了项目面临的三大现实约束,即长程任务爆发、大量A2设备从训练转战推理、生产主流方案在超长上下文难以兼顾高并发与低TTFT,研发团队据此分析确定了统一至SGLang+Mooncake Cache的破局方案。李立彪介绍了团队由内到外的实践路径,从适配做起,保证内核以较理想效率运行,然后针对性叠加引擎优化特性、挖掘高阶能力用于发掘Atlas 800T A2 机器的潜力,最后给出了经初步适配优化后单机并发能力提升两倍、TTFT降低近16%的数据,印证了此方案的优势所在。

李立彪 《SGLang 在 Atlas 800T A2 优化实践》
Dots NPU 推理部署实践:推动技术能力走向真实业务场景
最后,小红书的Dots Infra NPU 负责人星海带来《Dots NPU 推理部署实践》分享,议题围绕Note结构设计、推理框架设计、量化、KV Cache系统等不同方面的实践方案展开,并结合数据,展示了Dots团队在 NPU 推理部署实际业务场景中的探索与实践经验,末尾还展示了以 Cost Model 驱动联合调度的后续方案展望。

星海 《Dots NPU 推理部署实践》
聚力生态:以开源协作推动技术创新与产业落地
开源生态的持续发展,离不开社区贡献者、硬件平台、产业伙伴及广大开发者的共同参与。本次 Meetup 不仅是一次技术交流活动,也是一次面向开源推理生态的协同实践。
通过上午动手实操与下午专题分享,参会者得以从技术原理、工程实践和产业应用等不同维度,深入了解 SGLang 在昇腾AI基础软硬件平台上的技术进展与应用探索。
未来,昇腾将继续携手 SGLang 开源社区及产业合作伙伴,坚持开放协作的理念,持续推进 SGLang 与昇腾的技术适配和深度优化,积极参与开源社区建设,推动更多技术成果转化为可落地、可复用的工程实践。
期待与更多开发者和生态伙伴携手,共同探索大模型推理技术的创新方向,构建更加开放、繁荣的开源推理生态!
昇腾×SGLang,让开源创新与算力生态协同共进!
搜索【昇腾社区官网】,导航栏选择【活动>任务广场】,任务分类选中【业界开源社区】即可参与社区任务报名,完成验收后百万奖金等你拿。
相关文章
- 昇腾助力江西电信打造装维超级数字员工,重塑通信服务新效率
- 昇腾超节点助力京东工业,让AI赋能工业供应链
- 华为云:已有80%中国具身智能企业选择昇腾云,在中国具身智能行业市场第一
- 赛意信息亮相华为全联接大会2026,斩获三项大奖锚定昇腾生态共建者角色
- 昇腾超节点系统创新,加速Agentic AI跃迁
- 昇腾AI赋能江苏百业:算力落地 场景开花
- 华为发布全球首个采用NPO的超节点——昇腾960超节点
- 昇腾技术凭借机器听觉与认知感知技术入选福布斯中国新兴科技 T30&30
- 昇腾950超节点斩获2026世界人工智能大会SAIL最高奖
- 算力极致 AI极简 2026商业市场鲲鹏昇腾轻量化场景方案发布会圆满举办
- 鲲鹏昇腾开发者大会2026:携手开发者共筑Agentic AI时代算力底座
- 一起昇腾 共绽光芒:昇腾AI开发者峰会2026在京成功举办
- 软硬一体,全栈赋能,慧博云通与宝德计算精彩亮相鲲鹏昇腾开发者大会2026
- Twinkle x昇腾,率先实现Deepseek-V4系列模型高效训练
- 心怀挚爱,共绽光芒——鲲鹏昇腾开发者大会2026即将启幕
- 金融智能新跨越:中国银联依托昇腾算力率先完成DeepSeek-V4私有化部署
AI企业
更多>>AI硬件
更多>>AI产业
更多>>AI技术
更多>>- 云知声 U2-Flash-1118 全新升级:打造国产第一梯队Flash 级别模型中的性价比标杆
- 可灵AI发布全新Kling Image 4.0 AA榜单排名超越Nano Banana
- 探索具身智能新路径,商汤科技实测 GPT-6-Astra
- 华为×华东师大联合研发时序预测基础模型,登顶国际权威时序测评双榜单
- 阶跃这次够狠:AA 全球开源前二,价格打到 Claude 的 1/8
- 科大讯飞发布Spark-Audio-1.0-Preview,全国产语音基座大模型实现从“听清”到“听懂”
- 全球最强开源模型 Kimi K3 发布,参数规模 3 万亿,真的是强!
- 范式变革!东软发布AI原生软件工程白皮书,重构软件产业底层逻辑









