专注做好“融合型AI底座”：浪潮云海破解政企AI落地难题

2025年初以来，低成本、高性能的新型AI模型迅速成为业界研究、应用的焦点，越来越多的传统行业开始探索为自身的业务引入人工智能。不过在实际应用中，大部分政企用户都面临诸多挑战，包括AI如何与传统应用结合，如何搭建支持AI应用的软硬件架构等等。在近日举行的2025中国算力大会“云存智算创新实践分论坛”上，浪潮云海正式对外发布了创新的AI云基础设施平台InCloud AIOS，为政企用户低成本、高效率地接入AI提供了一条平滑演进之路。

浪潮数据云计算产品部副总经理张明灿在演讲中表示，InCloud AIOS平台具有开放兼容、平滑演进、简化运维、极致性能等特点，是专为政企智能化转型设计的“融合型AI底座”。“InCloud AIOS平台可以帮助政企用户解决异构算力协同难、传统架构升级难、AI运维门槛高、性能与安全难平衡等难题，使得用户能够从传统IT快速、稳妥地迁移到智能IT。”张明灿说。

打造灵巧、简洁的智能云基础设施

在引入私有化AI大模型之初，大多数政企用户只是想要搭建智能问答助手应用，解决客服人手不足的问题，不过很快就会迸发出更多的想法，比如引入财务AI、办公AI、生产线AI等等。这些应用往往来自不同部门，对大模型的参数规模、精度、调用数量等各不相同，对GPU、CPU等硬件的算力要求、计算类型也不一致，共同点是都要求运行安全稳定、日常运维简单易行。另一方面，为了更好应对不断变化的国际形势，国内政企客户都存在向国产化架构迁移的迫切需求，新旧芯片、架构、软硬件环境等如何协同工作，也是一个迫切需要解决的问题。

据张明灿介绍，在具体实施过程中，有的客户选择各个部门自建一套AI基础设施，不同部门的AI平台、AI开发平台各不相同。“这其实就是烟囱模式，会导致AI资源分散，难以统一运维、统一管理。”张明灿说，“更理想的做法是云化模式，像建云一样搭建AI基础设施，实现业务整合、数据集中、资源池化。”

云化模式部署AI基础设施的好处很多。首先，AI业务通常都是从基于云端的传统业务改造而来，云化模式可以实现传统业务、AI业务的统一管理；其次，AI应用也需要调用虚拟机、容器、数据库、PaaS服务、存储等资源，私有云可以对此提供更好的支持；第三，私有云可以很好地支持AI所需要的多芯多模；第四，云化部署AI业务可以大大降低运维压力，减少AI平台的人力、物力、财力成本。

正是基于上述实际情况，浪潮云海近年来不断完善其智能云框架，发展可演进的私有云解决方案，纵向实现各分层解耦、可继承、可演进，横向提高服务组件的按需选配能力。此次推出的InCloud AIOS平台就可以帮助企业高效率、低成本地接入AI能力，破解AI落地中普遍存在的AI建设成本高、异构算力协同难、大模型运维门槛高、性能与安全难平衡等痛点。

四大特性，支持AI顺利落地

据浪潮数据云计算产品部PDT经理吕广杰介绍，从市场的实际需求出发，浪潮云海为InCloud AIOS平台赋予了一云多算、平滑演进、极简运维、软硬协同四大特性。

一云多算是指InCloud AIOS平台支持多元异构融合的AI基础设施，可以兼容国内外厂商生产的主流GPU，使得客户采购的多种GPU协同工作。在应用层面，InCloud AIOS平台能够提供各种开源大模型服务，为各种智能体提供标准的OpenAI接口，使得客户和应用开发商无需考虑底层异构算力的差异。

平滑演进是指InCloud AIOS平台提供私有云架构，客户原有的数据中心无需改造，购买单台AI服务器即可实现AI能力升级。依托InCloud AIOS平台的云架构，客户可以高效整合智算资源，打破单节点限制、跨域动态分配资源，提升推理效率和算力资源的使用效能。

极简运维是InCloud AIOS平台可以让IT运维人员无需学习复杂的AI概念，像运维虚拟机一样运维智能体，实现传统业务与智能体应用的统一管理运维。InCloud AIOS平台还提供了完善的智能化运维工具，不但可以保障大模型、智能体稳定运行，还支持大模型性能评估、弹性伸缩、自动高可靠保障等。InCloud AIOS平台的安全机制也非常完善，确保客户关键数据不出域、实时监测大模型对话内容，输入有检查，输出有审计，切实保障AI业务在各类场景中都能安全可靠地使用。

软硬协同是指浪潮云海在InCloud AIOS平台中配置了自研AI引擎，针对国内外主流GPU进行联合深度优化，从而获得更强的推理性能。据实测验证，InCloud AIOS平台利用优化KV缓存策略使得长文本推理KV Cache命中率提升了13倍，运用DirectStorage技术使得相同硬件下模型加载速度提升了26倍，利用自研InLLM推理框架将模型吞吐提升了6倍，高并发下自动调度效率提升了26倍。

张明灿表示，浪潮云海现有约15000多家私有云客户，这些客户都有强烈的部署AI基础设施的需求。“InCloud AIOS平台可以帮助我们的客户快速从私有云跃迁到AI云。”张明灿说。

三大突破，带来极致性能表现

实测表明，在InCloud AIOS平台PD分离、动态流量调度等技术的支持下，浪潮云海自研的InLLM推理模型吞吐量提高了6倍，同时模型预热仅需37秒、多节点GPU显存加载仅用了11 秒，加载时间直降30倍。在InCloud AIOS平台智能调度策略、自动化弹性伸缩等技术的协同下，资源调度效率提升了26倍，足以应对高并发场景，节点故障的恢复效率也提升了5倍。在DP/TP/EP、MoE量化等多种应用并行的情况下，InCloud AIOS平台能够全面增强推理性能，多轮对话首Token延迟从3秒减到1秒，TTFT缩短了3倍。

张明灿告诉记者，为方便客户尽快构建AI应用，浪潮云海还在InCloud AIOS平台中内置了20多款开箱即用的AI智能体，非常受客户欢迎，已在多个行业领域投入了实际应用。比如有大型科技企业采用InCloud AIOS平台承载其办公、财务、开发测试等系统，有头部征信企业用InCloud AIOS平台运行其客户管理、风控、办公等系统，某国际保险企业利用InCloud AIOS平台运行其核保、理赔、智能客服、合规管理等核心业务。

浪潮云海推出的InCloud AIOS平台具有纯软件、软硬一体机两种形态，各有偏重。张明灿解释说，纯软件形态的InCloud AIOS平台更强调对硬件的广泛兼容，可以帮助客户基于新旧算力基础设施构建统一的私有AI云；一体机形态更强调整体的稳定性、开箱即用特性，帮助客户简单、快速地获得AI云服务能力。

张明灿表示，InCloud AIOS平台中内置的20多款AI智能体并不是全部，接下来浪潮云海将继续适配更多的智能体，为客户提供更多的选择。在本次2025中国算力大会上，浪潮云海还发布了“云图生态联盟计划”，计划在针对传统的硬件、应用合作伙伴进行优化之外，增强对大模型、智能体和各类GPU、算力互联等设备的适配和调优。“我们的目标是吸引50家分销商、100家行业用户生态伙伴、100家应用生态伙伴，基于浪潮云海的平台产品做深度优化。”张明灿说，“浪潮云海有优秀的AI基础设施平台，我们的伙伴有优秀的智能体应用，相向而行，就可以让我们共同的最终用户获得更好的AI体验。”