青云 QingCloud合作伙伴无问芯穹分享：加速大模型落地的最后一公里

青云科技聚焦 AI 算力调度等能力,通过开放生态,联合 AI 硬件及软件供应商、算法模型服务商、各地不同规模的算力服务商以及行业应用服务商等,深度融合算力、算法、行业数据以及场景应用能力,让 AI 真正能释放出业务价值。

因此，青云科技 AI 算力发布会邀请了生态合作伙伴共同分享对于 AI 落地应用的技术与实践。无问芯穹商业化副总裁李枫以《加速大模型落地的最后一公里》为主题发表精彩演讲，分享了无问芯穹在大模型落地方向的探索和进展，以下为演讲全文，经整理：

最近大模型在文本对话、图像生成等 AI 内容生成领域上取得优异的性能，标志着 AI 2.0 时代的来临。

如上图所示的例子：微软 Copilot 显著提升办公软件 Office 的效率。比如我们输入一个话题，程序可以自动生成相关的问题描述与日程安排；Midjourney 的图像生成功能，使我们可以给给出描述文字得到自动生成图片，同时能实现图中所示的缩放功能。

在 AI 2.0 时代，大模型正引导了一轮巨大的技术变革，这几个视频都展示了大模型已经能服务生产对话、代码生成，而这些能力未来将赋能千行百业的技术。然而面对大模型这样的重要技术突破，我国却在算法层和算力层都受到了限制，包括最先进的模型调用被拦截、最先进的芯片被美国限制出口，因此国产化是 AI 2.0 时代突围的必经之路。

我们可以看到国内外生态差异非常明显，国外针对不同的算法模型，英伟达提供了统一的算力平台和 Cuda 的软件生态。反观国内的多种大模型、多套硬件平台导致用户难以实现高效统一部署，因此，算法模型和硬件平台的适配成为生态和落地的最大瓶颈。

为了解决模型和算力之间的瓶颈，无问芯穹致力于提供大模型软硬一体化自动化优化方案。向上，我们服务多家大模型算法企业。向下，我们联动多家国产芯片公司。产品上，我们实现了大模型在多种硬件上的 M×N 一键部署平台，降低大模型的使用门槛，让模型部署越快越好，真正成为 AI 2.0 时代大模型的基础设施。

最后，为了助力 AI 2.0 时代大模型落地，无问芯穹着力于解决四个痛点需求：

1、支持长文本或大输入

比如之前支持 2K token 的模型，我们可以用快速推理和训练，使它支持 32K token，我们就可以做好例如专业长文本的信息检索、生成、会议聊天助手等应用。

2、提升性价比

我们把语言和多模态生成模型部署到消费级显卡，甚至手机等终端设备上，让广大客户用得起。

3、垂直领域适配

用大模型通用能力帮助各行各业的人们提升体验和效率。

4、一键式部署

让大模型能低人力成本被部署到各种场景，让每个工厂、学校、家庭甚至个人都能用到它的能力。

希望无问芯穹能真正满足客户的实际需求，解决好大模型落地的最后一公里。再次感谢青云科技的邀请，无问芯穹希望携手青云科技共创 AI 新纪元。