5G是桥梁,高通侯明娟解读混合AI架构:云端和终端灵活衔接
2023-09-07 15:29:47爱云资讯
在9月5日举行的2023年中国国际服务贸易交易会成果发布活动中,高通公司发布《混合AI是AI的未来》白皮书。在发布现场,高通公司全球副总裁侯明娟发表演讲,深入解读混合AI架构的领先优势。混合AI架构可以根据任务的复杂程度,在云端和终端之间分配工作负载,任务优先在终端完成,当终端侧无法完成的任务,可以通过5G等网络,无缝衔接到云端完成。这种混合AI架构,可以降低云端运营成本,突破算力瓶颈,加速AI的普及。
侯明娟谈到,生成式AI带来了空前的创新和发展机遇,人工智能正以惊人的发展速度和强大的创新潜能,迅速走进我们生活的各个方面。这个过程产生了巨大的AI算力需求,云端的成本很高,每个查询的成本比传统搜索高10倍,如果完全在云端处理AI工作负载,每天全球有那么多次搜索查询,需要几十亿美元的额外成本。业界普遍认为,算力不足是阻碍AI普及的最大障碍。
通过混合AI架构,将一部分算力分配到终端侧运行,挖掘海量终端侧设备的算力资源,是生成式AI克服成本问题,实现AI快速扩展到全球更广范围的关键。随着智能手机、个人电脑等终端设备的升级,终端侧AI的算力在不断提升,通过混合AI架构在终端侧AI和云端AI按需分配负载,让更多的推理运算在终端侧运行,既可以降低成本,也可以提供更优的用户体验。侯明娟把这种混合AI架构比喻成一个团队协作,可以帮助全球范围更快获得,具有成本、能源、性能、隐私、安全和个性化优势的AI。她也指出,目前高通的5G智能手机,已经具备平滑运行10亿参数生成式AI模型的能力。在本次服贸会高通展台,就有现场演示骁龙5G手机运行Stable Diffusion的效果,用户只需要输入自然语言提示,就可以在15秒内完成20步推理,生成标准的512x512图像。
侯明娟表示对AI的应用前景充满了希望,期待能与各个行业的伙伴合作,共同探索AI更加丰富的商业模式和创新应用,一起把AI能力扩展到更广泛的领域,让AI普惠更多的行业、更多的消费者,创造更加便利和愉悦的数字化生活。
- 裸眼3D行业商用时代即将到来,微美全息紧密发力打造5G视觉创新体验
- 华为科普2.5GE端口为啥会流行:千兆不足 万兆太贵
- 贴身服务,成都大唐新品助力成都地铁18号线5G“智慧出行”
- 智慧文旅:5G数智化产品助力“诗和远方”触手可及
- 携手各界生态伙伴共促数实融合 罗克韦尔自动化参与2023中国5G+工业互联网大会
- 推进新型工业化,浪潮云洲精彩亮相2023中国5G+工业互联网大会
- 高通全球副总裁孙刚:5G+AI“双引擎”释放技术潜能,驱动数字经济发展
- 谷器数据应邀参加中国联通“5G+工业互联网”专题供需对接会
- 中信科智联亮相2023中国5G+工业互联网大会
- 钉钉标杆新锐服务商亮相中国5G+工业互联网大会,荣获“典型应用案例”奖项
- 工信部发布5G应用规模化发展政策,微美全息产业链协同发力繁荣5G+生态
- 中国移动参加2023中国5G+工业互联网大会
- 全球首个5G-A基站完成试点验证
- 中国移动10月净增5G套餐用户841万户 累计达7.59亿户
- 中国联通10月净增5G套餐用户387万户 累计达2.52亿户
- 中国电信10月净增5G用户371万户 累计达3.11亿户