重磅!谷歌发布Edge TPU,欲颠覆全球智能云格局

2018-08-08 15:04:32爱云资讯

谷歌发布 Edge TPU 及配套服务


何为 Edge TPU?

谷歌的 Edge TPU 是一款为机器学习框架 TensorFlow 量身定制的 ASIC 芯片,可以优化边缘设备的推理能力。

Edge TPU 是对谷歌 Cloud TPU 和 Google 云服务的补充,提供端到端、云到端、硬件 + 软件基础的架构,便于部署客户基于 AI 的解决方案。

Edge TPU 不仅仅是一个硬件解决方案,它还结合了定制硬件、开放软件和最先进的 AI 算法,为边缘提供高质量、易于部署的 AI 解决方案。

Edge TPU 可用于越来越多的工业应用场景,例如预测性维护、异常检测、机器视觉、机器人、语音识别等等。它可用于制造、内部部署、医疗保健、零售、智能空间、运输等。

据悉,LG 内部的 IT 服务部门已经对 Edge TPU 进行了测试,并计划在产品线的检测设备上使用它们。LG CNS 组织的首席技术官 Shingyoon Hyun 表示,目前 LG 的检查装置每秒处理超过 200 张显示面板图像,所有出现的问题都经由人工检查,现有系统的准确率约为 50%,而谷歌 AI 能将准确率提升到 99.9%。

Edge TPU 有何优势和不足?

由于 GPU 的普及,机器学习在各种应用场景中变得越来越普遍,这不仅要求机器要有训练模型识别一只猫的能力,还需要模型能够基于经过数万(或更多)张猫的图片进行训练的经验,快速识别出这只四肢动物就是猫。GPU 对于这两种应用场景都非常有用,但很明显,随着自动驾驶、摄像头图像识别和其他各种应用场景的出现,我们需要更好的硬件——甚至毫秒级的滞后产生的后果都很严重,功耗、表面积成为一个重要的限制因素。

谷歌在探索一种将推理和机器训练过程分开到两套硬件中的方法,以大大减少设备获取数据时留下的痕迹,以此加快处理速度,降低能耗,更重要的是大幅减小芯片的大小。

这种芯片架构越来越受特定应用场景欢迎,因为其 非常擅长完成特定任务,例如挖掘加密货币(如 Bitmain 等大型公司),定制芯片能够提供更强大的算力。这些聚焦于边缘的芯片能够 非常快速地进行大量低精度计算,大大降低存储器和核心之间运行整个过程的复杂度,因此耗能更低。

Edge TPU可以在边缘部署高质量的 ML 推理。

智能芯片推理能力的重要性不言而喻:

基于边缘的 ML 推理对于提供可靠、实时、低延迟且经济高效的智能城市物联网至关重要。 Cloud IoT Edge 和 Edge TPU 以新的方式为下一代智能停车系统解锁了这些功能。

——Smart Parking 首席技术官 John Heard

它增强了 Google 的 Cloud TPU 和云物联网,以提供端到端(云端到边缘,硬件 + 软件)基础架构,改善客户基于 AI 的解决方案部署。除了已经开源的 TensorFlow Lite 编程环境之外,Edge TPU 将首先在若干 Google AI 模型中部署。

Edge TPU 是 CPU、GPU 和其他 ASIC 解决方案在 边缘计算方面的补充,是为客户的机器学习产品打造的配套硬件。谷歌将使用 Cloud TPU(很快将发布第三代)处理各种机器学习任务,然后在专用芯片上运行的 TensorFlow Lite 模型进行推理,耗能更低。

Edge TPU 与 Google Cloud 对比

可以看到,相比于 Google Cloud 同时具备机器学习训练和推理的能力,Edge TPU 主要用于机器学习推理任务,软件和服务也限于 Cloud IoT Edge 和安卓,目前支持的 ML 框架只有 TensorFlow Lite 和 NN API,硬件加速器为 Edge TPU、GPU 和 CPU。

Edge TPU 性能表现如何?

Edge TPU 使用户能够以高效的方式,在高分辨率视频上以每秒 30 帧的速度,在每帧上同时执行多个最先进的 AI 模型。


配套服务 Cloud IoT Edge


谷歌还推出了一系列新服务,如 Cloud IoT Edge 支持,它将 TensorFlow 编译成轻量级版本,可以直接在边缘设备上运行,无需调用服务器。这能够降低延迟并可以产生任何数量的结果,从安全(无人车)到用户体验(语音识别)都有所提高。

Cloud IoT Edge 将 Google Cloud 强大的数据处理和机器学习扩展到数十亿边缘设备,如机器人手臂、风力涡轮机和石油钻井平台,它们可以实时处理来自传感器的数据并在本地预测结果。Cloud IoT Edge 可以在 Android 设备或基于 Linux 的操作系统上运行。它由两个运行时组件 Edge IoT Core 和 Edge ML 组成,还利用了 Google 专用的硬件加速器 ASIC 芯片——Edge TPU。

Cloud IoT Edge 工作原理

Cloud IoT Edge 入口:

https://docs.google.com/forms/d/e/1FAIpQLSea1Ip0Sq_2xZhCuZ26-678NewSVglt29SVCyg38rgYsSvS4w/viewform

云市场巨头争霸,Edge TPU颠覆竞争格局

随着大型公司和新兴创业公司在芯片领域的竞争日趋激烈,这些应用场景对大公司来说非常重要。对于谷歌来说尤其如此,它也希望在一个有 Caffe2 和 PyTorch 等多种选择的世界中拥有一款真正的开发框架。

谷歌进入定制芯片市场,一部分原因是出于扩大云服务市场的考虑,以抗衡亚马逊和微软。2015 年,谷歌一直在使用 TPU 来加速自家数据中心的一些工作负载,而不是依赖 Nvidia 等供应商提供的硬件。

去年,谷歌表示其 AI 芯片正变得更具战略重要性。今年 5 月份,谷歌发布了第三代 TPU,剑指英伟达。

根据三星前首席技术官 Injong Rhee 的说法,谷歌并无意利用 Edge TPU 与传统芯片厂商竞争。Injong Rhee 2 月份以创业合伙人的身份加入谷歌。

“这对所有芯片供应商和设备制造商都非常有利,”Rhee 说道。

Rhee 表示,Edge TPU 可能会“颠覆云计算市场的竞争格局”,因为现在可以在设备上进行一部分计算,而不是全部发送到数据中心。他表示,从成本和能源使用的角度来看,谷歌芯片在某些类型的计算上可以比更传统的芯片更高效。

谷歌并不是唯一一家专注于物联网的云服务商,其重点是管理和处理来自许多小型嵌入式设备的数据。今年早些时候,微软也宣布推出面向物联网的芯片设计。


据 Synergy 调查报告显示,2018 年 Q1,包括原始计算和存储、运行应用程序、和托管私有云等服务的全球云服务市场,还是继续保持着亚马逊遥遥领先的态势,只不过市场份额不断被微软蚕食。

具体来说,亚马逊网络服务占云计算基础设施市场的 33%,微软的市场份额从一年前的 10% 跃升至 13%;IBM 市场份额呈下滑的趋势;谷歌从 5% 增加到 6%;亚马逊的市场份额则下降了一个百分点;而阿里巴巴的市场份额继续保持稳步增加的趋势,势头迅猛。按照这样的趋势,调查机构预测到 2021 年,全球云计算市场将形成由亚马逊、微软、阿里云和谷歌四分天下的格局。

但是谷歌 Edge TPU 的诞生,让亚马逊、微软、阿里云和谷歌四分天下的格局预测变得不再可靠。

更重要的是,它的出现将有助于吸引那些已经使用 TensorFlow 作为主要机器学习框架的开发人员,因为他们想要能够更快、更高效地运行这些模型的硬件。

虽然谷歌在这个它想要进入的领域长期以来一直没什么声音,但这是公司的基础,它希望参与到从硬件到用户体验之间的所有环节。谷歌可能不一定需要改变这个生态系统,因为如果谷歌 想要统治整个生态系统,即使其能够构建自己的开发者平台,但仍需要将设计应用到除自家之外的硬件产品中。这说起来容易做起来难,即使是像谷歌这样的巨头来说也不简单。当每家大公司争相打造满足各自需求的定制硬件之时,谷歌的这一发重炮,可能会产生相当大的影响。

这可能打开新应用场景和想法的大门,一旦成功,这款芯片将在硬件(TPU)和框架(TensorFlow)方面 将这些开发人员牢牢锁定在 Google 的云生态系统中。虽然亚马逊在云计算上独霸一方(Azure 是另一个强大对手),但看起来谷歌正在尝试 AI“一条龙”全部包揽,而不只是利用按需 GPU 把开发人员留在其运营系统作为权宜之计。

边缘计算才是未来的砝码?

边缘计算指在靠近物或数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的开放平台,就近提供边缘智能服务,满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。

边缘计算可以在边缘网络处理数据。所谓边缘网络,基本上由终端设备(例如移动手机、智能物品等等)、边缘设备(例如边界路由器、机顶盒、网桥、基站、无线接入点等)、边缘服务器等构成。这些组件可以具有必要的性能,支持边缘计算。

随着深度学习的进步继续推动人工智能技术的进步,安全性和客户体验将得到改善,而成本也将越来越高。


不同于云计算将数据传到数据中心进行处理的方法,边缘计算无需将数据传输到数据处理中心,因此在物联网时代是关键技术。

另一方面,在隐私问题日益严重的现代社会,数据安全成为一个全民热议的话题,也成为实实在在的需求,边缘计算可以在设备级别上进行数据处理,因此在安全性方面具有比云端计算更大的优势,获得更多注重安全厂商青睐。

据 Gartner 报告显示,2018 年很可能是边缘计算之年,供应商将更多地在边缘部署 AI 功能,而不是在云端。深度学习、自然语言处理(NLP)和计算机视觉是人工智能技术开发的主要热点,也是各公司建议首席技术官们学习和构建知识的关键领域。不出所料,包括谷歌和亚马逊网络服务在内的科技巨头在 Saas 和 Iaas 产品方面处于领先地位。

分析师还发现,逼真的体验技术,如 VR 和 AR 可以促进生产力提高;虚拟个人助理(VPA)也将在今年激增,从而减少了投入客户沟通的成本。分析师表示,如果这些颠覆性的技术创新取得成功,边缘计算必然会蓬勃发展。

但这并不意味着云计算会快速发展,因为 Gartner 预测,到 2020 年,60%的个人技术设备供应商将使用第三方 AU 云服务来增强功能和服务。谷歌、微软、亚马逊、IBM 和中国的百度已经在蓬勃发展,可以提供灵活整合且经济高效的云解决方案。

由此看来,谷歌 Edge TPU 的推出,可能进一步推动边缘计算的发展,不管谷歌能否实现一统生态系统的决心,未来的芯片市场、云市场、边缘计算市场等,可能会因为这款小小的芯片,迎来一次新的洗牌也未可知。
相关文章
热门文章
头条文章
重点文章
推荐文章
热点文章
关于我们|联系我们|免责声明|会展频道
冀ICP备2022007386号-1 冀公网安备 13108202000871号 爱云资讯 Copyright©2018-2023