人工智能的“指数”增长正在改变计算的本质

人工智能和机器学习的大规模应用正在改变计算的本质。

谷歌软件工程师Cliff Young于周四早上在Linley Group秋季处理器大会上发表了开幕主题演讲。

Young表示，人工智能的使用达到了一个“指数阶段”，同时摩尔定律，几十年前关于半导体进步的经验法则已陷入停滞状态。

谷歌TPU阵列（图片来源：Google）

Young认为，由于传统芯片难以实现更高的性能和效率，因此AI研究人员的需求激增。

他发布了一些统计数据：康奈尔大学的关于机器学术论文数量每18个月增加一倍。

而在谷歌专注于人工智能的内部项目数量也每18个月增加一倍。

执行机器学习神经网络所需的浮点运算操作的数量每三个半月翻一番。

所有计算需求的增长都加起来就是“超级摩尔定律”。

传统的神经网络可能有数十万个这样的重量，必须计算，甚至数百万，谷歌的科学家们说“请给我们一台重量级的机器”，计算机能够计算万亿的重量。这是因为“每次你将神经网络的大小增加一倍，我们的准确度就会提高。” 。

机器学习增长趋势（图片来源：Google）

为了解决问题，谷歌一直在开发自己的机器学习芯片系列，即“Tensor Processing Unit”。需要TPU和类似的部件，因为传统的CPU和图形芯片（GPU）无法跟上。

TPU在2017年首次亮相时引起了骚动，其性能优于传统芯片。谷歌目前已进入TPU的第三次迭代，它在内部使用，并通过谷歌云提供按需计算节点。

此外：Google宣布推出Edge TPU，Cloud IoT Edge软件

该公司继续发展越来越大的TPU实例。Young表示，它的“pod”配置将1,024个单独的TPU连接到一台新的超级计算机上，而谷歌打算“继续扩展”该系统。

“我们正在构建这些巨大的多台计算机，具有数十亿的计算能力，”他说。“我们正在不断向前推进各个方向。”

TPU采用最快的内存芯片，即所谓的高带宽内存或HBM。他说，在训练神经网络时，对内存容量的需求急剧增加。

谷歌也正在调整它如何编程神经网络以充分利用硬件。“我们在数据和模型并行性方面做了大量工作”，其中包括“Mesh TensorFlow”等项目，这是对该公司TensorFlow编程框架的改编，该框架“将数据和模型并行化结合在一起”。