颠覆自动驾驶的AI相机来了！光速执行深度学习

斯坦福研究人员研究出一套小型AI成像系统。成像精度和速度均达到电子计算处理器水平，它采用双层光学-电子混合计算技术，在低光照条件下具备更强的成像能力，每个立体像素上的光电子密度最高可达几十个，同时节约了大量本该用于计算的时间和成本。

如今，自动驾驶汽车和无人驾驶飞机背后的图像识别技术依赖于人工智能：计算机本质上学会了自己识别物体，比如识别狗、过马路的行人或停车的汽车。主要问题是，目前运行人工智能算法的计算机对于手持医疗设备等未来应用来说显得过于庞大和缓慢。

现在，斯坦福大学的研究人员已经设计出一种新型的AI相机系统，它可以更快、更高效地对图像进行分类，有朝一日，这种系统可以小到足以嵌入设备本身，这在今天是不可能实现的。这项研究发表在8月17日的Nature Scientific Reports上。

“自动驾驶汽车的后备箱里有一台体积相对较大、速度相对较慢、能耗较高的电脑。”该研究负责人、斯坦福大学电气工程助理教授Gordon Wetzstein表示，未来的应用程序将需要更快、更小的设备来处理图像流。

AI相机：双层光电混合计算机

现在，Wetzstein和论文第一作者、研究生Julie Chang朝着这一技术迈出了一步，他们将两种类型的计算机结合在一起，创造了一种专为图像分析设计的光电混合计算机。

原型相机的第一层是一种光学计算机，它不需要数字计算的高功耗数学运算。第二层是传统的数字电子计算机。

光学计算机层通过物理预处理图像数据进行操作，以多种方式对其进行过滤，否则电子计算机就必须用数学方法对其进行过滤。由于过滤是在光线穿过自定义光学时自然发生的，所以这一层的输入功率为零。这为混合系统节省了大量的本该用于计算的时间和能量。

“我们已经把人工智能的一些数学知识拓展到了光学领域。”Chang说。

这样做的结果是更少的计算、更少的内存调用和更少的时间来完成这个过程。在跳过了这些预处理步骤之后，剩下的分析将以相当大的优势进入数字计算机层。“数百万次计算都是在光速下进行的。”

成像精度和速度堪比电子计算机处理器

在速度和精度方面，这款原型机与现有的电子计算机处理器相媲美。

虽然他们目前的原型机还处在实验台上，不会被归类为小型设备，但研究人员说，他们的系统有一天会被小型化，以适合手持摄像机或无人机。

在模拟和真实世界的实验中，研究小组使用该系统成功地识别了飞机、汽车、猫、狗等自然图像。

Wetzstein说：“我们系统的某些未来版本在自动驾驶汽车等快速决策应用中尤其有用。”

除了缩小原型尺寸之外，Wetzstein, Chang和他们在斯坦福计算机成像实验室的同事们现在正在寻找方法使光学元件做更多的预处理。最终，他们要用更小、更快的技术将取代现在在自动驾驶汽车、无人机和其他识别周围世界的设备上使用的计算机。

相关原理及论文

卷积神经网络（CNN）在各种计算机视觉应用中表现出色，但其高性能也伴随着高昂的计算成本。尽管人们可以通过算法和专用硬件来提高效率，但由于能源预算紧张，在嵌入式系统中部署卷积神经网络仍然很困难。

我们在本文中探索一种互补策略，在电子计算之前加上一层光学计算，以提高图像分类任务的性能，同时增加最小的电子计算成本或处理时间。我们提出了一种基于优化衍射光学元件的光学卷积层设计，并在两个模拟测试中验证了我们的设计：经过训练的光学相关器，以及光电双层卷积神经网络。我们在仿真模型和光学原型中证明，我们的光学系统的分类精度可以与类似的电子计算方案相媲美，同时大大节省了计算成本。