人工智能和智能手机摄影的未来

摄影在智能手机时代已经发生了变化。不仅姿势不同，如自拍的情况，而且电话摄像机捕获的光的整个过程完全是另外的东西。

相机不再只是一个镜头和一个传感器，它们也是一系列算法，它们可以立即操作图像以获得摄影结果，否则需要通过桌面软件进行数小时的操作。摄影已成为计算摄影。

人工智能的机器学习形式的不断进步将带来更多的功能，使今天的智能手机图片看起来过时了。

最近手机上的最新例子是Alphabet的谷歌的Pixel 3智能手机图片和Apple的iPhone X照片。在前一种情况下，Google使用机器学习在弱光条件下捕捉更多细节，因此夜景看起来像白昼。这些根本不是自然界中存在的镜头。它们是超分辨率图片。

而苹果，从2017年的iPhone X开始，增加了“散景”，这是焦点之外元素的巧妙模糊。这不是通过镜头本身的方面实现的，如传统摄影中的情况，而是通过在捕获图像之后对像素进行计算调整。

2019年和2020年的突破性发展很可能会操纵图像的视角来改善它。希望这将导致智能手机摄影中固有的扭曲得到纠正，这使得它们在数码单镜头反光（DSLR）相机照片旁边变得短暂。

卷积神经网络（CNN）如何尝试从图片中重建现实。来自查尔姆斯理工大学的Torsten Sattler，慕尼黑大学的Qunjie Zhou和Laura Leal-Taixe以及苏黎世联邦理工学院和微软的Marc Pollefeys的“了解基于CNN的绝对相机姿态回归的局限性”。
萨特勒等人。

事实上，他们可以获得类似于所谓的“倾斜移位”相机的结果。在倾斜移位相机中，镜头成角度以弥补人与相机站立的角度，从而校正由于个人和场景之间的角度而在图像中产生的失真。数码单反相机所有者可以在各种供应商提供的各种可拆卸镜头中实现倾斜移位功能。

普通的手机摄像头有一个非常小的镜筒，它所捕获的一切都是扭曲的。在现实世界中，没有什么是正确的形状。大多数人可能不会注意或关心，因为他们习惯于在Instagram上自拍。但如果这些偏差得到改善，那就太好了。如果可以，它将成为谷歌，苹果等下一轮智能手机的卖点。

越来越多的iPhone和其他相机将携带带有3D传感器的后置摄像头。这些传感器由Lumentum Holdings和其他芯片供应商制造，通过发出光束并计算在弹出物体后如何返回手机来测量手机周围的深度。诸如“飞行时间”之类的技术允许电话详细测量周围环境的三维结构。

这些传感器可以利用近年来已经完成的大量统计工作来理解二维图像与现实世界之间的关系。

通过统计数据完成了大量的工作，以实现倾斜移位镜头的各种物理特性，无论是否有特殊的相机装置。例如，一种名为“RANSAC”或“随机样本共识”的技术可以追溯到1981年，专门用于在3-D世界中找到可以映射到2-D图像平面中的点的地标，以便知道二维图像如何与三维现实相关联。使用该技术，可以更好地理解二维表示如何与现实世界相对应。

2015年，佛罗伦萨大学的一个研究小组在RANSAC的基础上，推断了平移 - 倾斜 - 变焦相机的设置，并通过对照片进行反向推理。通过使用软件分析在相机不同位置的照片中引入了多少失真，他们能够将执行器，控制相机的电机调到很好的程度。他们能够为视频而不仅仅是静止图像。


从那时起，一直有稳定的工作来估计图片中的对象，称为姿势估计，以及相关的任务，同步定位和映射，或SLAM，它们在软件中构建了一个点的“云”点。 D场景，可用于了解数码照片中的失真程度。

德国埃尔兰根 - 纽伦堡大学和2017年伍兹霍尔海洋研究所的研究人员展示了一个名为CameraTransform的Python库，它可以通过从拍摄的图像中反向来估算世界物体的真实尺寸。


去年，德国慕尼黑技术大学和佳能公司的研究人员表示，可以拍摄单张图像，并推断出被另一个物体遮挡的场景中的物体。它被称为“分层深度图像”，它可以通过从照片中移除对象来创建新场景，从而显示相机从未看过的背景，但这是从图像计算出来的。该方法使用在许多神经网络应用中发现的熟悉的编码器 - 解码器方法来估计场景的深度，以及“生成对抗网络”或GAN，以构建当前从未实际看到的场景的部分。照片拍了。

所有这些研究都在冒泡，并将为下一批配备3-D传感器的智能手机相机提供一些出色的能力。这一系列研究的结果应该令人惊叹。至少，人们可以想象在智能手机上拍摄的肖像画不再对人脸造成奇怪的扭曲。建筑物的超分辨率图片可以通过平衡镜头中的所有扭曲来创建平行线。智能手机行业将再次赢得DSLR市场的胜利，因为手机以惊人的准确度和逼真度制作图片。

但是，当然，智能手机摄影的长期趋势是远离现实主义，走向计算摄影前无法实现的更为引人注目的效果。因此我们可能会看到三维传感的使用倾向于超现实主义。


例如，倾斜移位相机可用于创建一些奇怪的美丽效果，例如将镜头的景深缩小到极端程度。这样做的结果是让景观看起来就像是玩具模型一样，以一种奇怪的令人满意的方式。有一些手机应用可以做类似的事情，但三维传感器耦合到AI技术的效果将远远超出这些应用程序的实现。有一些技术可以在Photoshop中实现倾斜移位，但每按一次快门按钮，相机效果就会越来越令人满意。

在未来的道路上，将会有另一个阶段，在推进机器学习技术方面意义重大。可以放弃使用3-D传感器，只需使用卷积神经网络或CNN来推断物体空间中的坐标。这将节省将传感器构建到手机中的费用。