黑科技自动生成超级慢镜头，英伟达的AI这次帅炸了

慢动作是当今影视作品中经常用到的技术，他能更好地吸引观众，让人们看到正常速度下看不到的细节，带来视觉冲击；把人们更好地带入角色的脑海，传递情感。

随着技术进步，如今我们的手机也可以拍慢动作了。如果只是发个朋友圈、Instagram，iPhone 相机里的 Slow-Motion 绝对够用了！

但如果想要拍专业级的慢动作呢？你往往需要一台相当高端的相机。然而一般的慢镜头相机都是 1000fps（每秒帧数）起步，几千美金都是正常的；专业级则要到 3000fps 甚至更数万fps，价格往往上万美元了。

并不是所有人都能成为 The Slow Mo Guys 啊……

上面图片就是来自 The Slow Mo Guys。看看，用十几万刀的慢镜头相机拍出来的就是不一样……

如果换成渣帧率的相机呢，就变成了这样⤵️

为什么一点都不连贯呢？因为慢镜头的原理就是用高帧率拍摄，帧率越高，按照60或者120fps 的正常帧率播放时就会显得越顺滑。

相机本身帧率低，非要强行慢放，还要啥效果啊？

但如果非要呢？

隆重介绍英伟达最近发布的一个新技术：机器学习自动生成慢镜头：

靠算法来实现的慢动作

传统的慢镜头，是因为相机真的拍到了那么多帧的画面。

而相信你也看明白了，英伟达这个黑科技，并不需要那么多帧：它是用算法给标准视频补充更多的帧，从而将其变成一段高帧率视频，也就有了慢动作。

这是什么意思呢？用下面这张图来举例，比方说正常相机拍到的是下面那组的10帧，英伟达黑科技就是用计算“强行”生成额外的帧，插在已有的帧中间。

这些新生成的画面，到底应该长什么样，就全靠算法来模拟了。过去也有类似的算法生成，效果并不好，而从刚才的视频里，你也看出来英伟达已经远远超过以假乱真的程度了——这明明就是真的慢镜头嘛！

这项黑科技的名字，叫做“可变长度多帧插值”(Variable-Length Multi-Frame Interpolation)。

它可以在标准视频的基础上，以令人难以想象的准确度，生成新的“假帧”，进而变成流畅且清晰的慢动作视频。原始视频的帧率必须达到或高于 30fps。

最厉害的是，这个慢镜头，你想要多慢就可以多慢，比如可以变成 60fps，就是已有的每两帧之间多插一帧；也可以变成900帧，也就是每两帧之间多插29帧……

英伟达将这项技术形象地称为：超级慢动作

而且英伟达表示，这个算法在测试中“比已有的最前沿方法效果都更好”。

比如下图中展示了六个同类的算法，可以看出前五个都有不同程度的画面畸变，f 的真实度最好，也正是英伟达的技术。

AI 脑补多少补多少

这项所谓的多帧插值技术，其实并不是什么新鲜东西。

如果你还记得小时候看电视，看球赛感觉特别顺畅，看电视剧感觉画面奶里奶气，柔和的不像话，那么恭喜你：你已经感受过一个名叫动态插值的技术了……

这是因为在很早以前，电视就有这个能力了，它可以对两帧画面进行一定程度的复制和演化，生成新的一帧，然后插进去。

英伟达的新算法也是两帧之间，但名字里“可变多帧”意思是可以在任意两帧之间完成插值，其中插值和遮挡推理会在一个端对端的卷积神经网络上同时进行建模。

比方说原视频的 1、2、3 帧，英伟达的黑科技可以在 1 和 3 之间新生成一个，跟真实的 2 帧进行比对，从而优化算法。

所有人都可以这样做，为什么英伟达赢了？答案是显而易见的：他们坐拥着大量的显卡……

在训练算法过程中，英伟达使用了 Tesla V100 GPU，以及改良后的 PyTorch 深度学习框架。英伟达共使用了 1132 段视频，共 37.6万独立视频帧数。

为了更直观的展现自己的成果，英伟达还真和 The Slow Mo Guys 合作了。开头的视频里展示了英伟达用他们发在网上的慢镜头视频进一步生成的“更慢镜头”视频，效果可以说相当惊人了。

AI 的这次突破背后更重要的是，它让慢动作制作有了摆脱硬件约束的可能。

英伟达在论文中表示，他们希望未来通过云端完成大部分处理过程，进而让这项技术能在消费级设备上得到普及。

这句话的意思是：以后你可以在手机上随便拍拍，服务器自动给你做出超慢镜头……

是不是很值得期待？

只不过到那时，我们可能又要遇到另一个问题：

当视频里面一大半的帧都是 AI 强行“瞎编”出来的，那还算的上是真实的视频么？