麻省理工CSAIL设计的AI可以随时跟踪物体

人类利用对物理世界的隐含理解来预测物体的运动，并推断它们之间的相互作用。机器人很难实现逻辑上的飞跃。但在麻省理工学院计算机科学与人工智能实验室的一篇论文中，研究人员描述了一个被称为“时间关系网络(TRN)”的系统，该系统本质上了解物体如何随时间变化。

他们并不是第一个这么做的公司 — 百度和谷歌是研究人工智能辅助时空建模的公司之一，但是麻省理工学院的团队声称他们的方法在之前方法的准确性和效率之间取得了很好的平衡。

“我们建立了一个人工智能系统来识别物体的变化，而不是物体的外观。”论文的第一作者Bolei Zhou说。“这个系统不会遍历所有的帧——它会拾取关键帧，并使用帧的时间关系识别正在发生的事情。这提高了系统的效率，使其实时准确运行。“

研究人员在三个数据集上训练了卷积神经网络——这是一种非常擅长分析视觉图像的机器学习模型：TwentyBN的Something-Something，包含174个动作类别中的20,000多个视频；Jester有27个手势的15万个视频；卡内基梅隆大学的Charades包含157个分类活动的10000个视频。然后，他们将其放在视频文件上，通过对帧进行分组排序，并确定屏幕上的对象与学习活动相匹配的概率——比如撕下一张纸，或者举起一只手。

那么结果如何呢？该模型成功地为Jester数据集实现了95%的准确率，并且在有限的信息量下超过了现有的预测活动模型。在只处理了25%的视频帧后，它打破了基准，甚至能够区分“假装打开一本书”和“打开一本书”这样的动作。

在未来的研究中，团队计划通过实现对象识别和添加“直观物理”(即理解对象的真实世界属性）来改进模型的复杂性。

“因为我们知道这些视频里的很多物理知识，所以我们可以训练模块来学习这些物理定律，并利用它们来识别新的视频，”周说。“我们也开源了所有的代码和模型。活动理解现在是人工智能的一个令人兴奋的领域。”