优必选AI技术研究迎来收获季，论文入选NIPS 2018和ACM MM 2018

2018年神经信息处理系统大会NIPS(Conference and Workshop on Neural Information Processing Systems)近日在加拿大蒙特利尔成功召开。作为神经计算和机器学习领域的两大顶级会议之一(另一个为ICML)，NIPS自1987 年诞生至今已有31年的历史，一直以来都受到学术界和产业界的高度关注。今年，NIPS参会人数更是飙升至近9000人，论文投稿量也创造了历史新高，共收到 4856 篇投稿，最终录取1011篇论文。在NIPS 2018上，优必选研究院有两篇论文被收录。

此外，今年10月在韩国首尔落幕的多媒体领域的国际顶级会议ACM MM(ACM Multimedia)上，优必选研究院同样也有论文被录取，此次入选的论文如下：

一、NIPS 2018

论文一： Learning Versatile Filters for Efficient Convolutional Neural Networks

本文介绍用于构建高效卷积神经网络的通用滤波器。考虑到在经济有效的硬件上运行高效深度学习技术的需求，人们开发出了许多方法来了解紧凑型神经网络。其中，大多数方法旨在以不同的方式精简滤波器，例如，研发小型滤波器、稀疏滤波器或二值化滤波器。相反，我们从加法的角度来对待滤波器。一系列的二级滤波器可以源自于主滤波器。这些二级滤波器全都在主滤波器中继承，不占用更多的存储空间，但是一旦在计算中展开，它们就可以通过整合从不同感受域提取的信息来显著增强滤波器的性能。除空间通用滤波器外，我们还从通道的角度研究通用滤波器。新技术通常用于升级现有卷积神经网络 (CNN) 中的滤波器。基准数据集和神经网络的实验结果表明，使用我们的通用滤波器构建的 CNN 能够实现与原始滤波器相当的精确度，但需要的内存和 FLOPs 更少。

论文二：Dual Swap Disentangling

学习可解释的解缠表示是一项至关重要又具有挑战性的任务。在本文中，我们提出了一种弱半监督方法，称为双交换解缠 (DSD)，用于使用标记数据和未标记数据进行解缠。与依赖于样本组上的完整注释的传统弱监督方法不同，我们只需要配对样本上的有限注释来指示其颜色等共享属性。我们的模型采取双自动编码器结构的形式。为了使用标记的对进行解缠，我们遵循“编码-交换-解码”过程，其中我们首先交换对应于共享属性的编码部分，然后解码所获得的混合码以重构原始输入对。对于未标记的对，我们在指定的编码部分上执行两次“编码-交换-解码”过程，并执行最终输出以估计输入对。通过隔离部分编码并来回交换它们，我们强制实现未标记样本编码的维数模块性和可移植性，这也就等于鼓励在标记对的指导下解缠。这种为半监督设置量身定制的双重交换机制是非常有效的。对来自广泛领域的图像数据集的实验表明，我们的模型具有最先进的解缠性能。

二、ACM MM 2018

论文一：Comprehensive Distance-Preserving Autoencoders for Cross-Modal Retrieval

在本文中，我们提出了一种采用综合距离保持自动编码器 (CDPAE) 的新颖方法，以解决无监督的跨模态检索问题。先前的无监督方法主要依赖于共存并属于相同对象的跨媒体空间提取的成对表示距离。但是，除成对距离之外，CDPAE 还考虑从交叉媒体空间提取的异构表示距离以及从属于不同对象的单个媒体空间提取的均匀表示距离。CDPAE 由四个部分组成。首先，去噪自动编码器用于保留来自表示的信息并减少冗余噪声的负面影响。其次，提出了一个综合的距离保持公共空间来探索不同表示之间的相互关系。这旨在保持公共空间内的表示之间的各自距离，使它们能与其原始媒体空间中的距离相一致。第三，定义了一种新颖的联合损失函数，用于同时计算去噪自动编码器的重构损耗和综合距离保持公共空间的相关损失。最后，提出了一种无监督的跨模态相似性度量，以进一步提高检索性能。这是通过基于 kNN 分类器计算两个媒体对象的边际概率来实现的。CDPAE 在四个公共数据集上进行测试，具有两个跨模态检索任务“按文本查询图像”和“按图像查询文本”。与八种最先进的跨模态检索方法相比，实验结果表明 CDPAE 优于所有无监督方法，并且与受监督方法相比也更具优势。