阿里、浙大联合推出迁移学习模型「DEPARA」入选CVPR 2020：可将单个AI模型训练从“月”缩短至“天”

近日，浙江大学与阿里安全的研究员联合编写的论文《DEPARA: Deep Attribution Graph for Deep Knowledge Transferability》收录至CVPR 2020 Oral。其中介绍了一种通过迁移学习法，高效打造AI深度模型、应对海量应用场景的 “AI训练师助手”。

旨在让AI训练模型面对新场景时不用从头学习，而是在已有模型上进行迁移，从而迅速获得相同能力的AI模型，进而缩短模型训练周期，甚至是从一个月缩短为一天。

据阿里安全图灵实验室高级算法专家析策介绍，例如在内容审核领域，不同场景的AI模型需要重新训练，以确保识别准确率而牺牲掉了时间成本。这些预训练的深度模型已消耗了大量训练时间以及大规模高质量的标注数据等昂贵的计算资源。

DEPARA沿着这条思路，以提升预训练的模型的使用程度，减少针对新场景的模型训练对时间以及数据的依赖。目前实现这一目标最流行的方法是迁移学习。

浙江大学和阿里安全发现，两个预训练深度模型所提取的特征之间的迁移能力可由它们对应的深度归因图谱之间的相似性来衡量。相似程度越高，从不同的预训练深度模型中获得的特征相关性就越大，特征的相互迁移能力也就越强。而且，“AI训练师助手”还知道从什么模型迁移知识，用模型的哪个部分迁移能最好地完成任务。也就是说，他们发现了让小白模型向AI深度模型学习的高效学习方法。

“在这种方法的指导下，单个AI模型的生产周期从1个月降到1天，我们就能更快地发现不同的内容风险。”析策谈论到。