“伪造人脸”终结者！马上消费与重庆师范大学共建实验室取得重大突破

近日，马上消费与重庆师范大学共建的智慧金融与大数据分析重点实验室（以下简称“实验室”）取得了阶段性重大成果，开展的“伪造人脸的攻击与防御研究”课题在日前正式结题，并在由慕尼黑工业大学以及谷歌联合举办的FF++换脸检测挑战赛中，取得优异成绩。

据悉，该防御方法已在马上消费的测试集上进行测试，结果显示召回率达99.9%、精确率达99.2%，远远超过结题标准。这标志着马上消费已经具备强大的人脸伪造防御能力。

校企合作是近年来培养创新型复合人才、专注科技研究、加强技术实践等重要窗口。以科技驱动的马上消费持续加强与优质学校的合作，目前已经共建了十大实验室。

某种程度上来说，不少科技创新归根结底是数学的创新，而数学被誉为“自然科学上的皇冠”。重庆师范大学作为中国最早创办的高等师范院校之一，曾获得多个自然科学重磅奖项，且牵头获首批国家级科技创新平台“国家应用数学中心”，对于推动大数据智能化战略发展具有十分重要的意义。

依托于双方优势，马上消费和重庆师范大学组建了跨领域、跨学科的合作科研团队，在科技创新、人才培养、成果转化等多领域展开深入合作，进一步提升了协同创新能力，共同打造校企合作的样板。

近几年，人脸面部特征逐渐成为身份核验的重要信任凭证，但安全性问题也随之而来，特别是以Deepfakes为代表的换脸技术严重侵犯了人们的隐私。由于金融场景的特殊性，更是可能对人们的财产安全造成损失，虽然人脸活体系统能过滤掉大部分人脸面具、照片、头模等，但还存在很多被攻击的可能。

基于此，该实验室深度研究了近年来最前沿的换脸技术，复现了一套Deepfakes换脸方法，并有针对性的研究了一系列防御方法，用科技解决“卡脖子”问题。

面对人脸伪造手法的多样性，实验室利用集成方法并结合现有的深度学习网络（强学习器）高效解决了数据集中存在的主要问题，首次应用了混合专家模式（Mixture of experts ）作为集成策略，解决了多种伪造手法的问题以及高伪造质量且低清晰度的困难样本探测问题。

另外，不同的伪造手段对应的伪造痕迹也不同。实验室把人脸身份的换脸如Deepfakes和FaceSwap以及人脸表情的伪造如Face2Face和NerualTexture进行有针对性的使用不同的模型进行防御；依据专家模型之间针对伪造照片探测的强负相关性，还提出了轻量的线性结合方式，采用混合专家模型进行集成学习，并通过数学建模找到了最优阈值。

除了“伪造人脸的攻击与防御研究”之外，实验室在人脸领域还开展了基于生成对抗网络的身份证去网纹应用、基于RGB-D结构光传感器的人脸活体检测方法、人脸的对抗攻击研究3项应用研究的横向课题，为行业发展带去新生力量。