AI在茫茫人海中,看到只有你被Deepfake了
2020-08-24 16:24:27爱云资讯
自打有了deepfake,再也不敢相信「眼见为实」了。
要说把朱茵换脸成杨幂,把海王换脸成徐锦江,大家还可以一笑而过。
△图源:微博用户@慢三与偏见
可若是公众人物被deepfake了什么不该说的话、不该做的事,就让人细思极恐了。
为了防止世界被破坏,为了维护世界的和平,(狗头)现在,阿里安全图灵实验室也加入了“围剿”deepfake的队列:
基于多实例学习的deepfake检测方法
魔高一尺,道高一丈。deepfake和deepfake检测技术的较量其实早已展开。
不过,此前存在的deepfake检测方法主要分为两类:帧级检测和视频级检测。
基于帧级的方法需要高成本的帧级别标注,在转化到视频级任务时,也需要设计巧妙的融合方法才能较好地将帧级预测转化为视频级预测。简单的平均值或者取最大值极易导致漏检或误检。
而基于视频级别的检测方法,比如LSTM等,在deepfake视频检测时,过多专注于时序建模,导致deepfake视频的检测效果受到了一定的限制。
△部分deepfake攻击,四个人中只有一人被换脸
为了解决这些问题,阿里安全图灵实验室的研究人员们提出了基于多实例学习的Sharp-MIL(S-MIL)方法,只需视频级别的标注,就能对deepfake作品进行检测。
核心思想是,只要视频中有一张人脸被篡改,那么该视频就被定义为deepfake视频。这就和多实例学习的思想相吻合。
在多实例学习中,一个包由多个实例组成,只要其中有一个实例是正类,那么该包就是正类的,否则就是负类。
S-MIL就将人脸和输入视频分别当作多实例学习里的实例和包进行检测。
并且,通过将多个实例的聚合由输出层提前到特征层,一方面使得聚合更加灵活,另一方面也利用了伪造检测的目标函数直接指导实例级深度表征的学习,来缓解传统多实例学习面临的梯度消失难题。
具体而言,算法主要由三个关键部分组成。
首先,对输入视频中的采样帧进行人脸检测,并将提取的人脸喂给CNN,以获取特征作为实例。
在实例设计上,与传统多实例学习的设定一样,实例与实例间是相互独立的。
但由于deepfake是单帧篡改的,导致同一人脸在相邻帧上会有一些抖动,就像这样:
为此,研究人员设计了时空实例,用来刻画帧间一致性,用于辅助deepfake检测。
具体而言,使用文本分类里常用的1-d卷积,使用不同大小的核对输入的人脸序列从多视角上进行编码,以得到时空实例,用于最终检测。
也就是说,第二步,是将编码后的时空实例提取出来,形成时间核大小不同的时空包。这些包被一起用来表示一段视频。
最后,对这些包进行S-MIL,算出所有包的fake分数,这样,就能得到整个视频的最终fake分数,从而判断视频到底是不是deepfake。
S-MIL定义如下:
其中,pi和p(i)^(j)分别是第i个包及其包里的第j个实例的正类概率;M为包里的实例数;w是网络参数;h(i)^(j)是包i里的实例j对应的特征。
由于现有的带帧标签的数据集中,同一视频中真假人脸混杂的样本较少,研究人员还构建了一个部分攻击数据集 FFPMS。
FFPMS共包含14000帧,包括4种类型的造假视频(DF、F2F、FS、NT)和原始视频,既有帧级标签,也包含视频级标签。
检测效果达到SOTA
研究人员在DFDC、Celeb和FFPMS数据集上对S-MIL进行了评估。
实验结果表明,假脸的权重比较高,说明该方法在仅需视频级别标签的情况下,可以很好地定位到假脸,具有一定的可解释性:
并且,该方法在视频检测上能到达到state-of-the-art的效果。
团队介绍
据阿里安全图灵实验室资深算法专家华棠介绍,截止目前,阿里已经将该检测技术使用在内容安全场景中,后续也会在直播场景中进行布局。
阿里安全成立于2005年,目标是面向阿里巴巴经济体建立全面的网络安全、业务安全、数据安全与平台治理的管理机制,利用大数据构建强大的实时风险防御能力。
- 家用/商用全覆盖 A.O.史密斯AI-LiNK高端智慧互联惊艳亮相中国制冷展
- 生成式AI助力数字人“淘金热”,微美全息持续加码增强新增长动力
- 新华三徐润安:×AI的五次“运算”,加速基础架构走向AGI时代
- AI高性能专业工程师本——ThinkPad T14p AI 2024今日开售
- 国风文化+数智科技 AI+数智人视频彩铃引领全民阅读新潮流
- 联想周宝瑄:ThinkPad 思考·AI空间,让你感受“The Art of AI”艺术之美
- 51CTO邵燕:AIGC时代业技融合人才,赋能企业未来
- 小度CEO李莹:小度AI智能助手是有用、有灵魂的AI伙伴
- DEEPX将第一代AI芯片拓展至智能安防和视频分析市场
- 广州领芯RAID卡与浪潮信息云峦KeyarchOS完成澎湃技术认证
- 引领智能城市低碳转型 -- E Ink元太科技彩色电子纸全方位应用场景于2024Touch Taiwan展盛大展出
- 从“数字经济”到“AI+”,微盟《数字商业》为企业可持续增长指引方向
- 《开心消消乐》探索AI游戏革新,携手英特尔与腾讯云推动创新!
- 携单路最强“芯”,宝德4卡液冷图站PT6630W3助AIGC腾飞
- AI赋能出版新质生产力发展 蜜度承办人工智能与出版新质生产力论坛
- AI手机火爆推动麦克风量价齐升,瑞声科技等企业将领先受益