京东安全:深度学习解释模型比人更懂AI
2018-08-13 15:48:44爱云资讯
京东安全硅谷研发中心研究员郭文博在DEFCON CAAD Village上分享了全球首创的、可适用于不同深度学习网络结构的AI解析技术,该技术可应用于自动化黑产对抗。并介绍了AI解析技术在京东打击黑产上的具体应用。
缘起:深度学习的“杀手”
随着深度学习技术的崛起,AI似乎已成为无所不能的代名词。但事实并非如此,AI也会犯错。
研究者发现:通过向真实样本中添加人眼不可见的噪声,就会导致深度学习模型发生预测错误,把原本是雪山的图片误认为是狗。
而在“生成式对抗网络”的发明者 Ian Goodfellow近期发表的一篇关于恶意样本的论文中,这一“欺骗性效应”进一步升级,不光是欺骗机器,连人类也被欺骗了。
如上图所示,机器模型和人类都会判断左侧是猫,而右侧是狗,即使我们仔细观察可能也会得出相同的结论。而事实上右侧图像只是左侧图像一个简单地对抗扰动。
别小看了这个“对抗性扰动”,这便是有深度学习“杀手”之称的对抗样本,肉眼看上去虽是同一个目标,但在深度学习分类器上便会把它分到错误的类别上。试想:如果这是一辆行驶中的自动驾驶汽车,那么别有用心的人随时都能制造一起车祸。
以上的一切,似乎都在告诉我们,AI并不那么可靠,而事实果真如此吗?
破局:从解释深度学习开始
事实上,对抗样本看似强大,但并非无法解决,只要调整深度学习的判断机制便可以了。但是,现实情况往往是程序只会给你一个结果,并不会向你解释判断过程,即便你想调整也无从下手。这时理解深度学习便显得尤为重要。
在CAAD village上,郭文博介绍,正是基于此,京东安全开创了一套AI解释系统,可以对深度学习模型的决定进行分析,并找到它做出判断的依据。这就好比它不光告诉你图片中是香蕉,还会告诉你因为它是黄的、弯的,掰开皮有白色的果肉,周围的环境还是热带丛林,所以我判定它是香蕉。
如此一来,除了可以得到深度学习模型的判断结果,工程师还能得到它做出判断的原因,如果发现判断逻辑有误,便能立马进行修复,从而实现重新训练深度学习模型的目的,使模型更安全。
据了解,在京东,这种修复功能也实现了自动化。因此,即便AI犯错了也会快速完成调整,确保让黑产无懈可击。
对抗:在博弈中不断精进
据了解,JD-Omega由京东安全团队的科研人员组成。团队成员的背景涵盖了计算机软件安全以及人工智能。在过去的几年里,该团队成员在世界顶级安全会议CCS,USENIX Security, IEEE S&P, blackhat USA/Europe, DEFCON 先后发表过10余篇科研论文。除此之外,该队成员也是世界顶级AI会议的常客。他们的科研成果曾被美国纽约时报、麻省理工技术杂志、新科学家杂志等广泛报道。
京东首席信息安全专家Tony Lee称,此次京东安全JD-Omega战队参与CAAD对抗样本攻防赛的根本目的是与世界级顶尖黑客同台切磋,分享京东安全最新研究成果的同时也希望能在比拼中获得更多蓝军视角的经验,在实战中不断提升。
在京东安全看来,互联网战场上从来没有绝对的安全,有的只是攻方和守方的反复博弈。防御方想要获得真正的安全,唯有在博弈中不断精进,始终保持技术领先,比攻击方快人一步。用Tony Lee的话说,“我们要永远战斗在最激烈的战场”。
- BOE(京东方)ADS Pro专场技术策源地论坛举办 聚焦行业领先技术共研显示新未来
- 京东工业“太璞”数智供应链解决方案持续落地 服务西南工业企业降本增效
- 玲珑轮胎首次“触网”,与京东养车达成战略合作并上线高端产品
- 三河京东影视文化产业协会正式成立
- 旗下奔图与京东达成战略合作 纳思达国内市场布局进一步深化
- 京东工业亮相2024中国工业经济高峰论坛 分享数智供应链助力新型工业化路径
- 来京东数码影音出游季可低价入手爆款音频装备 一键Get全新听觉体验
- 京东加码内容生态 刘强东数字人亮相京东采销直播间
- 5499元起!4月22日京东正式开售HUAWEI Pura 70、Pura 70 Pro+
- 品质之选,钜惠来袭,技嘉AORUS DAY京东品牌会员日活动特惠放价
- 性价比天花板爆款来袭,防晒、出行、宅家速来京东京造“超级品牌日”
- 京东集团与爱丁顿中国达成战略合作 The Macallan麦卡伦京东官方旗舰店盛大启幕
- 华为Pura 70系列斩获100%好评率 京东搜“漂亮系列”入手新机
- 世界读书日加入京东“校猫领阅官” 读书打卡赢取iPhone 15、猫粮等好礼
- BOE(京东方)越南智慧终端二期项目开工 发布Smart GOAL战略开启发展新篇
- 京东先人一步首发联想 YOGA Book 9i AI元启 专享一年免费上门服务