京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴
2020-09-15 14:55:54爱云资讯
众所周知,数据是人工智能的基石,只有具备丰富和充分的数据,我们才能利用数据挖掘、机器学习等技术洞见深层次的行业趋势进而指导决策。但与此同时所产生的数据隐私的保护问题也越来越受到关注,近年来国内外在逐步加强对数据隐私的保护,例如欧盟最近引入的新法案《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》等。当企业之间跨域跨组织的原始数据合作成为历史,如何打破数据孤岛,让数据在安全合规的前提下自由流动,成为了业界积极探索的方向。
图1 数据孤岛
在这个大背景下,联邦学习技术应运而生。联邦学习(Federated Learning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同时深度连接各个合作方,达到了技术赋能、共创共赢的目标。
图2 联邦学习原理
业界前沿技术自主研发首次在电商推荐领域实现技术落地
基于业务需要,京东自研的联邦学习平台:九数联邦学习平台(9NFL)于2020年初正式上线。九数联邦学习平台(9NFL)基于京东商业提升事业部9N机器学习平台进行开发,在9N平台离线训练,离线预估,线上inference、 模型的发版等功能的基础上,增加了多任务跨域调度、跨域高性能网络、大规模样本匹配、大规模跨域联合训练、模型分层级加密等功能。整个平台可以支持百亿级/百T级超大规模的样本匹配、联合训练,并且针对跨域与跨公网的复杂环境,对可用性与容灾设计了一系列的机制与策略,保障整个系统的高吞吐、高可用、高性能。
图3 9NFL
京东自研的九数联邦学习平台(9NFL)主要有三点技术创新:
1、 业界前沿技术自主研发:从0到1设计与开发,实现了从样本匹配到模型训练/预测的完整解决方案;
2、 营销推荐领域技术落地:支持百亿级规模样本、百T级容量数据,首次在电商推荐领域实现线上业务落地;
3、 复杂场景下平台演进:实现分布式异步框架、Failover、拥塞控制等多种机制,保障了平台在跨域跨网的复杂场景下的高可用。
自上线以来,九数联邦学习平台(9NFL)在取得了较好业务成绩的同时,也经受住了业务大数据、大算力的考验。
在与媒体进行合作的京东广告投放业务场景中,媒体侧有大量的用户媒体兴趣标签,京东侧有大量的用户商业兴趣及商品标签数据,基于双方数据的互补性,使用联邦学习平台联合建模,优化广告的触发召回、CTR/CVR模型等模块,并成功上线,取得10%+的收入提升。
图4 9NFL在广告营销落地的场景图
联邦学习作为安全计算的解决方案,打破数据孤岛,实现了多方在数据的隐私保护与安全合规的前提下的紧密合作,将会成为AI发展的一大基石,在未来发挥更加重要的作用。九数联邦学习平台(9NFL)未来也将在1.0版本的基础上持续优化产品功能,深度连接合作伙伴,实现共创共赢。
- 荣登京东工业类图书榜首!《高通量多尺度材料计算和机器学习》开启材料研发“快车道”
- 京东奔图达成战略合作“产品+服务”双升级提升打印体验
- 京东开启激光4K投影大赏 邀你探索家庭影院的N种打开方式
- 五一宅家乐装备首选京东 小度添添两款新品在京东上线
- 南讯股份携手京东共探数智增长新路径,多项荣誉彰显数智营销实力
- 京东×我飞户外共建户外营地车行业标准 共促露营行业高质量发展
- 打破音乐与时尚的边界:京东潮流上新Beosound A1 ADER ERROR限量版音响
- 京东上线海康威视全新4G摄像头 新品先人一步全球首发可提前尝鲜
- 京东荣获2023年度数字化采购解决方案杰出供应商及智能制造优秀推荐产品奖
- 三年销售目标1200亿!京东与联想战略合作全面升级
- 4月8日京东眼镜节正式开启 明月镜片、雷朋等眼镜大牌低至5折线上配镜满300减40
- 联想与京东签署全新战略合作协议 加速AI PC等AI设备落地
- 小米首次联合京东举办米粉节 来京东参与互动活动有机会参观小米汽车工厂
- vivo X Fold3系列京东好评率98% 产品轻薄、续航持久等能力备受好评
- BOE(京东方)发布2023年年报 稳定经营促进高质量发展
- 操作便捷模板丰富 奔图M1 lite打印机先人一步上线京东售价969元