京东开源超大规模联邦学习平台(9NFL) 深度连接合作伙伴
2020-09-15 14:55:54爱云资讯740
众所周知,数据是人工智能的基石,只有具备丰富和充分的数据,我们才能利用数据挖掘、机器学习等技术洞见深层次的行业趋势进而指导决策。但与此同时所产生的数据隐私的保护问题也越来越受到关注,近年来国内外在逐步加强对数据隐私的保护,例如欧盟最近引入的新法案《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》等。当企业之间跨域跨组织的原始数据合作成为历史,如何打破数据孤岛,让数据在安全合规的前提下自由流动,成为了业界积极探索的方向。
图1 数据孤岛
在这个大背景下,联邦学习技术应运而生。联邦学习(Federated Learning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。
作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同时深度连接各个合作方,达到了技术赋能、共创共赢的目标。
图2 联邦学习原理
业界前沿技术自主研发首次在电商推荐领域实现技术落地
基于业务需要,京东自研的联邦学习平台:九数联邦学习平台(9NFL)于2020年初正式上线。九数联邦学习平台(9NFL)基于京东商业提升事业部9N机器学习平台进行开发,在9N平台离线训练,离线预估,线上inference、 模型的发版等功能的基础上,增加了多任务跨域调度、跨域高性能网络、大规模样本匹配、大规模跨域联合训练、模型分层级加密等功能。整个平台可以支持百亿级/百T级超大规模的样本匹配、联合训练,并且针对跨域与跨公网的复杂环境,对可用性与容灾设计了一系列的机制与策略,保障整个系统的高吞吐、高可用、高性能。
图3 9NFL
京东自研的九数联邦学习平台(9NFL)主要有三点技术创新:
1、 业界前沿技术自主研发:从0到1设计与开发,实现了从样本匹配到模型训练/预测的完整解决方案;
2、 营销推荐领域技术落地:支持百亿级规模样本、百T级容量数据,首次在电商推荐领域实现线上业务落地;
3、 复杂场景下平台演进:实现分布式异步框架、Failover、拥塞控制等多种机制,保障了平台在跨域跨网的复杂场景下的高可用。
自上线以来,九数联邦学习平台(9NFL)在取得了较好业务成绩的同时,也经受住了业务大数据、大算力的考验。
在与媒体进行合作的京东广告投放业务场景中,媒体侧有大量的用户媒体兴趣标签,京东侧有大量的用户商业兴趣及商品标签数据,基于双方数据的互补性,使用联邦学习平台联合建模,优化广告的触发召回、CTR/CVR模型等模块,并成功上线,取得10%+的收入提升。
图4 9NFL在广告营销落地的场景图
联邦学习作为安全计算的解决方案,打破数据孤岛,实现了多方在数据的隐私保护与安全合规的前提下的紧密合作,将会成为AI发展的一大基石,在未来发挥更加重要的作用。九数联邦学习平台(9NFL)未来也将在1.0版本的基础上持续优化产品功能,深度连接合作伙伴,实现共创共赢。
相关文章
- 雅迪集团携手京东集团,共绘高效服务与品质生活新蓝图
- BOE(京东方)联合荣耀打造荣耀Magic V5 以领先LTPO技术打造行业新标杆
- 京东出席2025 能源产业生态论坛,以数智供应链筑牢能源产业生态基石
- BOE(京东方)携手合作伙伴定义下一代电竞显示趋势 借势核聚变嘉年华构建产业生态闭环
- 京东多业务亮相2025好博会,以全渠道优势构建美好生活“新基建”
- 麒麟软件与京东政企业务达成战略合作,携手升级国产化办公与供应链服务能力
- 暑期换机必看!高刷屏手机如何选?京东方技术加持成关键
- 智能机器人主场在京东 京东618全周期具身智能机器人销售额同比增长17倍
- 京东工业“链动众城 万亿降本”落地南京 以数智供应链服务江苏工业经济降本增效
- BOE(京东方)与上影集团联合宣布将成立合资公司 以“科技 + 文化”融合新范式引领电影产业数字化变革
- 吴晓波对话奔图打印总经理 京东奔图“三轮驱动”突围国产打印市场
- 京东工业与LaserPecker达成战略合作 推动行业供应链效率与用户体验升级
- 助力海南果农应对台风影响!京东物流升级荔枝物流应急保障
- BOE(京东方)携钙钛矿、新能源产品及解决方案亮相2025 SNEC 科技创新赋能行业绿色发展
- 接入京东Joy Inside人机交互体验再升级 众擎PM01上线京东
- BOE(京东方)控股子公司武汉京东方回购少数股东股权 归母权益进一步提升