京东开源超大规模联邦学习平台（9NFL） 深度连接合作伙伴

众所周知,数据是人工智能的基石,只有具备丰富和充分的数据,我们才能利用数据挖掘、机器学习等技术洞见深层次的行业趋势进而指导决策。但与此同时所产生的数据隐私的保护问题也越来越受到关注,近年来国内外在逐步加强对数据隐私的保护,例如欧盟最近引入的新法案《通用数据保护条例》(GDPR),我国国家互联网信息办公室起草的《数据安全管理办法(征求意见稿)》等。当企业之间跨域跨组织的原始数据合作成为历史,如何打破数据孤岛,让数据在安全合规的前提下自由流动,成为了业界积极探索的方向。

图1 数据孤岛

在这个大背景下,联邦学习技术应运而生。联邦学习(Federated Learning)概念是由Google在2016年首次提出,它作为一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。

作为数据安全计算的业界前沿技术方案的联邦学习,可在保护数据隐私的同时深度连接各个合作方,达到了技术赋能、共创共赢的目标。

图2 联邦学习原理

业界前沿技术自主研发首次在电商推荐领域实现技术落地

基于业务需要,京东自研的联邦学习平台:九数联邦学习平台(9NFL)于2020年初正式上线。九数联邦学习平台(9NFL)基于京东商业提升事业部9N机器学习平台进行开发,在9N平台离线训练,离线预估,线上inference、模型的发版等功能的基础上,增加了多任务跨域调度、跨域高性能网络、大规模样本匹配、大规模跨域联合训练、模型分层级加密等功能。整个平台可以支持百亿级/百T级超大规模的样本匹配、联合训练,并且针对跨域与跨公网的复杂环境,对可用性与容灾设计了一系列的机制与策略,保障整个系统的高吞吐、高可用、高性能。

图3 9NFL

京东自研的九数联邦学习平台(9NFL)主要有三点技术创新:

1、 业界前沿技术自主研发:从0到1设计与开发,实现了从样本匹配到模型训练/预测的完整解决方案;

2、 营销推荐领域技术落地:支持百亿级规模样本、百T级容量数据,首次在电商推荐领域实现线上业务落地;

3、 复杂场景下平台演进:实现分布式异步框架、Failover、拥塞控制等多种机制,保障了平台在跨域跨网的复杂场景下的高可用。

自上线以来,九数联邦学习平台(9NFL)在取得了较好业务成绩的同时,也经受住了业务大数据、大算力的考验。

在与媒体进行合作的京东广告投放业务场景中,媒体侧有大量的用户媒体兴趣标签,京东侧有大量的用户商业兴趣及商品标签数据,基于双方数据的互补性,使用联邦学习平台联合建模,优化广告的触发召回、CTR/CVR模型等模块,并成功上线,取得10%+的收入提升。

图4 9NFL在广告营销落地的场景图

联邦学习作为安全计算的解决方案,打破数据孤岛,实现了多方在数据的隐私保护与安全合规的前提下的紧密合作,将会成为AI发展的一大基石,在未来发挥更加重要的作用。九数联邦学习平台(9NFL)未来也将在1.0版本的基础上持续优化产品功能,深度连接合作伙伴,实现共创共赢。