国际大数据与人工智能峰会星云Clustar打造联邦学习新算力
2020-03-22 12:22:15爱云资讯
2020年3月13—14日,以“促进工业界和学术界的对话”为主题的BenchCouncil国际大数据与人工智能线上峰会正式拉开帷幕。星云Clustar 作为代表之一,与来自阿里巴巴、Facebook、亚马逊、京东、中国移动等教育、金融、医学等领域的百余名大数据和AI专家共同探讨学术前沿。
星云Clustar 打造联邦学习的新算力
星云Clustar 首席科学家胡水海博士受邀于会上发表了《GPU在联邦机器学习中的探索》的主题演讲,全面展示了星云Clustar 在联邦学习领域的布局与全新研究成果。
应对联邦学习难题,星云Clustar 的破局之道
在人工智能领域,目前存在比较严重的数据孤岛问题。虽然每个公司和机构都有数据,但大部分是小数据,难以成势;加之行业竞争、安全问题等因素,企业之间不愿意分享数据;另外,随着多国着手出台一系列数据隐私与安全的法律法规,纵使行业间愿意交换数据也变得难以合规。这都造成了数据以一个个孤岛的形式存在,相互之间不能连接,数据失去流通性。
“联邦学习”就是同时可以满足隐私保护和数据安全的解决方案。联邦学习采用同态加密技术,对数据进行加密,保证数据不泄漏。然而同态加密的代价是加密后的数据量庞大导致计算耗时和通信传输延时。联邦学习中的部分同态计算量是明文计算量上千倍,且数据传输总量也比传统机器学习大100到1000倍。
面对这些挑战,星云Clustar 在联邦学习中做了革命性的算力突破:
1.优化单点计算:
GPU的并行计算为深度学习开拓了前进的道路。然而联邦学习计算需进一步处理2048-bit的大整数运算、大量的模幂运算以及缓存大量中间计算结果,此时GPU表现就不尽人意。
针对这些技术挑战,胡水海表示:星云Clustar 首先使用分治思想做元素级并行,通过将大整数乘法分解成可并行计算的小整数乘法,优化了运算本身;其次,利用平方乘算法和蒙哥马利算法降低复杂度并避免取模运算;最后,使用中国剩余定理,减小中间值计算结果,避免了更大的显存缓存中间结果。
胡水海同时展示了星云Clustar 基于GPU初步优化方案,测试结果显示:相对于传统服务器,星云Clustar 在联邦学习复杂的同态加密和解密计算上带来了约6倍的加速比;密态乘法和加法效率上分别提高了30倍和400倍以上。
2.突破通信传输瓶颈
联邦学习通信的两大场景:一是数据中心内部不同机构间通信,二是不同机构的数据中心跨区域通信。在这两大场景下,都需要加速联邦学习通信,以带来模型训练效率的提升。胡水海表示:星云Clustar 利用GDR(GPU Direct RDMA)技术,GPU的数据不再经过内存的多次拷贝,而是直接从GPU移动到RDMA网卡,然后通过RDMA网卡直接发送到网络,接受侧也同样,从而实现零拷贝的数据流目标。同时GDR还可以控制内存分配机制,直接把数据分配在允许RDMA操作的内存上,就能减少数据拷贝,进一步提升性能。相对于TCP模式,GDR能提高75%整体训练效率。
星云Clustar :助力联邦学习,打造“新”算力矿机
联邦学习作为同时保障安全和隐私的新一代人工智能算法框架,对于同态加密后的庞大数据量的处理上则需要更强劲的算力作为支撑。星云Clustar 推出PAI密态计算硬件加速卡,能让数据在加密状态下进行AI模型训练与推理,解决数据安全和用户隐私的合规挑战。星云Clustar 以领先的联邦学习、同态加密等创新性技术,加速有密态需求的AI场景,致力于打造“AI+隐私”新算力,提供更加高效、更加安全的AI解决方案,为企业之间数据快速流通、互惠共赢的合作方式保驾护航。未来,星云Clustar 将打造新算力时代领航者,助力联邦学习在多行业多应用场景下发挥无限潜能。
- 神州医疗弓孟春:基于多模态大数据的生成式AI为临床科研提供新质生产力
- 博大智算·鹏程远航 博大数据深圳前海智算中心隆重开园
- 数新网络助阵哈工大国家级项目,共绘数智化新篇章,打造大数据法务平台
- 喜报!神州医疗获评“医疗大数据与人工智能行业2023年度企业”
- 百望云与无锡大数据集团签署战略合作协议 筹建产业互联网数商联盟
- 数位大数据核心团队赴文昌国际航天城管理局进行座谈交流
- 中国联通“‘AI+大数据’全面赋能客服智慧运营”荣获“吴文俊人工智能科技进步奖”
- 博大数据高级副总裁陈亮:智能时代,数据中心企业核心竞争力是把服务“产品化”
- 博大数据亮相“深商政企面对面”,全方位展示先进智算理念与主张
- 新点软件荣获上海市大数据中心2023年度软件开发优秀服务商奖
- 2024数字中国创新大赛·数据要素赛道“能源大数据应用赛”正式上线!参赛指南请查收
- 博大数据深圳前海智算中心10KV送电成功,开启大湾区智算新生态
- 技术实力与商业成果并蓄!永洪科技荣获大数据产业发展论坛双料奖项
- 斩获2023大数据”星河”案例大奖!浩鲸科技助力航运集团构建数据资产管理体系
- 联通大数据最新成果精彩亮相世界数字教育大会
- 绿盟科技入选工信部重点实验室大数据安全工作组