赋能大数据与AI应用 青云QingCloud EHPC助企业开拓新场景

2022-01-08 20:34:29爱云资讯

去年底,2021中国高性能计算机(HPC)性能TOP100榜单正式发布,除了“谁是最快超算机器的比拼”以外,超算商业化也成了这次榜单发布引发的一个热门话题。这已是该榜单的第20次发布。在人们印象中“高高在上”的超算,如今真的已经“飞入寻常百姓家”,成为各行各业迫切需要的算力“超级大脑”。

超算市场正在进一步细分,尖端超算、通用超算、行业超算的划分能够更有针对性地满足不同行业、不同细分应用市场的算力需求。除了人们熟知的国家超算中心以外,由各地政府扶持、各种社会资本参与加持的超算中心也如雨后春笋般不断涌现出来。同时,随着云服务的快速普及,“超算云”也成了新的提供超级算力的途径和方式。

就在超算商业化这一话题还在持续发酵之中,青云QingCloudEHPC以更加简单、快捷的方式获取云上超算服务“从理想照进了现实”。

算力爆发的时代

实际上,能否通过云服务的方式提供超算算力,也曾经引发过争论。另外,大型超算中心在完成重大科研项目攻关任务的同时,也希望将更多闲置算力提供给商业用途,以充分发挥超算算力的价值,但究竟哪种途径、方式或商业模式更适合,也一直在摸索之中。但说到底,将超算算力提供给千行百业,从而赋能千行百业的数字化转型已成为当今最迫切的需求。

超算走下神坛,是大势所趋。现在看来,超算云是一种比较适合的释放超算算力价值的渠道。

高性能计算诞生之初,其目的是用大量服务器并行地对某一个任务执行运算,以解决工程和科学上的问题。虽然其用途很多,但最核心的还是用来模拟世界万物。人们熟知的通过对卫星图像、遥感数据、气象数据的计算和分析来模拟地球、海洋和气侯,或者进行基因测序、药物研发。这些都曾经是高性能计算的主战场。

赋能大数据与AI应用 青云QingCloud EHPC助企业开拓新场景

但是上述这些应用场景毕竟与普通人的生活距离较远,这也在某种程度上造成了高性能计算“曲高和寡”的感觉。随着技术的成熟、应用场景的拓展,高性能计算覆盖的范围也在不断扩大。比如,让人心跳加速的F1赛车运动,红牛车队在赛前会根据下一场比赛赛道的特定环境做一个模拟,包括使用虚拟风洞来优化空气动力学,或模拟电源散热系统,让赛车能发挥其最大功率,还可以模拟碰撞,从而优化车身结构。利用超算平台的算力,红牛车队这种针对性的模拟和优化能够在7天内完成,从而保证在每一场比赛中,其赛车手都能拥有最大优势。

不仅如此,现在金融行业的防欺诈,甚至零售行业为客户行为画像等,都可能会用到超算。以更经济实惠的价格,以便捷快速的方式,为各行各业提供超算算力成了各计算厂商努力的目标,这其中云服务商也是一股不容忽视的力量。

开拓新业务场景

不可否认,云计算的快速普及,为超算进入千行百业打开了新的大门。那么,云服务商究竟应该从哪里入手呢?

青云QingCloud云平台&服务部高级总监陈海泉指出,青云在高性能计算领域重点关注的新场景有两个:一是高性能计算业务与大数据人工智能的融合;二是高性能计算平台与云计算的融合。

先来看大数据与人工智能对高性能计算的需求。首先,高性能计算与尖端科研是密不可分的。其次,大数据驱动着存储与算力的深度融合。以前,建超算中心普遍以算力为主导,存储瓶颈日益突出。随着数据量和来源越来越多,数据类型越来越复杂,海量的数据需要更高效的处理和分析。这一改变驱动着数据中心和算力中心相互融合。最后,人工智能应用的爆发刺激了对算力的需求。无论是模型训练还是推理计算,都需要足够的算力支撑,这必然用到大量GPU节点。国际人工智能算力性能排行榜——AIPerf500从2020年开始已连续两年公布。今年的AIPerf500与2021中国HPC TOP100榜单同时公布,显示了人们对人工智能算力的关注程度。举例来说,在金融领域,大数据、人工智能与超算的结合更加紧密,通过对各种层面和维度的数据进行分析,借助深度学习技术训练出模型,应用于风控,可将坏账率降低35%。

大数据、人工智能与超算的融合是必由之路,但这条道路也并非一帆风顺。陈海泉将大数据对超算提出的挑战归纳为两个方面:第一,存储容量比以前大得多;第二,不同类型的业务对存储的要求不尽相同。因此,超算中心需要对不同的业务提供合适的存储类型。另外,不断增加的人工智能应用,要求超算中心有充足的GPU资源,并且还要提供对应的软件框架,比如TensorFlow;而这些应用往往还希望用云原生的方式进行部署和运行,因此对以Slurm调度器为主的超算中心也是一个很大的挑战。

赋能大数据与AI应用 青云QingCloud EHPC助企业开拓新场景

青云QingCloud EHPC可以全面支持各种新的业务场景。对于超算最常见的仿真和建模业务,青云提供了低延时、高带宽的InfiniBand网络,高速并行文件存储以及CPU/GPU的算力组合,不仅能支持大规模求解运算,还能提供GPU桌面进行图形前后处理,从而完成一个闭环的业务场景。对于人工智能训练业务,青云提供算力达850PFlops的A100 GPU资源池和全闪并行文件存储,并且能够结合容器平台,提供性能极致优化、轻量便捷、开源开放的人工智能平台。

在大数据业务场景下,QingCloud云平台提供的对象存储容量达245PB,与计算节点结合,可以用于大规模的数据处理和分析。计算节点到对象存储的网络带宽有1.6T,能够确保大数据计算的超高性能。有了云平台的多种存储服务,用户就可以按照自己的业务来选择合适的存储类型,包括冷、热类型的对象存储,全闪并行文件存储或者块存储等。

另外,有了虚拟化技术的加持,青云可以快速为不同业务构建所需的运行环境,并随时可以切换MPI、TensorFlow或者MapReduce软件平台,充分利用超算中心的硬件资源满足各种业务场景的需求。

云是加分项和变革因素

传统超算中心有自己的一套固有模式,对于集中资源完成重大科研攻关项目十分有效。但是要想满足数量众多、需求各异,甚至有些细碎的商业计算需求,传统超算中心必须做出必要的改变。

传统超算中心的一个痛点便是使用方式。传统超算中心的用户,在使用之初,需要先提交一个申请,经过人工审批,还需要自己安装VPN客户端,连接超算中心提供的登录节点,才能开始使用超算资源。

但是,超算中心的登录节点往往是很多用户共享的,主要存在两个问题:一是超算中心为了保证自身安全,不提供Root权限,这给安装软件带来了一些麻烦;二是Linux系统每隔一段时间就可能暴露出一些系统漏洞,如果被别有用心的人利用并得到Root权限,就可以窃取平台上其他用户的数据。“不方便和不安全这两个问题,需要用云平台与高性能计算相结合来解决。”陈海泉表示,青云QingCloud EHPC可以有效消除传统超算中心的使用及运营痛点。青云云平台带来的一个最大的改变是,将传统的审批制度变成用户自服务的形式,用户随时可以在云平台上注册账号,充值购买所需要的计算资源。

赋能大数据与AI应用 青云QingCloud EHPC助企业开拓新场景

QingCloud EHPC可以提供超算的自服务,是因为用云计算技术保证了平台的安全,主要表现在以下三个方面:第一,计算、网络与存储的租户在物理和逻辑上实现了强隔离;第二,青云云平台的管理节点与计算节点分离,租户可以使用完全独享的登录节点;第三,除了传统的VPN接入,青云还提供零信任客户端,让用户登录到超算中心的时候更便捷和安全。

在确保安全的前提下,QingCloud EHPC的使用也更加灵活,提供了两种不同类型的超算集群:偏传统的共享型超算集群,以及一种新的独享EHPC集群。另外,QingCloud EHPC还集成了工业仿真软件,能提供一站式的使用体验。

总结来说,QingCloud EHPC可以完美地支持大数据和人工智能融合的超算业务,并且以云服务的方式提供,让超算资源可以更加便捷地交付给用户。未来,青云希望促成更多的超算中心加入分布式云节点,共建一个资源共享的算力网络。 人工智能

相关文章
热门文章
头条文章
重点文章
推荐文章
热点文章
关于我们|联系我们|免责声明|会展频道