高通骁龙865 5G移动平台带来第五代AI Engine人工智能引擎

在19年12月初,第四届高通骁龙技术峰会上,伴随着全新的8系旗舰骁龙865 5G移动平台而来的便是第五代Qualcomm AI Engine人工智能引擎。从现场了解到的情况来说,这一代Qualcomm AI Engine人工智能引擎成功实现了全面的提升。用高通现场发言人的话来说,“在骁龙865上,我们实现了高性能、低功耗、连接、安全等特性结合在一起的全系统AI,包括CPU、GPU、Hexagon处理器、ISP、Qualcomm传感器中枢(Sensing Hub)、安全处理单元、调制解调器,甚至Quick Charge等等。在它们的共同支持下,骁龙865的AI能力提升了整体平台的性能。”

那么问题来了,第五代Qualcomm AI Engine人工智能引擎究竟获得了怎样的提升呢?说到提升,最直观的展现形式自然还是数据。如下图所示,基于同一种模型运算所得到的数据来看,在Qualcomm第五代AI Engine人工智能引擎的帮助下,骁龙865 5G移动平台的AI性能是上一代骁龙855移动平台的两倍多。从算力的数据来讲,支持第五代AI Engine人工智能引擎的骁龙865移动平台可实现15TOPS(每秒15万亿次运算)的超高算力。

除整体AI性能的提升外,在Qualcomm第五代AI Engine人工智能引擎体系内,高通骁龙865 5G移动平台内部的各组成部分也都获得了提升:

在Qualcomm AI Engine人工智能引擎中有着明确的分工,GPU实现的AI计算最主要是16位和32位浮点运算,而定点运算是通过Hexagon和CPU来实现。这一次骁龙865 5G移动平台内的Adreno GPU,在这次升级中,除了图形性能的提升,在进行AI运算时,也实现了巨大的性能提升,相比上一代骁龙855 GPU的AI算力提升了两倍。另外,全新的张量加速器Hexagon 698的AI性能提升了4倍,可支持8位和16位的定点运算。

此外,骁龙865 5G移动平台还支持深度学习带宽压缩技术,这是基于此前骁龙移动平台自820开始所支持的带宽压缩技术升级而来的全新技术,可以实现高达50%压缩比的无损压缩。这项技术的最大好处在于,保证移动平台性能进一步提升的同时,功耗得到更好的控制。配合上全新支持的LPDDR5所带来的30%的带宽提升,进一步提高了AI处理能力。

当然,第五代AI Engine人工智能引擎的提升还不止于此。在骁龙865 5G移动平台中,全新加入的传感器中枢(Sensing Hub)除了可以支持传统的连接之外,也可以做视频、音频的实时感知,更可支持多种传感器的接入,提供优秀的可扩展框架。

基于支持第五代AI Engine人工智能引擎 智能手机会支持哪些新应用呢?

其实,这是一个可以无限遐想的话题。如果说,之前的AI应用开发会受到终端侧算力的限制,导致其具有一定的局限性。那么,在支持Qualcomm第五代AI Engine人工智能引擎的骁龙865 5G移动平台上,由于AI算力提升了两倍多,也就解锁了更多AI应用的可能性。

高通基于骁龙865 5G移动平台推出的参考设计

先来说说高通基于如此强大AI算力带来的已经实现的功能示例吧!首先,笔者一定要说一下在第四届骁龙技术峰会上,高通现场展示的基于骁龙865 5G移动平台的工程机在现场展现的实时翻译的功能。其实,通过AI算法对语音进行实时翻译并不新鲜,但传统的方式,都是先录下说话者的语音,再基于语音,进行识别、翻译。整个过程并不流畅不说,准确率也非常一般。

而现场所展示的基于高通骁龙865 5G移动平台所实现的实时翻译,可以实现跟随演讲者的语速,实时给出精准的语意识别后的对应翻译语音,现场测试采用的是英译中。笔者亲眼所见的是,其翻译速度与耳机中的同传声音不相上下,甚至,准确率还要高过同传。基于参考设计机型实现的现场实时翻译

当然,这样优质体验的背后,是需要强大的算法支持,而支持强大算法流畅运行的背后,则是高通骁龙865 5G移动平台提供的强大AI算力。

另一个在第四届骁龙技术峰会演讲中提到的全新应用则是基于AI算力与ISP相结合对于拍摄照片的处理方面。传统的AI降噪,往往只是简单粗暴的对于整张照片进行统一的降噪处理,这样的一大弊端在于会导致照片中很多需要保留的细节消失不见,直接影响成片的质量。而强大的AI算力支持后,在对照片进行降噪处理时,可以先对摄像头获得的照片进行语义分割,比如,在后端,AI计算系统可以识别到哪部分是拍摄人物的头发、哪部分是皮肤、甚至哪部分是衣服等等,进行这样分类的识别后,针对不同的物体部分,进行具有针对性的降噪处理,使得原本容易失去的细节更好的保留,进而让照片更好的还原真实场景。基于AI算力实现的对照片进行语义分割

以上两个用例还只是目前高通官方已经做出的示例。对于软件开发商而言,骁龙865 5G移动平台、以及其所支持的第五代Qualcomm AI Engine人工智能引擎,无疑是为更多应用场景的软件开发提供了硬件基础的算力支持,基于如此强大的硬件能力,相信,越来越多的软件开发商可以开发出更多难以想象的AI应用,来进一步提升智能手机的Smart程度。

这一切自然也无法离开软件开发商、算法提供商的完整AI生态合作。如下图所示,高通的终端侧AI生态中,已经拥有了众多的合作伙伴,其中涵盖了AI产业链由上至下诸多不同类型的企业。如此强大的生态,也正是未来在强大算力的支持下,产生更多AI用例的坚实后盾。