更快更好的实时AI,英伟达TensorRT 8让时延与精度不纠结
2021-07-20 21:34:13爱云资讯
性能精度均提升2倍
一直以来,英伟达在AI领域的布局都不止于硬件,TensorRT就是重要佐证之一,作为用于高性能深度学习推理的SDK。此SDK包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高吞吐量。
通过TensorRT,开发者可将TensorFlow、Pytorch等训练好的框架模型,通过优化后良好的运行在英伟达的GPU上。在2019年发布的NVIDIA TensorRT 7已经为智能的AI人际交互打开了大门,可实现与语音代理、聊天机器人和推荐引擎等应用的实时互动。
TensorRT 7配合A100 GPU可实现在2.5毫秒内运行BERT-Large,此次新发布的TensorRT 8将时间缩减至1.2毫秒。作为目前最广为采用的基于transformer的模型之一,意味着理论上当用户在使用如实时语音翻译这样的功能时,TensorRT 8的处理延迟时间可降至1.2毫秒。
TensorRT 8相比TensorRT 7有着两倍性能提升的同时,精度也同样提升2倍。TensorRT 8在两方面实现了AI推理上的突破,一方面提升了对于英伟达Ampere架构GPU的稀疏性,在提升效率的同时还能减少开发者加速神经网络时的计算操作。另一方面是量化感知训练,开发者能够使用训练好的模型,以INT8精度运行推理,在这一过程中不会损失精度。
这就意味着,企业可以将模型扩大1-2倍,实现精度的大幅提升,让自身的实时AI应用变得又快又好。
为多领域带来更快更好的AI能力
当前,TensorRT的生态影响力正在快速增长,2020年的开发者人数相比2019年就实现了3倍的增长,达到35万人,下载量已经达到近250万次,共有从边缘到云的多个领域的共27500家公司加入到该生态之中。其中包括如电信运营商Verizon,也有国内的知名互联网公司阿里、腾讯、字节跳动等。
TensorRT 8的发布无疑将会让搜索、购物推荐、语音翻译、语音转文字这样的AI应用能够实现更快更好。Hugging Face就正在与英伟达开展密切合作,作为大规模AI服务提供商,Hugging Face加速推理API能够为基于NVIDIA GPU的transformer模型提供高达100倍的速度提升,通过TensorRT 8,Hugging Face在BERT上实现了1毫秒的推理延迟,为助力实现大规模文本分析、神经搜索和对话式应用的AI服务提供加速度。
据悉,TensorRT目前还应用在了临床医疗领域,GE医疗就通过TensorRT来助力加速超声波计算机视觉应用,这是一款早期检测疾病的关键工具。TensorRT的实时推理能力提高了视图检测算法的性能,缩短了产品上市时间。实际工作中可让扫描仪在进行自动心脏视图检测时更高效,心脏视图识别算法会选择合适的图像来分析心壁运动。
TensorRT 8无疑将让反应更快更聪明的客服机器人、实时翻译更迅速的应用变得可以翘首以待,也许能够随时接话茬的将不止是调皮的学生,机器人也可以做到。人与人之间的交流,语音上的牵绊变得更低,翻译可以同语音实时同步,即时记录成文字也不成问题,准确性也十分不错。更快更好的实时AI正在到来。
- 携手英伟达,联想能否在AI巨浪中乘风破浪?
- 完美世界游戏携手英伟达 持续探索AI在游戏场景中的应用
- 工业富联出席英伟达2024 GTC AI大会,新一代AI服务器精彩亮相
- 首创技术:维谛Vertiv作为英伟达NVIDIA独家制冷合作伙伴,引领AI应用快速发展
- 从算力到AI,ChinaJoy操盘手走上了英伟达的路
- CES开幕加热AI PC赛道 英特尔英伟达万兴科技等硬软件厂商纷纷秀肌肉
- 英伟达将全面拓展AI产品线 工业富联等核心供应商受关注
- 英伟达发布全球最强AI芯片H200,微美全息部署AI生态基建加速算力雪球滚动
- 生成式AI展现巨大发展潜力,英伟达/苹果/微美全息夯实底座助力商业化落地
- 多模态大模型发展及高频因子计算加速GPU算力 | 英伟达显卡被限,华为如何力挽狂澜?
- 从AI制造到制造AI 深度解析工业富联和英伟达合作
- 宏碁携手英伟达走进广州美术学院,RTX革新创作流!
- 搜索+AI!百度、英伟达联合举办搜索创新大赛
- 瑞承:黄仁勋讲述英伟达3次转折,学会成功的四种品质
- 黄仁勋盛赞英特尔下一代制造工艺,有望委托代工英伟达 AI 芯片
- 重磅合作!联发科与英伟达携手打造全方位AI智能座舱功能
- 探索影像新境界:华为Pura70系列与云空间的完美融合体验
- 浪潮商用机器2024 Power Start精彩上演 乘AI东风再绘生态新蓝图
- 水陆两用运动耳机鲸语Alpha新品来袭,音乐潮玩OWS耳机鲸语Loki叛逆亮相
- 西部数据以多样化存储产品赋能广电视听行业多元化发展,携手伙伴共同探索大视频时代下的用户体验
- 黑鹰灭凤凰!联发科天玑9400 CPU采用最新架构,IPC性能鲨疯了
- 超擎数智重磅发布擎天、锋锐、元景系列AI服务器,打造人工智能新质生产力强劲引擎
- CPU性能还是得看联发科,天玑9400采用Arm黑鹰架构又要封神
- 一顿烧烤钱升级疾速WIFI7网络,中兴巡天BE5100仅需229起双2.5G版即将开售