更快更好的实时AI,英伟达TensorRT 8让时延与精度不纠结
2021/07/20 21:34AI云资讯11016
性能精度均提升2倍
一直以来,英伟达在AI领域的布局都不止于硬件,TensorRT就是重要佐证之一,作为用于高性能深度学习推理的SDK。此SDK包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高吞吐量。
通过TensorRT,开发者可将TensorFlow、Pytorch等训练好的框架模型,通过优化后良好的运行在英伟达的GPU上。在2019年发布的NVIDIA TensorRT 7已经为智能的AI人际交互打开了大门,可实现与语音代理、聊天机器人和推荐引擎等应用的实时互动。

TensorRT 7配合A100 GPU可实现在2.5毫秒内运行BERT-Large,此次新发布的TensorRT 8将时间缩减至1.2毫秒。作为目前最广为采用的基于transformer的模型之一,意味着理论上当用户在使用如实时语音翻译这样的功能时,TensorRT 8的处理延迟时间可降至1.2毫秒。
TensorRT 8相比TensorRT 7有着两倍性能提升的同时,精度也同样提升2倍。TensorRT 8在两方面实现了AI推理上的突破,一方面提升了对于英伟达Ampere架构GPU的稀疏性,在提升效率的同时还能减少开发者加速神经网络时的计算操作。另一方面是量化感知训练,开发者能够使用训练好的模型,以INT8精度运行推理,在这一过程中不会损失精度。
这就意味着,企业可以将模型扩大1-2倍,实现精度的大幅提升,让自身的实时AI应用变得又快又好。
为多领域带来更快更好的AI能力
当前,TensorRT的生态影响力正在快速增长,2020年的开发者人数相比2019年就实现了3倍的增长,达到35万人,下载量已经达到近250万次,共有从边缘到云的多个领域的共27500家公司加入到该生态之中。其中包括如电信运营商Verizon,也有国内的知名互联网公司阿里、腾讯、字节跳动等。

TensorRT 8的发布无疑将会让搜索、购物推荐、语音翻译、语音转文字这样的AI应用能够实现更快更好。Hugging Face就正在与英伟达开展密切合作,作为大规模AI服务提供商,Hugging Face加速推理API能够为基于NVIDIA GPU的transformer模型提供高达100倍的速度提升,通过TensorRT 8,Hugging Face在BERT上实现了1毫秒的推理延迟,为助力实现大规模文本分析、神经搜索和对话式应用的AI服务提供加速度。
据悉,TensorRT目前还应用在了临床医疗领域,GE医疗就通过TensorRT来助力加速超声波计算机视觉应用,这是一款早期检测疾病的关键工具。TensorRT的实时推理能力提高了视图检测算法的性能,缩短了产品上市时间。实际工作中可让扫描仪在进行自动心脏视图检测时更高效,心脏视图识别算法会选择合适的图像来分析心壁运动。
TensorRT8无疑将让反应更快更聪明的客服机器人、实时翻译更迅速的应用变得可以翘首以待,也许能够随时接话茬的将不止是调皮的学生,机器人也可以做到。人与人之间的交流,语音上的牵绊变得更低,翻译可以同语音实时同步,即时记录成文字也不成问题,准确性也十分不错。更快更好的实时AI正在到来。
相关文章
- 英伟达Q3营收翻倍有余,数据中心收入同比大涨110%,达1076亿美元
- 英伟达称无意恢复黄仁勋首席执行官职务
- 英伟达董事会称未考虑让黄仁勋重返首席执行官一职
- 黄仁勋考虑重返英伟达,支持者设立游说小组,声援请愿签名超过15.6万
- 黄仁勋辞职,多位科技知名人士及美国总统公开声援这位前英伟达CEO
- 英伟达宣布首席执行官黄仁勋因两起婚外情丑闻辞职
- 消息:英伟达或将解雇黄仁勋,被曝与下属女高管再度传出婚外情
- SpaceX新一代太空AI卫星峰值算力达400千瓦,2028年将部署1万组英伟达GPU机架
- 电力基建成AI新瓶颈:英伟达Kyber机架系统耗电抵500户家庭
- Meta 加码采购英伟达 Vera Rubin 与 Vera CPU 机架,用于 Muse AI 模型
- 面壁智能 RSI 新进展:ForgeKernel 登顶华为、英伟达官方算子榜
- 柯马与英伟达合作加速推动工业机器人领域的物理AI创新
- 英伟达、AMD、苹果争相下单最新芯片工艺,台积电或提前一年达成 2nm 产能目标
- 微软推出全新 AI 芯片,降低对英伟达 GPU 依赖
- 英伟达黄仁勋称AI恐慌被夸大,并断言AI终结世界可能性为零
- 英特尔14A工艺产能预计到2027年底达每月6000片晶圆,或打入英伟达生态体系









