AI让远程交流“更清晰”:GAN消除视频通话中的抖动
2020-10-22 16:19:44爱云资讯
NVIDIA Maxine是一款云AI视频流平台,将使用GAN来提高带宽性能。
Ming-Yu Liu 和Arun Mallya 正在进行视频通话,其中一个人的画面开始出现卡顿,直至画面定格。
这是一种常见且令人反感的情况。但与大多数人不同的是,Liu和Mallya可以做出一些改变。
他们是NVIDIA的AI研究人员,专攻计算机视觉。在与Ting-Chun Wang共事中,他们意识到可以使用神经网络来替代被称为视频编解码器的软件,这种软件通常用于视频在网络传输过程中的压缩和解压缩。
迄今为止,他们的工作成果将用户在视频通话时所需的网络带宽压缩至原来的十分之一,还有望将带宽消耗降低数个数量级。
Mallya表示:“我们希望通过AI提供更好的视频沟通体验,即使在带宽极低的情况下,也可以从语音升级到视频通话。”
GAN让连接质量更佳
即使用户的面部有遮挡(比如戴着帽子、眼镜、耳机或口罩),这项技术同样适用。为了增加趣味性,他们在演示中使用了一些装饰物,这样用户可以在线上更改其发型或衣服或者创建头像。
更重要的是,如上图所示,借助神经网络定位,无需再盯着显示器上方摄像头才能与对方对视,这增强了面对面对话的感觉。
Wang表示:“借助计算机视觉技术,我们可以从多个角度来定位头部。我们认为这将帮助人们更自然地进行对话。”
迎接最前沿的AI技术,让虚拟生活更真实。
AI赋能视频通话的原理
AI辅助视频通话的工作机制十分简单。
与目前使用压缩的视频流的系统类似,参考图像发送后,仅用户眼睛、鼻子和嘴巴周围几个关键点的位置数据被发送,而非发送大量压缩过像素的图像。
接收端的生成式对抗网络通过初始图像和面部关键点,在本地GPU上重构后续图像。因此,通过网络传输的数据要比之前少得多。
Liu在GAN领域的工作成果GauGAN曾引发关注。GauGAN是一种可以将涂鸦转化为写实艺术作品的AI工具,目前已经创建了超过一百万张图像。该工具可在AI Playground中获取。
Liu表示:“疫情期间频繁的视频会议启发了我们,因此我们开始探索突破带宽瓶颈的方式,让供应商可以同时为更多人提供服务。”
GPU突破带宽瓶颈
这一方法顺应当前行业趋势,将网络瓶颈转化为计算任务,从而借助本地或云端资源更轻松地解决此类问题。
NVIDIA媒体集团高级产品总监Andrew Page表示:“如今,许多公司希望将带宽问题转化为计算问题,这是因为带宽一般很难增加,而增强算力则相对容易。”
NVIDIA Maxine搭配了一套视频会议和流媒体服务工具
AI 工具优化视频服务
GAN视频压缩是NVIDIA Maxine即将推出的几个功能之一,这是一个云AI视频流平台,用于增强视频会议和电话质量。它将音频、视频和对话式AI功能整合在一个工具包中,并支持多种设备。
在上周的GTC大会上,NVIDIA宣布推出了Maxine平台。基于该平台,服务提供商能够在提供超高分辨率的视频的同时,实现实时翻译、噪声消除和情景感知的闭路字幕。用户可以享受到人脸校正、虚拟助手和化身逼真的动画角色等功能。
Page表示:“视频会议正在经历一场复兴。疫情期间,它的缺点给所有人带来了不愉快的使用体验,但回归视觉动物的属性,视频终将成为人们今后生活中的一部分。”
通过利用基于Tensor Core核心的NVIDIA GPU,Maxine可运行如NVIDIA Jarvis的软件。NVIDIA Jarvis是用于对话式AI的SDK,提供了一套语音和文本功能。 它们共同提供了当今有用的AI功能,并成为未来视频产品和服务的基石。
- MongoDB观点:让生成式AI成为业务增长的新动能,游戏公司可以这样做
- 京东先人一步上线影石Insta360 X4相机 丰富AI功能助你拍摄精彩视频
- 人形机器人行业迎发展重要转折点,苹果/微美全息前瞻布局共研AI+创新应用新篇章
- WOT全球技术创新大会2024北京站:AIGC与大模型的未来风暴
- 百度何俊杰:智能体,创造AI原生未来
- Suno V3引爆AI音乐产业链机遇 券商看好万兴科技昆仑万维等投资机会
- 三盟科技推出AIGC助手广场 引领教垂大模型走向“智变”
- “大模型”时代 路凯智行如何Rock AI
- 第八届社交媒体风向大会 | 20+AI专家,预测AI下的产业新风向
- 影驰AIGC创意设计大赛正式上线!AI樱花季,曜你不同
- 马斯克感慨硅谷AI人才争夺疯狂 万兴科技百万年薪邀人才共赴AI大时代
- 木愚科技亮相中国高等教育博览会,AIGC实训方案助力高职院校人才培养
- 百度文库官宣「AI创作」体验官李雪琴,带来AI办公提效新范式
- AI赋能千行百业:湖南卫视首创AI导演 万兴“天幕”革新视频内容创作
- 西云算力举办AIGC沙龙,CTO梁峰分享“全系列全场景智算基础设施”
- 高通钱堃:5G+AI赋能数字化转型,将带来下一个创新周期