只需两个元素,英伟达让你视频会议不再尴尬
2021-06-25 09:51:32爱云资讯
只需两个元素告别尴尬
根据英伟达媒体会上的演示来看,只需要录入两个元素,就能通过AI来解决上述视频会议过程中的尴尬问题,两个元素分别为一张人物外貌照片和一段视频流。之后Vid2Vid Cameo就能在视频通话的过程中模拟出真实高清的人物形象,或是虚拟的卡通形象,这些形象还可以根据会议人的面部形态进行匹配。
这就意味着,如果会议人员没有着正装,Vid2Vid Cameo也可以根据已经录入的元素来模拟出与会者的正装形象,并且可以进行动态显示。而如果与会者没有化妆,或个人形象暂时不佳,Vid2Vid Cameo也能以此前元素中的理想形象,来动态的呈现在会议的视频中。
这项功能同样可以应用于目前很多厂商在关注的通过卡通虚拟形象来进行在线交流的功能中,Vid2Vid Cameo同样可以虚拟出一个卡通形象,用户只需上传一张卡通头像便可实现,通过追踪与会者的五官变化,来进行实时的虚拟形象显示。
Vid2Vid Cameo甚至还能可以实现移花接木,通过AI将某个人的动作转移到另一个人的参照图像上,同样可以生成更逼真、更清晰的结果,优于先进的模型。
值得一提的是,Vid2Vid Cameo还能大大降低网络压力,让以往视频会议过程中由于网络问题所造成画面卡顿及马赛克现象一去不复返。原因在于在实际虚拟过程中通过仅来回压缩及发送头部位置和关键点,而不是完整的视频流,此技术将视频会议所需的带宽降低 10 倍,从而提供更流畅的用户体验。
AI助力全新视频会议体验
本次展示的Vid2Vid Cameo 是用于视频会议的 NVIDIA Maxine SDK 背后的深度学习模型之一,它借助生成式对抗网络 (GAN),实现了仅用一张人物2D图像即可合成逼真的人脸说话视频。Vid2Vid Cameo是英伟达在CVPR 2021上发表的28篇论文之一。
实现上述功能的过程中,AI发挥了重要作用,AI可以将用户的面部动作映射到参考照片上,当侦测到与会者身体运动后,也能自动调整角度,让与会者看上去可以一直处在面向摄像头的状态。
这一模型基于 NVIDIA DGX 系统开发,使用包含 18 万个高质量人脸说话视频的数据集进行训练。网络已掌握识别 20 个关键点,这些关键点可用于在没有人工标注的情况下对面部动作进行建模。包括眼睛、嘴和鼻子在内的点对特征的位置进行编码。
在传输过程中,视频会议平台只需传送关键点信息接口,视频接收端会使用此信息来模拟参照图像的外观以合成一个视频。另外,该模型还可以进行调整,传输不同数量的关键点,以实现在不影响视觉质量的条件下,适应不同的带宽环境。这也就是上文提到的可以大幅节省传输流量的原因所在。
目前,这一能够让视频会议人员告别个人形象尴尬的功能即将登陆 NVIDIA Maxine SDK,为开发者提供经过优化的预训练模型,以便在视频会议和直播中实现视频、音频和增强现实效果。开发者已经能采用 Maxine AI 效果,包括智能除噪、视频升采样和人体姿态估计。SDK 支持免费下载,还可与 NVIDIA Jarvis 平台搭配用于对话式 AI 应用,包括转录和翻译。
也许在不久以后,无论是刚刚起床,还是身在海滩边度假的你,当临时视频会议接入的时候,都能西装笔挺、头发一丝不乱的出现在会议之中,随时以最好的形象进行沟通。
- 携手英伟达,联想能否在AI巨浪中乘风破浪?
- 完美世界游戏携手英伟达 持续探索AI在游戏场景中的应用
- 工业富联出席英伟达2024 GTC AI大会,新一代AI服务器精彩亮相
- 首创技术:维谛Vertiv作为英伟达NVIDIA独家制冷合作伙伴,引领AI应用快速发展
- 从算力到AI,ChinaJoy操盘手走上了英伟达的路
- CES开幕加热AI PC赛道 英特尔英伟达万兴科技等硬软件厂商纷纷秀肌肉
- 英伟达将全面拓展AI产品线 工业富联等核心供应商受关注
- 英伟达发布全球最强AI芯片H200,微美全息部署AI生态基建加速算力雪球滚动
- 生成式AI展现巨大发展潜力,英伟达/苹果/微美全息夯实底座助力商业化落地
- 多模态大模型发展及高频因子计算加速GPU算力 | 英伟达显卡被限,华为如何力挽狂澜?
- 从AI制造到制造AI 深度解析工业富联和英伟达合作
- 宏碁携手英伟达走进广州美术学院,RTX革新创作流!
- 搜索+AI!百度、英伟达联合举办搜索创新大赛
- 瑞承:黄仁勋讲述英伟达3次转折,学会成功的四种品质
- 黄仁勋盛赞英特尔下一代制造工艺,有望委托代工英伟达 AI 芯片
- 重磅合作!联发科与英伟达携手打造全方位AI智能座舱功能