NVIDIA利用人工智能将标准视频转换为高清慢镜视频
2018-06-20 13:57:06AI云资讯1511
NVIDIA (NASDAQ: NVDA) 的研究人员日前研发出一个基于深度学习的系统,能够将每秒30帧的视频转换为高清慢镜视频,其效果优于其它同类方法当前能够实现的最佳效果。
研究人员在其研究论文中写道,“生活中有许多难忘时刻单凭肉眼很难看清,这时你可能想要用慢镜头记录下来,例如婴儿第一次蹒跚学步、高难度的滑板技巧、爱犬成功接球等。”“虽然可以用手机拍摄每秒240帧视频,但用手机以高帧率完成所有拍摄的做法也并不实际,因为这需要很大的内存空间,而且功耗很大。”
而基于这项新的研发成果,用户则可以在拍摄视频后制作慢镜视频。
研究团队利用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度学习框架,基于1.1万多个日常和体育活动视频,以每秒240帧的速率对系统进行了训练。训练完成后,卷积神经网络便能对更多的视频帧进行预测。
团队采用了另一套数据集来验证系统的精确度。结果表明系统能够使以较低帧率拍摄的视频看起来更加流畅且清晰。
研究人员表示:“NVIDIA采用的方法能够生成多个时空连贯的中间帧。我们的多帧法始终优于当前最佳的单帧法。”
为展示研究成果,研究团队从著名的在线科技系列视频《The Slow Mo Guys》中截取了多个片段,并进一步放缓了视频速度。以每秒30帧的速率拍摄,之后转换为每秒240帧的视频。
欲了解视频显示效果,请前往以下地址观看
这种方法可用于记录日常生活中弥足珍贵的时刻,然后将其速度放缓,就像电影慢镜头场景一样,起到增添悬念、突出重点、更加引人入胜的效果。
Huaizu Jiang、Deqing Sun、Varun Jampani、Ming-Hsuan Yang、Erik Learned-Mille和Jan Kautz等研究人员将于6月21日(星期四)下午2:50 - 4:30在犹他州盐湖城举办的年度计算机视觉与模式识别(CVPR)大会上展示其研究成果。
关于NVIDIA
NVIDIA(纳斯达克股票代码:NVDA)是一家人工智能计算公司。它在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡,并且对并行计算进行了革新。最近,通过将GPU作为可以感知和理解世界的计算机、机器人乃至自动驾驶汽车的大脑,GPU深度学习再度点燃了全新的计算时代--现代人工智能。
研究人员在其研究论文中写道,“生活中有许多难忘时刻单凭肉眼很难看清,这时你可能想要用慢镜头记录下来,例如婴儿第一次蹒跚学步、高难度的滑板技巧、爱犬成功接球等。”“虽然可以用手机拍摄每秒240帧视频,但用手机以高帧率完成所有拍摄的做法也并不实际,因为这需要很大的内存空间,而且功耗很大。”
而基于这项新的研发成果,用户则可以在拍摄视频后制作慢镜视频。
研究团队利用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度学习框架,基于1.1万多个日常和体育活动视频,以每秒240帧的速率对系统进行了训练。训练完成后,卷积神经网络便能对更多的视频帧进行预测。
团队采用了另一套数据集来验证系统的精确度。结果表明系统能够使以较低帧率拍摄的视频看起来更加流畅且清晰。
研究人员表示:“NVIDIA采用的方法能够生成多个时空连贯的中间帧。我们的多帧法始终优于当前最佳的单帧法。”
为展示研究成果,研究团队从著名的在线科技系列视频《The Slow Mo Guys》中截取了多个片段,并进一步放缓了视频速度。以每秒30帧的速率拍摄,之后转换为每秒240帧的视频。
欲了解视频显示效果,请前往以下地址观看
Huaizu Jiang、Deqing Sun、Varun Jampani、Ming-Hsuan Yang、Erik Learned-Mille和Jan Kautz等研究人员将于6月21日(星期四)下午2:50 - 4:30在犹他州盐湖城举办的年度计算机视觉与模式识别(CVPR)大会上展示其研究成果。
关于NVIDIA
NVIDIA(纳斯达克股票代码:NVDA)是一家人工智能计算公司。它在1999年发明的GPU激发了PC游戏市场的增长,重新定义了现代计算机显卡,并且对并行计算进行了革新。最近,通过将GPU作为可以感知和理解世界的计算机、机器人乃至自动驾驶汽车的大脑,GPU深度学习再度点燃了全新的计算时代--现代人工智能。
相关文章
- 超擎数智协办的2025 NVIDIA 创业企业展示——澳门站“首秀”圆满收官
- 维谛加速推进人工智能基础设施演进,助力NVIDIA 800 VDC 电源架构发布
- 天玑AI开发套件与NVIDIA TAO生态全面打通,开发者从此一次开发,全域应用
- Check Point: 领先安全防护技术确保新一代 NVIDIA AI 云数据中心安全
- Supermicro推出搭载NVIDIA超级芯片的新型千兆全闪存存储服务器
- NVIDIA 宣布推出 Cosmos 世界基础模型和物理 AI 数据工具的重大更新
- 由Arm驱动的NVIDIA Project DIGITS为数百万开发者带来高性能AI算力
- NVIDIA 推出面向 RTX AI PC 的 AI 基础模型
- NVIDIA 推出 Grace Blackwell 桌面系统 ,让每位 AI 开发者都能触手可及
- 技嘉于 CES 2025 首度亮相升级散热设计与精实体积的 NVIDIA GeForce RTX 50 系列显卡
- 联发科与NVIDIA合作 为NVIDIA 个人AI超级计算机设计NVIDIA GB10超级芯片
- NVIDIA DLSS技术+RTX 4070 入手华硕天选5 Pro锐龙版享3A游戏视觉盛宴
- NVIDIA 英伟达联合 Panduit 泛达发布人工智能结构化布线应用指南
- 耕升带你揭开NVIDIA App正式版神秘新面纱!为GeForce RTX 40系列带来全新体验
- NVIDIA DLSS技术加持游戏性能倍增 华硕天选5 Pro锐龙版RTX 4070售9299元
- 七彩虹与NVIDIA携手火星时代教育打造RTX AI创作加速体验区