科学家设计AI系统从无声钢琴演奏视频中再现演奏声音
2021-02-13 07:44:35爱云资讯
据外媒New Atlas报道,想象一个计算机程序能够直观地识别出在无声的钢琴演奏视频中演奏的是哪首乐曲,或许并不夸张。然而, 一个新的人工智能系统却更进一步,以数字方式逼真地再现了钢琴演奏的声音。
这项技术被称为Audeo,由华盛顿大学 的一个团队设计。研究人员使用钢琴家保罗·巴顿的YouTube视频对系统进行了培训和测试。培训包括约17.2万巴顿演奏巴赫和莫扎特等著名古典作曲家音乐的视频帧。
在分析一段无声视频时,所产生的系统首先会观察哪些键被按下的顺序,确定各个音符及其排列方式。也就是说,它还能感知到每个键被击打的力度和被按住的时间--这让它能计算出每个音符的强度,以及它在随后弹奏的音符下面持续的时间长度。它还考虑到了钢琴独特的声学特性。然后,这些数据被转换为一种可以被现有的数字合成器理解的格式。据报道,当该合成器回放音乐文件时,它听起来非常像原始的钢琴音乐。
在对Audeo的测试中,它的任务是根据巴顿演奏的静音视频重现钢琴音乐,而不是系统所训练的音乐作品。当SoundHound等音乐识别应用分析这些再现时,它们能够以大约86%的准确率识别出乐曲。相比之下,当这些应用分析相同视频中的原始钢琴音频时,其识别准确率攀升至93%。随着技术的进一步发展,这种差距应该会缩小。
“我们希望我们的研究能够实现与音乐互动的新方法,”该研究的高级作者Eli Shlizerman副教授说。“例如,未来的一个应用是,Audeo可以扩展到虚拟钢琴,摄像头只记录一个人的手。此外,通过将摄像头放在真实的钢琴之上,Audeo有可能协助教学生如何演奏的新方法。”
相关文章
- 中兴通讯积极参与中国移动云电脑数智化建设,聚焦AI与算力网络融合发展
- 浪潮商用机器2024 Power Start精彩上演 乘AI东风再绘生态新蓝图
- AI大模型持续演进引领科技浪潮,苹果/微美全息积极布局激发发展新动力
- 数字人讲师上线!弘成AI制课颠覆传统、效率翻倍
- AI周动态 | 万兴“天幕”公测,支持文生视频60秒+ 商汤日日上新5.0 性能对标GPT-4Turbo
- 中国移动副总经理李慧镝:积极推进算力网络AI注智赋能,推动实现自智网络“三零三自”愿景
- 超擎数智重磅发布擎天、锋锐、元景系列AI服务器,打造人工智能新质生产力强劲引擎
- “AI+元宇宙”赋能,中国移动咪咕助力打造鼓浪屿诗歌节科技“新名片”
- 久其女娲平台2.0全新升级!AI大模型加速,赋能政企数治未来
- 中国移动高同庆:打造大国算网重器,开启AI+时代新篇
- 中国移动杨杰董事长:算力网络点亮AI新时代
- 东软睿驰面向AI智能汽车整体产品解决方案亮相2024北京车展
- AI+CG技术,小米汽车使用权,这家房企的发布会为什么堪称现象级!
- 大模型破局企业AI营销,衔远科技推出MODI摹小仙AI营销大脑
- 创原会·AI创新论坛|探讨百模千态实践,华为云打造算力沃土
- 国雄资本董事长姚尚坤:AI投资热潮或逐渐消退,新能源领域的投资机会巨大
热门文章
头条文章
重点文章
推荐文章
热点文章