科学家设计AI系统从无声钢琴演奏视频中再现演奏声音
2021-02-13 07:44:35爱云资讯1086
据外媒New Atlas报道,想象一个计算机程序能够直观地识别出在无声的钢琴演奏视频中演奏的是哪首乐曲,或许并不夸张。然而, 一个新的人工智能系统却更进一步,以数字方式逼真地再现了钢琴演奏的声音。
这项技术被称为Audeo,由华盛顿大学 的一个团队设计。研究人员使用钢琴家保罗·巴顿的YouTube视频对系统进行了培训和测试。培训包括约17.2万巴顿演奏巴赫和莫扎特等著名古典作曲家音乐的视频帧。
在分析一段无声视频时,所产生的系统首先会观察哪些键被按下的顺序,确定各个音符及其排列方式。也就是说,它还能感知到每个键被击打的力度和被按住的时间--这让它能计算出每个音符的强度,以及它在随后弹奏的音符下面持续的时间长度。它还考虑到了钢琴独特的声学特性。然后,这些数据被转换为一种可以被现有的数字合成器理解的格式。据报道,当该合成器回放音乐文件时,它听起来非常像原始的钢琴音乐。
在对Audeo的测试中,它的任务是根据巴顿演奏的静音视频重现钢琴音乐,而不是系统所训练的音乐作品。当SoundHound等音乐识别应用分析这些再现时,它们能够以大约86%的准确率识别出乐曲。相比之下,当这些应用分析相同视频中的原始钢琴音频时,其识别准确率攀升至93%。随着技术的进一步发展,这种差距应该会缩小。
“我们希望我们的研究能够实现与音乐互动的新方法,”该研究的高级作者Eli Shlizerman副教授说。“例如,未来的一个应用是,Audeo可以扩展到虚拟钢琴,摄像头只记录一个人的手。此外,通过将摄像头放在真实的钢琴之上,Audeo有可能协助教学生如何演奏的新方法。”
相关文章
- 研究人员揭露AI漏洞:ChatGPT与Gemini能被无意义指令欺骗,从而绕过安全规则输出有害内容
- 湖北移动“清凉行动”AI筑牢高温通信防线
- 三星推出面向未来的移动安全解决方案,赋能个性化AI体验
- 书写普惠算力时代答卷:九章云极出席2025全球数字经济大会,加入业内首个AI善治联合体
- AI赋能数字经济,出门问问凭借软硬结合能力跻身「北京市数字经济100家标杆企业」
- 加速AI网络建设,蘑菇车联入选2025全球数字经济大会典型应用案例
- AI应用再落地!每日互动(个推)公文写作助手亮相2025信创应用推广大会
- 富昌电子将在广州举办技术日活动,聚焦AI驱动下的工业创新
- 店匠科技登榜 2025 AI Cloud 100 China,携手亚马逊云科技加速 AI 场景化落地
- 高途罗斌受邀出席2025全球数字经济大会,深度解读AI战略
- “AI+数据——双轮驱动下的企业价值增长新路径”论坛成功举办
- 西顿照明与香港理工大学大亚湾研究院,共建AI智慧光健康实验室
- 图睿科技亮相全球闪存峰会,GPU RAID引领端到端存储新格局
- 深度智控上榜创业邦2025全球化百强榜单,“PhyAI” 引擎驱动能效产业革新
- 从食材管理到全屋联动,三星AI神 冰箱9系重新定义家的温度
- 业内首款SGS五星认证! AI健康专家荣耀手表5 Ultra领航穿戴美学