科学家设计AI系统从无声钢琴演奏视频中再现演奏声音
2021-02-13 07:44:35爱云资讯
据外媒New Atlas报道,想象一个计算机程序能够直观地识别出在无声的钢琴演奏视频中演奏的是哪首乐曲,或许并不夸张。然而, 一个新的人工智能系统却更进一步,以数字方式逼真地再现了钢琴演奏的声音。
这项技术被称为Audeo,由华盛顿大学 的一个团队设计。研究人员使用钢琴家保罗·巴顿的YouTube视频对系统进行了培训和测试。培训包括约17.2万巴顿演奏巴赫和莫扎特等著名古典作曲家音乐的视频帧。
在分析一段无声视频时,所产生的系统首先会观察哪些键被按下的顺序,确定各个音符及其排列方式。也就是说,它还能感知到每个键被击打的力度和被按住的时间--这让它能计算出每个音符的强度,以及它在随后弹奏的音符下面持续的时间长度。它还考虑到了钢琴独特的声学特性。然后,这些数据被转换为一种可以被现有的数字合成器理解的格式。据报道,当该合成器回放音乐文件时,它听起来非常像原始的钢琴音乐。
在对Audeo的测试中,它的任务是根据巴顿演奏的静音视频重现钢琴音乐,而不是系统所训练的音乐作品。当SoundHound等音乐识别应用分析这些再现时,它们能够以大约86%的准确率识别出乐曲。相比之下,当这些应用分析相同视频中的原始钢琴音频时,其识别准确率攀升至93%。随着技术的进一步发展,这种差距应该会缩小。
“我们希望我们的研究能够实现与音乐互动的新方法,”该研究的高级作者Eli Shlizerman副教授说。“例如,未来的一个应用是,Audeo可以扩展到虚拟钢琴,摄像头只记录一个人的手。此外,通过将摄像头放在真实的钢琴之上,Audeo有可能协助教学生如何演奏的新方法。”
相关文章
- 转角遇到AI 大屏新动能 百视通亮相CCBN2024
- 西部机场集团联合钉钉打造AI助理“小西”今日正式启用
- 《2024人工智能与职场研究报告》发布: AI已多领域渗透,就业模式将被重塑
- 湘江鲲鹏将携兆瀚AI全栈产品亮相2024移动算力网络大会
- 万码科技创始人周媛:AI招聘时代下的红海竞争策略
- AIGC第一股出门问问成功挂牌,拥有86.5万付费用户
- AI FOR ENGINEERS研讨会:推动人工智能技术赋能工程仿真创新
- 专访小竹财税AI袁林:在通用大模型浪潮中寻找财税大模型的蓝海
- 中文在线童之磊:AI赋能人类进入“三次方”发展时代
- 搭载联想小天个人智能体的AI PC亮相 PC从此变CP
- 腾讯汤道生:夯实云图汽车智能化底座,AI驱动企业全链路升级
- 荣耀AI PC 开启AI高性能静音体验!荣耀MagicBook Pro 16正式推送全新版本
- 达内教育创始人韩少云:AI时代,达内引领成人职业教培新模式!
- “AIGC第一股”出门问问今日上市
- AI for Earth | 固德威 X 微软共话可再生能源转型
- AI「搅动」云计算,阿里云推动算力底层变革
热门文章
头条文章
重点文章
推荐文章
热点文章