跟咳嗽声 say no,声网 AI 降噪出手了
2023-01-17 17:57:22爱云资讯
“我还好,就是有点咳嗽,咳咳咳咳咳”。近期,不停地咳嗽成为了很多网友普遍遭遇的困扰,不仅会影响身体的状态,在线上会议、语聊、K 歌等场景中,不间断地发出咳嗽声也会影响用户线上互动交流的体验。
声网观察到,近段时间,不少语聊、直播、K 歌等 APP 中也都广泛存在上述痛点,十分影响主播与用户的体验。对此,声网的音频算法团队快速响应了这一需求,对声网 AI 降噪进行了升级,可有效消除相关咳嗽声,更好地保障线上互动场景中主播与用户的互动交流体验。
例如,对于在线办公场景,声网 AI 降噪可以净化线上会议场景的开会氛围,不影响线上沟通质量。对于线上娱乐、直播、在线K歌等场景,咳嗽噪音消除可以减少主播一定的尴尬,不需要一咳嗽就选择闭麦。
我们在声网公众号的原文加入了一段音频,您可以找到这篇文章通过文中的音频更直观的体验声网 AI 降噪带来的咳嗽声消除的能力,我们将依次展示在线会议与在线K歌两个场景中消除咳嗽声后的对比效果。如果您想试听更多场景的降噪语料,可点击公众号原文底部的阅读原文联系我们。
除了咳嗽声的消除外,声网 AI 降噪针对各类业务场景的特殊噪声均做了针对性优化,具有较强的场景覆盖能力,例如能够出色地抑制会议场景的啸叫等噪声、户外直播场景的风噪和地铁噪声、游戏场景的游戏音效以及手指敲击屏幕和手指摩擦麦克风等噪声、娱乐场景的喷麦噪声且能够完美保护主播的清唱歌声。
以啸叫抑制为例,声网 AI 降噪可有效的解决同地多设备啸叫的问题。如下图所示,在视频会议场景中,当没有开启 AI 降噪时,同时打开多台麦克风和扬声器便会引起啸叫,这会极大影响参会者的参会体验。开启声网 AI 降噪后,全场所有人均可以打开麦克风和扬声器,而不会出现啸叫的情况。
降噪性能提升:改善语音损伤及丢字现象 对长时间纯噪声的抑制效果更出色
经过声网音频算法团队的持续钻研,新版的声网 AI 降噪的性能也实现了显著的提升,主要表现为语音损伤及丢字现象显著降低、抑制谐波间底噪防止噪声起伏、对长时间纯噪声的抑制效果更出色、对清唱歌声的损伤明显减少。
其中抑制谐波间底噪防止噪声起伏主要是通过提升 AI 降噪模型的频率分辨率,在频域分辨出谐波和谐波之间的部分,较好地抑制谐波间的底噪,使得噪声大小在语音段和非语音段均处在同一水平。用户在整个完整的通话过程中感知不到噪声的起伏,可避免其分散注意力。
此前我们也有介绍,AI 降噪算法是基于声网自研 AI 推理引擎实现,能同时在移动端、PC 端以高精度、高性能、低功耗方式运行。自研 AI 推理引擎也在不断升级迭代,迎来了重磅升级。通过核心架构调整、核心函数工具化、内存复用等系列措施,提升了可复用性和可扩展性;通过量化策略优化,进一步提升精度,首次引入稀疏化优化方法,进一步提升推理性能。此次新版 AI 降噪算法基于升级后的声网 AI 推理引擎,在算法效果升级的同时,工程实现上的精度和推理性能也得到重大提升。
行业同类 AI 降噪横评 声网三大主观指标得分均最高
为了更清晰的了解新版声网 AI 降噪在用户端的体验评价,我们还选取了八家行业同类的AI降噪算法进行效果对比,并基于 GMOS、SMOS 和 NMOS 三大主观指标进行了第三方的用户打分。
先简单介绍下这三大指标的基础概念:GMOS侧重于主观听感的综合效果,SMOS侧重于衡量语音损伤,NMOS侧重于衡量残留噪声,三者的评分范围都是1-5分,5分最高,分数越高越好。
图:AI降噪横评 GMOS(第三方用户打分)
GMOS 是一个相对综合的主观指标,主要考量的是降噪性能和语音保护的综合指标,声网 AI 降噪在和 8 个友商的对比中取得了最高分3.9342分,也是唯一超过3.9分的。
图:AI降噪横评 SMOS(第三方用户打分)
SMOS 侧重的是降噪时对语音的保护是否够好,声网 AI 降噪在和 8 个友商的对比中取得了最高分4.104分。
图:AI降噪横评 SMOS(第三方用户打分)
NMOS 主要衡量的是对于噪声的抑制程度,也就是噪声残留的多少,声网 AI 降噪在和 8 个友商的对比中同样取得了最高分3.8439,但同时友商8的得分也达到了3.8107分,与声网较为接近。
目前声网最新版本的 AI 降噪插件已经可以与最新的声网 SDK 配合使用,如您想进一步体验或者接入声网 AI 降噪,可以在声网的公众号找到这篇文章,点击文章底部阅读原文,与我们进行联系。
- 声网联合星辰无双 助力快速上线爆款弹幕玩法《胖可争霸》
- 声网母公司发布2023 Q2财报 RTE2023实时互联网大会定档10月24-25日!
- 声网&Soul 打造顶级在线K歌及实时合唱体验
- 声网凤鸣·AI降噪助力KOOK打造高质量游戏语音体验
- 海外语聊房通话时长提升5%的背后,声网AI降噪送出极致助攻
- 标贝科技特色语音定制方案上架声网云市场 赋能泛娱乐场景应用
- 声网发布《2023音视频社交出海白皮书》
- 声网入选2022产业数字化金铲奖、数字化案例金奖
- 获得权威认证! 声网虚拟人通过中国信通院数字人产品评测
- 跟咳嗽声 say no,声网 AI 降噪出手了
- 声网入选2022中国ToB行业年度调研·数字化案例TOP20
- 声网&玄关健康 共创软硬件融合的医疗会议、直播、手术示教等全场景方案
- 声网入选爱分析·保险科技厂商全景报告 助力险企数字化转型
- 声网“灵隼”斩获 OFweek 物联网行业最受欢迎开发平台奖
- 声网极速直播、职业教育解决方案荣获中国信通院“实时互动创新应用优秀案例”
- RTE 2022声网赵斌:行业共识逐步形成 RTE边界逐渐清晰