Krisp使用机器学习降低了呼叫噪音,很快就会应用在Windows上

2018-12-11 08:43:17爱云资讯灵婷

如果你的运气与我的一样,只要你跳过一个重要的电话,有人会认为这是在窗外的人行道上吹掉一些树叶的好时机。 2Hz的Krisp是一款全新的桌面应用程序,它使用机器学习来减少像这样的背景噪音,或人群,甚至哭泣的孩子 - 同时保持你的声音完好无损。它已经出现在Mac上了,很快就会进入Windows。


我在今年早些时候在加州大学伯克利分校的Skydeck加速器上遇到了Krisp的创造者,其中包括2Hz的联合创始人Davit Baghdasaryan,他们展示了他们当时的原型技术。

所涉及的技术很复杂,但这个想法很简单:如果你创建一个机器学习系统,它能够理解人类的声音,平均而言,它可以听到一个音频信号,只选择它的一部分,切断一个大量的背景噪音。

Baghdasaryan,以前是Twilio,最初想创造一些可以在移动网络上运行的东西,所以T-Mobile或任何人都可以宣传内置噪音消除。然而,这种平台方法证明太慢,所以他们决定直接面向消费者。

“与客户的牵引力很慢,这对一个年轻的创业公司来说是一个问题,”巴格达瑞安后来在一封电子邮件中说道。然而,人们喜欢“静音”的想法,所以我们决定改变所有的注意力,建立一个面向用户的产品。“

那是在我与他们亲自交谈的时候,顺便说一下,仅仅六个月后他们就在Mac上发布了。

这很简单:你运行应用程序,它会修改传出和传入的音频信号,一端是正常的嘈杂信号,一端是干净的,以语音为中心的信号。一切都在设备上发生,延迟非常短(大约15毫秒),因此不涉及任何云,也没有任何东西被发送到任何服务器甚至本地存储。该团队正在努力使软件适应和动态学习,但它还没有实现。

这种方法的另一个好处是它不需要任何特殊的调整来使用Skype,而不是Webex。因为它可以在操作系统的声音处理级别工作,所以无论你使用什么应用程序,只需听到Krisp修改过的信号,就好像它是从麦克风中清除一样。

他们在Mac上推出,因为他们认为早期采用者类型更有可能出现在Apple的平台上,并且赌注似乎得到了回报。但Windows版本即将推出 - 具体日期未设定,但预计会在本月末或1月初。 (我们会告诉你什么时候它。)

它应该或多或少与Mac版本相同,但会有一个特别以游戏为主的版本。 Baghdasaryan指出,游戏玩家更有可能拥有运行Krisp的GPU,并且真正需要清晰的通信(作为一个PUBG播放器,我可以说出开放式麦克风和噼啪声键的烦恼)。因此可能会有一些特定于游戏玩家的高级用户功能,但它还没有一成不变。

您可能会像我一样怀疑为什么他们不会追求芯片制造商,或许将Krisp作为手机或计算机音频处理器内置的技术。

他们亲自表示,这最终也是过于缓慢和限制性的。同时,他们发现软件领域没有真正的竞争,这种竞争更加容易。

“所有目前的噪声消除解决方案都需要多个麦克风和一个特殊的外形,其中嘴必须靠近其中一个麦克风。我们没有这样的要求,“Baghdasaryan解释道。 “我们可以使用单麦克风或对来自网络的音频流进行操作。这使得可以在任何您想要的环境(边缘或网络)和任何方向(入站或出站)运行软件。“

如果你对技术方面感到好奇 - 如何使用一个麦克风或低延迟等等,那么Baghdasaryan在一段时间内为Nvidia博客写了一个很好的解释。

此外,Krisp可以轻松运行的以AI为重点的芯片的激增意味着可以轻松进入移动和嵌入式领域。 “我们已成功将DNN移植到NVIDIA GPU,Intel CPU / GNA和ARM。高通公司正在筹备中,“Baghdasaryan指出。

为了完成这项工作,该公司迄今为止共筹集了200万美元:来自Skydeck以及朋友和家人的50万美元的种子轮,然后是由Sierra Ventures和盛大集团领导的1.5百万美元的轮次。

预计今年冬天晚些时候发布Windows,如果您已经是用户,那么期望在同一时间内推出一些新功能。你可以在这里免费下载Krisp。
相关文章
热门文章
头条文章
重点文章
推荐文章
热点文章
关于我们|联系我们|免责声明|会展频道
冀ICP备2022007386号-1 冀公网安备 13108202000871号 爱云资讯 Copyright©2018-2023