美国科学家用AI算法转换大脑信号 失语人士未来有望“正常说话”

2019-04-29 13:08:44爱云资讯

除了打字,失去说话能力的人还可以依靠什么方式与他人交流?人工智能或许带来了新的解决方案。

4 月 24 日,《自然》杂志刊登了加州大学旧金山分校的一项研究成果:科学家研发了一种实验性的“大脑解码器”,将研究对象的大脑信号与人工智能、语音合成相结合,从而帮助语言能力受损的人“说出”他们的想法。

许多疾病会导致人失去说话能力,比如中风、癌症,以及肌萎缩性脊髓侧索硬化症(俗称“渐冻症”)。著名科学家霍金就患有渐冻症,在很长的时间里,他只能借助轮椅上的电脑和几根手指与外界交流,每分钟拼出15-20个单词。2008 年病情恶化后,霍金连手指都无法再活动,唯一能控制打字的只剩下右脸颊的一块肌肉,打字速度下降到每分钟5-6个单词。

人的正常说话速度约为每分钟 150 个单词。研究人员希望借助“大脑解码器”,让苦于相关疾病的患者用正常速度与他人对话。

不过,“大脑解码器”并不能像科幻电影里那样直接“读心”。研究负责人、加州大学旧金山分校的神经外科学家Edward Chang介绍,解码的关键是声音系统的数据建模。

换言之,“大脑解码器”是通过比照说话时的大脑信号与发声部位的运动情况,推断出患者想说什么。

在实验中,研究人员找到了五名能正常说话的癫痫患者作为志愿者。为了治疗癫痫,这些患者的大脑表面被植入了能够监测电信号的电极,因此有条件开展额外的实验。

实验中使用的电极。图片源自加州大学旧金山分校。

一方面,研究人员要求患者大声朗诵数百个句子,并记录下大脑皮层信号。另一方面,研究人员记录了患者说话时的肌肉运动数据,涉及到舌头、嘴唇、下颌和喉部等地方的大约 100 块肌肉。打个比方,研究人员就像记录了一套“发声乐谱”,但乐谱上写的不是音符,而是一块块肌肉的运动情况。

接下来,研究人员用这些数据建模,训练出一套深度学习的算法,然后将其输入到解码器中。解码器对大脑信号进行转换,推算出相应的声道运动,再将这些运动转换为合成语音。

算法的转换过程。图片源自《自然》杂志。

圣地亚哥州立大学神经科学家Stephanie Riès对《自然》表示,通过声道运动的映射来合成语音,比直接将大脑信号转换为语音要容易理解得多。

不过,这套系统目前还停留在实验阶段,没有精确到足够应用的程度。芝加哥西北大学神经学家Marc Slutzky说,研究迈出了重要一步,但要使得合成语音易于理解,科学家们还有很长的路要走。

这个视频里展示了合成语音和原声的效果。跟原声相比,合成语音在某些发音上会显得不够清楚。视频来源:加州大学旧金山分校。

相关文章
热门文章
头条文章
重点文章
推荐文章
热点文章
关于我们|联系我们|免责声明|会展频道
冀ICP备2022007386号-1 冀公网安备 13108202000871号 爱云资讯 Copyright©2018-2023