Facebook Reality Labs最新脑机结果 提高VR/AR交互能力

在一群由Facebook Reality Labs提供支持的科学家的帮助下,Facebook更新了他们的未来派脑机项目。加利福尼亚大学旧金山分校的研究人员刚刚公布利用植入性电极解码人类思维的实验的结果。他们的实验证明了系统能够迅速“读取”大脑构思的单词和短语,而这使得Facebook离实现非入侵性的思维读取系统又近了一小步。实验论文已经发布在《Nature Communications》 。

现在我们已经能够借助脑机界面来键入文本,但所述系统通常要求用户通过虚拟键盘拼写单个字词。在加利福尼亚大学旧金山分校的实验中,研究人员向被试播放了一系列的多选题,并要求他们大声诵读答案。这时,电极阵列将记录大脑中与理解语言和产生语言相关的大脑部分的活动,并寻找与特定单词和短语实时匹配的模式。

例如,如果被试听到有人问“你希望听到什么乐器?”,他们可以根据“小提琴”和“架子鼓”等选项进行回答,而电极阵列将记录他们的大脑活动。系统然后将猜测被试是于何时被问和于何时回答,然后猜测两个语言活动的内容。预测是由先前的情景决定们,所以一旦系统确定了被问的问题,它将缩小可能的答案集。系统的准确度达到61%至76%,而期望概率为7%至20%。

论文第一作者、加利福尼亚大学旧金山分校神经外科教授Edward Chang在声明中表示:“我们展示了解码对话两端的价值,亦即某人听到的问题及其回应。”但Edward Chang指出,系统目前只能识别非常有效的字词,而研究人员只向被试询问了九个问题,总的回答选项为24个。被试是正在准备癫痫手术的患者,并且使用了高度入侵性的植入物。另外,他们是大声诵读答案,不是单纯地在脑海构思。

这与Facebook在2017年描述的系统有着很大的不同:一种非入侵性的消费者型制帽,其可以支持你每分钟输入100个以上的单词,无需手动操作或语音操作。Facebook同时强调,一种由Facebook Reality Labs研发的头显将能够以近红外光读取大脑活动,从而更有可能实现非侵入性界面。

正如Facebook所说,即便是非常有限的性能,虚拟现实和增强现实眼镜都可以利用大脑读取功能。他们指出:“即便只是少数的想象式单词,比如‘选择’或‘删除’,能够解码它们将提供与当今VR系统和未来AR眼镜进行交互的全新方式。”当然,Facebook不是唯一一家致力于脑机接口的企业:埃隆·马斯克旗下的Neuralink最近发布了脑机植入接口,并计划在2020年进行临床试验。

即便我们无法在Facebook的消费者产品中看到这种大脑阅读技术,但研究人员或许可以利用它来改善因瘫痪或其他问题而无法说话的患者的生活。Edward Wang指出:“目前,由于瘫痪导致语言丢失的患者只能非常缓慢地拼写单词。但在许多情况下,产生流利语言所需的信息仍然存在于他们的大脑中。我们可以通过这项技术来支持他们将其表达出来。”