脑机接口重大突破!意念手写字速度破纪录

脑机接口重大突破!意念手写字速度破纪录

        当一个人因受伤或疾病而四肢瘫痪,甚至不能说话时,只要大脑的神经活动仍然存在,科学家们就有能力帮助患者恢复交流能力。这不是科幻,最新的脑机接口(BCI)技术已经在这一方面实现突破,而且效率超乎想象。

        此前,脑机接口领域的一大研究焦点是恢复患者 " 运动技能 ",比如通过脑机接口操控机械臂抓取物品,或通过脑机接口移动电脑光标、点击字母输入等。

        近日,来自斯坦福大学的研究人员开辟了一条新路径,他们将人工智能(AI)软件与脑机接口设备结合,成功开发出一套全新的皮质内脑机接口系统,该系统利用大脑运动皮层的神经活动可解码 " 手写 " 笔迹,并使用递归神经网络(RNN)解码方法将笔迹实时翻译成文本,快速将患者对手写的想法转换为电脑屏幕上的文本。该项研究结果显示意念写字速度破纪录,写字速度能达到每分钟90个字符,原始准确率为94.1%。利用计算机通用自动校正功能,内容正确率进一步提高到99%以上。远超其他脑机接口的意念写字速度。

图1 通过脑机接口 " 手写输入 " 的示意图

图2 研究论文以封面形式发表在最新一期的《Nature》杂志上

        该研究论文的作者之一、斯坦福大学霍华德休斯医学研究所(HHMI)研究员克里希纳谢诺伊(Krishna Shenoy)表示,此次研究的最大的创新是首次破译了与手写笔记有关的大脑信号,可以让瘫痪患者不用手也能快速打字。他与斯坦福神经外科医生杰米亨德森(Jaimie Henderson)共同参与了这项研究,论文的第一作者则是同样来自 HHMI 的科学家弗兰克威利特(Frank Willett)博士。

        加州大学伯克利分校的神经工程师何塞卡梅纳(Jose Carmena)虽然并未参与这项研究,但他认为,这项技术有潜力帮助各种残疾人,尽管研究结果是初步的,但“这是该领域的一大进步。”

         之前的研究已经实现了利用脑机接口控制计算机光标进行点选式打字,只是打字速度十分受限,每分钟最多40个字符左右。

        据研究人员表示,该项研究是 BrainGate脑机接口项目临床试验的一部分,该项目旨在帮助那些失去肢体的人,比如患有肌萎缩性侧索硬化症(ALS)或脊髓损伤的患者等。

        实验中有一位“T5”的参与者,在2007年由于脊髓损伤几乎失去了颈部以下的所有活动能力,手部动作只有抽搐和微动。

        在实验中,研究人员在 T5 的左侧大脑植入了两个脑机接口芯片,每一个芯片都有100个电极,负责接收运动皮层神经元发出的生物电信号,运动皮层是控制手部运动的区域,这些神经信号通过电线发送到计算机,利用RNN解码信号并预测参与者T5的手部和手指的预期运动。

图3 植入大脑的微型电极阵列

        大多数关于人类如何使用工具的大脑机制的研究都集中在人们看到工具或手的图像时记录的大脑活动,而不是在人们使用工具进行实际手部运动时的大脑活动。在使用工具时记录大脑活动具有非常大的挑战性,因为核磁共振成像(MRI)扫描仪内部的空间很小,参与者需要保持静止不动。

        在2017年的研究中,三名肢体瘫痪的参与者(包括T5)[均将BCI置于运动皮层中]被要求专注于使用手臂和手在计算机屏幕上将光标从一个键移动到另一个键键盘显示,然后专注于单击该键。

图4 受试者试图意念写字的活动实验

        在这项研究中,T5创造了迄今为止的最高记录:以每分钟40个字符的显示出句子。另一名研究参与者能够以每分钟24.4个字符的速度随意选择她想写的词。

        在随后的多个小时的测试中,向T5展示了几组句子,并指示他们在大脑中以“手写”每个句子。随着时间的流逝,这些算法提高了它们区分具有典型特征的神经放电模式的能力。在大约半秒钟的延迟之后,计算机屏幕上出现了算法对T5尝试写的任何字母的解码结果。

        为了评估手写的神经表征,参与者 T5 需要按照电脑屏幕给出的指令,一次 “手写”一个字符,每个字母重复 27 次试验。

图5 受试者的 “手写” 笔迹

        基于该项研究结果,研究人员希望脑机接口的新方法最终可以帮助瘫痪患者进行交流。不过由于该项脑机接口需要在患者脑部植入电极,该技术在临床应用前,其安全性和效果仍需进一步验证。另一个问题是,这项研究目前主要针对拉丁字母的书写进行解码,如何扩展这一方法将其应用到其他语言。

        美国国立卫生研究院脑科学计划(NIH BRAIN Initiative)主任约翰恩盖(John Ngai)博士表示:"这项研究代表了 BCI 和机器学习技术发展的重要里程碑,相关研究正在揭示人脑如何控制像通讯这样复杂的过程,为改善神经损伤和瘫痪者的生活提供了重要基础。"

        尽管仍有许多工作要做,这项研究拓宽了BCI应用的范围,堪称里程碑。


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: