11月6日，2021腾讯科学WE大会正式举行。斯坦福大学教授Krishna V. Shenoy分享了脑机接口与意念手写相关的最新思考与研究。传统方法实现用“意念”打字是通过脑机接口技术，让瘫痪患者在脑中想象移动光标，从屏幕上的键盘选取字母，组成单词。Shenoy教授和团队另辟蹊径，让患者在脑中想象手写字母，收集神经数据对人工智能算法进行训练，让人工智能可以识别并提前预测患者想要打出的字母，这种方法比传统方法的打字速度快了一倍。演讲中，Shenoy教授分享了人脑与机脑交互的背景、现状和未来。
Shenoy教授表示，过去20年可植入治疗设备在全球得到了更好的普及，其他研究团队的成果也表明人工膝盖、人工关节甚至人工起搏器已经得到了广泛的应用，相信未来几十年与人脑的对接会是重点领域之一。人脑大约3磅重（约1.36kg），是神经科学的研究对象，而通过连接大脑去帮助瘫痪或有其它疾病或损伤的病人，有可能彻底改变整个医学体系。
一、背景介绍
目前有一些治疗系统可以向大脑输入信息：
- 人工视网膜：把一个微小的芯片，就像手机或电脑芯片一样，植入眼中。它会像镜头一样采集光线，然后将光信息转化为电刺激信号，输入人脑中负责视觉的部分并重建视力。
- 人工耳蜗：人工耳蜗可能是截至目前最成功且应用最广泛的神经假体技术，可以让先天性失聪患者学习说话。它的工作原理是通过刺激耳蜗周边不同的区域来重建听力。
- 深部脑刺激器：通过神经外科手术将这些几英寸长的电极植入大脑深层的一个叫做“苍白球”（the globus pallidus）的区域。这个像起搏器一样的装置会输出电流，电流会阻断该区域的异常神经活动，从而让帕金森病患者停止颤抖。
这些治疗装置都是通过向大脑传递信号电子能量光能量甚至电磁能量，来帮助病人。反向研究在癫痫的治疗上有所体现，不仅是向大脑输入信号，同时也读取大脑发出的信号。原理是将癫痫控制装置植入人脑，感知即将发生的高强度癫痫脑电波，然后做出决策去刺激大脑的另一个部分，从而阻止和避免癫痫的突然发作。
二、研究重点
必须搞懂的一个神经科学问题是，不同的信号是在人脑的什么部位被编码的以及如何被编码的。这涉及了人类精神生命的核心。当前Shenoy教授团队的研究重点就是读取大脑信号，比如大脑如何让肢体移动或者让人能够看到或听到。还有其它各个相关的领域，比如精神疾病和精神障碍等。全世界的瘫痪病人不计其数，Shenoy教授认为可以通过植入皮质内脑机接口来帮助他们。“皮质内”的意思就是在大脑皮层的内侧。大脑皮层是大脑外部的组织，人类的大脑皮层要远多于低等动物。而脑机接口的原理是，在某种程度上让脑信号与计算机信号互动。
图1：皮质内脑机接口侧视图
脑机接口可以用于控制义肢瘫痪的手臂以及计算机接口。正常人的控制流程如下：视网膜首先传递视觉信息到大脑后部，然后向前传送到运动皮质区，在此通过脊髓传递详细指令信号给手臂的肌肉。从而伸手去拿起那杯咖啡。
一种方法是芯片可以读取并使用这些信号，继续传递信号并刺激瘫痪手臂的不同肌肉，让手臂恢复活动功能。手臂可以拿起咖啡并送到嘴边饮用，也就是通过刺激瘫痪的手臂让其恢复活动功能。另一种方式是让机械手臂或义肢具有活动功能。使用者只需要想着去移动右臂，芯片读取这些信号并让机械手臂做出相应的动作。第三种是一种与电脑直接沟通的解决方案。该电极阵列中的每个电极4毫米见方，共有100个微型电极，每个长度1.5毫米。这组电极阵列就是该研究领域的核心，叫做犹他电极阵列（Utah Electrode Array），它可以植入人脑收集有用的信号，工作时间长达几年。该芯片通过手术植入到大脑表皮以下1.5-2毫米处，这些电极的末梢紧挨着个体细胞和神经元。观察其中一个电极，可以看到电压和时间脉冲。对此可以对义肢或电脑屏幕上的光标进行精确的控制。
图2：犹他电极阵列（Utah Electrode Array）
三、意念手写
Shenoy教授认为许多基础研究都来自于非灵长类动物，但一旦面对真实患者的诉求，想法就会转变。例如帮助丧失沟通能力的患者实现表达与交流。
图3：丧失沟通能力的患者每分钟可以表达出的单词数
图中展示的是通过使用现有的治疗装置，丧失沟通能力的患者每分钟可以表达出的单词数，比如吹吸气接口等，沿着轴线的许多点表示打字速度。例如使用者凭空想象去移动电脑屏幕上的光标并完成这个动作，最快打字速度可以达到每分钟8个单词；使用者尝试写字，解码这些字母并呈现出来，使用者的书写速度达到每分钟17-18个单词。而对于语言交流而言，目前的治疗系统可以收集来自大脑表层的信号，并从字典中成千上万的单词中按照顺序进行选择。Shenoy教授团队的目标是，了解个体神经元与说话之间存在怎样的关联，如何让人能够说出想说的任何单词，也就是所谓的“开放词汇”。
图4：脑机接口原理图
信号从电极装置发出，然后过滤一些噪音，对信号和绿色部分的解码模块的含义进行解读，然后这些信号用于控制这位T5志愿者面前的电脑的白色光标。最终测试得患者的打字速度约为每分钟32个正确的字母。
图5：T5志愿者键盘打字输入展示
四、近期成果
Shenoy教授团队的Frank Willard博士最近关于手写有一些研究成果。目的并不是要将笔迹完全重建，而是读取信号得到目标字母实现短语拼写。做法是将两组电极阵列放入皮质运动区中负责手和手指的区域，首先让患者写出字母“a”，然后依次写出其它一些字母。这期间收集神经数据，使用机器学习和人工智能算法对神经网络进行训练。这实际上是对大脑表达区域的解码。
图6：神经状态空间图
这是一个神经状态空间，可以通过分辨不同的集群解读信息。例如你想写“paper”这个字，会记录来自约200个神经元的每一个动作电位和电脉冲，就像这个小长方形展示的那样。在短短20毫秒内，可以读取信息，通过经过训练的神经网络和机器学习算法来解读这些信息。而结果就是判断出使用者想要打出哪个字母，是a、b还是c。
图7：机器学习与脑机接口结合
通过机器学习甚至可以对拼写进行修正，将这些信息与大脑发出的神经信息相结合，在词汇搜索过程中将两者相互比对，然后更正错误，就像是电脑一样中使用的拼写和语法检查功能一样。该模型使用者每分钟可以写出约90个字母，这比之前用屏幕光标打字的速度快了一倍多（当时每分钟可以打出约40个字母）。错误率在5%左右，正确率95%。当加入了语言模型之后，错误率从5%降低至0.5%，说明未来还有巨大的提升空间。
图8：T6志愿者实现意念打字
Shenoy教授相信能够解码大脑活动的皮质内脑机接口正在快速进步，它带来了全新的与人脑对接的神经接口或沟通桥梁。得益于神经科学和相关的机器学习与解码算法的进步，新的脑机接口可以很好地控制2D光标，可以将使用者的打字速度提高一倍以上。这些信号也可以用来控制机械手臂和瘫痪手臂的肌肉组织，最后这些全新的皮质内脑机接口可以将打字速度提高一倍多，而未来还有更多提升。
五、展望未来
人脑中约有860亿个神经元，目前只能记录其中的几百或几千个。但随着纳米科学和其它工程材料学的发展，在未来有能力对几百万个神经元进行记录。对此，可以通过新的方法刺激几千甚至几百万个神经元，不只是电流刺激，还可以通过“光遗传学”的光学方式进行刺激，最终研制出可植入人脑的超低功率治疗系统，治疗多种神经损伤和疾病。这些系统无需有形的电线，它们是微型的，植入大脑浅皮层，可以通过微电子和集成电路芯片产业的革命加以实现。
撰稿人：陈宗楠
3682
0
2021-11-21
2021-11-21
