脑机接口能做什么?带上电极帽,你可以在实验室中用意念控制无人机飞行;在大脑皮层中植入电极,瘫痪病人能够用意念控制机械手臂来喝水。无论是侵入性的还是非侵入性的脑机接口,都试图将人脑与机器连接起来。过去几十年中,脑机接口技术稳步发展,一步步从科幻走向现实,也开始从实验室走向生活。2019年7月,埃隆·马斯克旗下 Neuralink 公司发布了一款缝纫机式的外科机器人,它可以在头骨上打洞,并将3072个微电极置入大脑皮层,使得人们有望更准确地解读自己在想什么。
最近,《国家科学评论》(National Science Review,NSR) 采访了卡耐基梅隆大学生物医学工程系主任贺斌。贺斌是非侵入性脑机接口领域的优秀科学家,2013年,他的研究团队利用非侵入性脑机接口技术,实现了意念控制无人机飞行并跨越障碍,2019年,他的团队又实现了意念控制下机械臂对运动光标的连续追踪。在这次访谈中,贺斌谈到了脑机接口技术的历史与未来应用方向,并着重介绍了非侵入性脑机接口相关的机遇与挑战。
卡耐基梅隆大学生物医学工程系主任贺斌教授(照片由贺斌教授提供)
脑机接口的历史和未来
NSR:如果要向普通人介绍脑机接口技术,您会怎么介绍?
贺斌: 我认为脑机接口包含两个方面。第一方面是现在大众比较感兴趣的:我们可以检测人的大脑信号,破译其中的含义,再用这个含义去控制机器,这里所说的机器可以是机械臂、无人机、电脑等等。另一个方面:我们可以把电、磁、声等信号传入大脑,来刺激或者调控神经回路的活动,而不只是被动地检测大脑信号,目前,这种神经调节技术主要用于疾病治疗。
NSR:脑机接口技术的发展历史上有哪些重要事件?
贺斌:脑机接口 (brain-computer interface,BCI) 这个概念是Jacques Vidal 在20世纪70年代提出的。这之后的一个重大进展是,科学家可以通过脑电信号,以非侵入性的方式用意念控制屏幕上的光标进行一维运动。这一成就引起了科学界和公众的极大兴趣。各国政府和资助机构也愿意投资这一个研究领域。在《美国国家科学院院刊》2004年的一篇论文中,Jonathan Wolpaw和他的同事为非侵入性脑机接口带来了另一个突破,他们可以控制光标向二维方向运动,而不是过去的一维移动。后来,包括我的团队在内,许多非侵入性脑机接口领域的实验室开始尝试控制实物做更复杂的三维运动,包括无人机、机械臂等,而不仅仅是计算机光标的移动。
在侵入性脑机接口领域,杜克大学的 Miguel Nicolelis 团队早期在猴子的脑中植入电极,来控制电脑光标的运动。后来匹兹堡大学的Andrew Schwartz 及其同事也在猴子和人身上演示了如何控制虚拟光标和物理机械手臂。如今,布朗大学、斯坦福大学、伯克利大学、卡耐基梅隆大学、加州理工学院等许多高校的研究者都开始进行侵入性脑机接口的研究,并取得了很多新进展。
现在,侵入性脑机接口领域还有一个新的方向,就是双向脑机接口,在机械臂触碰到物体后,传感器通过电信号刺激体感皮层,将这些信息反馈给大脑,让受试者感觉到自己触碰到了物体,而不仅仅只能通过观察来了解控制的结果。
NSR:您自己是怎么进入脑机接口领域的?
贺斌: 我最初的研究方向是神经成像。大约20年前,我在伊利诺伊大学工作期间对脑机接口领域产生了兴趣。那时候人们对于脑机接口这项新兴技术的可行性和发展前景充满了怀疑,不少人都不完全相信这一领域能够得到发展。作为一个科学家,我想与其这样等待其他实验室的实验成果,还不如我自己去探索一下。于是我开始在自己的实验室做相关的工作,并且越做越觉得它很有趣。所以后来我从伊利诺伊大学到明尼苏达大学,两年前又到卡耐基梅隆,一直都在做这个方向。当然,除了受好奇心的驱使,我也希望看到脑机接口技术能够造福更多的患者,提高他们的生活质量。我想大部分的脑机接口研究人员都有这样的期望。
NSR:您在自己身上用过脑机接口吗?
贺斌: 没有。我知道有不少科学家会在自己身上做实验,但是我从来都不当自己实验的受试者,这样我就不会受到主观偏见的影响。我不能肯定这样做是不是对的,但我确实没有做过任何一个实验的受试者。
非侵入性BCI:不仅仅是一个“粗糙的黑盒”
NSR:基于脑电的非侵入性脑机接口接收和解析的是什么样的神经信号?
贺斌:非侵入性脑机接口可以分为两大类,一类是基于运动想象的,我们让受试者想象自身肢体的运动,接收并且解析他的脑电信号,最终的结果是,当受试者在头脑中想象机械臂或者无人机的运动时,外接设备就会随之运动。2004年Wolpaw关于光标二维移动的研究,以及我自己实验室的工作都属于这一类。另一类是基于事件相关电位 (Event-related potential,ERP) 的,研究者测量并解析ERP,以此来驱动机器。可供测量的ERP有很多种,比如P300、稳态视觉诱发电位 (SSVEP) 、听觉诱发电位 (AEP) 等等。
NSR:非侵入性脑机接口的精确度和侵入性脑机接口相比,是否要差一些?
贺斌: 没错,在精确性和直观性方面,非侵入性脑机接口还是不能与侵入性脑机接口相提并论的。人类大脑中有大概上千亿个神经元,如果你想用一个神经元来记录脑电图是不可能的。但是我认为可以从另一个角度来理解这个问题,大脑的功能性活动是神经元网络中许许多多神经元共同参与的结果,往往涉及大量神经元的同步活动,而这种同步活动是能够被脑电技术测量到的。所以,一方面,你可以说脑电无法测量单个神经元或者少数几个神经元的活动,另一方面,你也可以说它把单个神经元的活动过滤掉了,只留下神经元群体有意义的同步活动。从这个意义上讲,脑电测量、脑磁测量等非侵入性手段有缺点也有优点,它们对于大脑功能的掌握是有独特意义的。
而且,在实际应用方面,侵入性的技术很难广泛应用在普通人群中,即便是在患者当中应用,也会面临很多问题。所以非侵入性在应用方面有优势,包括美国国立卫生研究院(NIH)在内的很多机构也越来越认可非侵入性技术。现在脑机接口的研究相当热门,做侵入性和非侵入性的实验室都比较多。
NSR:做非侵入性的实验室会比做侵入性的更多吗?
贺斌: 应该是更多的,因为做非侵入性的入门门槛相对较低。做实验的话,你只需要一个电极帽,一套脑电测量装置。如果不做实验只做算法,那就更加容易了。因为脑电领域有一个非常好的传统,很多实验室,包括我的实验室都会把自己的脑电测量数据向全世界公开。这样,全世界任何地方的研究生都可以下载这些数据,利用这些数据去做分析,去开发新的更好的算法。
NSR:深度学习对于脑电信号的解析很有帮助。但是与此同时,脑电解析的过程是不是也变成了一个黑盒?我们是否不需要理解测量到的信号是从大脑的什么位置发出的,不需要了解信号的实际意义,只要用深度学习算法去做计算就可以了?
贺斌: 深度学习的发展确实对大脑数据的解析很有帮助。尤其是在我们很难把脑电信号和单一神经元的活动对应起来的情况下,这样的算法非常有价值。我认为下一代的科学家应该把机器学习作为基本技能来掌握。
但是脑电解析的过程也不仅仅是一个黑匣子,我们也在努力解析其中的信息,找到大脑活动与脑电信号之间的对应关系。现在的源定位(source localization)和源成像(source imaging)技术,可以把脑电信号定位到大脑皮层的特定位置上,分辨率最高能达到5毫米左右,尽管5毫米的范围内还是包含了非常多的神经元,但是和20年前相比,这样的成就已经是不可想象的,并且也已经能为临床提供一定的支持。我们还可以把神经刺激和神经成像结合起来,在对大脑施加刺激之后去做成像和测量,就能够知道大脑在刺激之下会做出什么反应,发出哪些信号。
NSR:在硬件方面,非侵入性脑机接口的信号获取方式有大的进展吗?
贺斌: 过去几年中,头皮电极没有太大的发展。实验室中,我们使用不是很美观的电极帽。现在有些创新公司开发出了看上去非常漂亮的头环产品,但是其中也没有什么新的技术,只是做了一些设计上的改进,让消费者更容易接受。和软件、计算方法上的进步相比,硬件上确实没有根本性的变化。
贺斌(左一)和学生们进行脑电控制机械臂的实验(照片由贺斌教授提供)
双向脑机接口:调控大脑
NSR:您刚刚有讲到双向脑机接口,可以向大脑反馈触觉信息,再来指导输出,形成一个闭环,这方面的研究情况如何?
贺斌: 在侵入性脑机接口领域,这是最近的一个研究热点,许多实验室都有相关的研究。侵入性脑机接口直接作用于大脑皮层,所以可以比较方便地向大脑反馈信号。非侵入性脑机接口的研究者也想实现类似的目标,但是相对来讲并不容易,因为在新的非侵入性神经刺激技术诞生之前,我们很难用可穿戴装备来直接刺激特定的大脑区域。
NSR:广义上来讲,现在已经在医疗上有所应用的大脑刺激方法,应该也属于反向的脑机接口?
贺斌:对,广义上来讲脑深部电刺激(Deep Brain Stimulation,DBS)也可以算是脑机接口的一部分。谈到这里,我想介绍我自己实验室正在做的一个方向。以往的大脑刺激疗法大多是用电或者磁的刺激,但是这里有一个限制。根据泊松方程和麦克斯韦方程,由于存在容积传导问题,电刺激和磁刺激很难完全聚焦;但是超声没有这个问题,它可以非常聚焦地打在大脑中的特定位置上,并且同样可以到达深脑,因此我们在尝试用非侵入性的方法,用超声信号刺激大脑,达到调控或治疗的效果.如果最终能够研发出产品,即使超声刺激的效果可能比不上DBS,但它可以成为一种非侵入性的临床选择。
NSR:现在似乎已经有用超声做大脑损伤的医疗仪器,你们想做的是更精确的调控,而不是直接破坏大脑?
贺斌: 对,是这样。现在不只是我的实验室,好几个国家的不少实验室也在研究低强度聚焦超声神经调节这一方向。我个人认为这是很有前景的一个方向。
脑机接口与神经科学
NSR:脑机接口和神经科学都以大脑为研究对象,但是在非侵入性脑机接口方面,神经科学能够做出的贡献似乎有限?
贺斌:相对来讲,侵入性脑机接口和神经科学之间的联系会更加紧密一些,因为它们都要对神经元和大脑做比较细致的操作,二者之间有很多共享的实验技术手段。但我想对于整个脑机接口技术的长期发展来说,神经科学、计算机科学、材料科学等等都是不可或缺的。
NSR:在脑机接口领域,非人灵长类动物的应用情况如何?在应用于人类之前,是否需要在猴子上做实验?
贺斌: 在用意识操纵机器方面,侵入性脑机接口的研究者首先会在猴子身上做实验,然后再将电极植入人类大脑。但是对于非侵入性BCI,大多数行为实验都是直接在人身上进行的,在猴子身上做这样的实验反而并不容易,因为猴子很难配合实验操作,要给它戴上电极帽,让它理解你的实验目的并配合实验都不容易。我在明尼苏达大学的时候做过类似的尝试,确实很难。
当然如果我们要做反向的脑机接口,用外界信号调控大脑,从动物实验(包括但不限于猴子)开始是很自然的选择。
展望:脑机接口的发展方向
NSR:脑机接口领域中,将会产生突破的重点研究方向是什么?
贺斌: 在侵入性脑机接口领域,双向脑机接口是许多实验室目前的研究重点。作为旁观者,我认为这是可能在5到10年内产生重要成果的方向。
在非侵入性方面,脑电信号的分析方法一定还会提高。此外,我认为我们不能只做计算,实验是非常重要的,你必须通过推进实验来推进这个领域,而不仅仅是推进算法。
要做出真正造福人类的技术和产品,我们还需要更多年轻研究人员进入脑机接口领域。这是一个多学科的领域,无论侵入性还是非侵入性,我们都需要神经科学、工程学, 计算科学、材料科学等各个学科背景的人才。
NSR:中国脑机接口领域的研究进展如何?
贺斌:中国在脑机接口领域的研究者也很多,并取得了许多不错的成果。其中做得比较有特色的,一是清华大学的团队,他们开发了用于非侵入性脑机接口的新型SSVEP(稳态视觉诱发电位)范式;二是浙江大学的团队,他们在入侵BCI方面开展了大量的研究工作。
20年内,脑机接口走进患者生活?
NSR:现在有很多创新公司和投资人都关注脑机接口领域,您也创办了自己的公司吗?
贺斌:我还是对基础实验室研究比较感兴趣,并且承担了很多其他的责任,所以我自己更关注的是基础实验室的研究。我不敢说将来会怎样,但是目前我还没有成立公司或者积极投身于脑机接口的商业化应用。
NSR:您觉得埃隆·马斯克Neuralink公司的技术有前景吗?
贺斌: 如果新闻报道准确的话,我认为 Neuralink 在技术上是一个重大的突破,和目前实验室中相比,它的技术水平前进了一大步。在未来,这种技术是可能应用在癫痫病人等患者身上的。对于这些必须接受手术治疗的患者,与现有技术相比,Neuralink 的技术可能成为更优秀的选择。但我还是认为,在普通大众身上,侵入性的技术是很难推广的,不管电极多细。非侵入性的脑机接口技术会有更大应用前景。
NSR:在脑机接口的实际应用中,还会遇到一些伦理上的问题。
贺斌:没错,现在在美国已经有很多关于脑机接口伦理问题的讨论。一方面,如果要对人脑进行神经调控,一定会面临隐私等伦理问题。另一方面,所有针对大脑的侵入性技术都面临伦理问题,如何评价它对人体的危害,在什么情况下才能将侵入性手段用于人体,都是需要进一步讨论的。
NSR:您觉得在20年后,脑机接口会在哪些方面实际改变人们的生活?
贺斌: 在脑机接口领域,基本上每5年就会有一个比较大的进展。20年后,我认为最主要的应用应该还是在医学领域,到那时,脑控的假肢、轮椅和机械手都可能已经走进残疾或瘫痪病人的生活。利用这些脑机接口设备,他们不依赖他人就可以自由行动、进食和自己控制外部设备等等。现在,这一类设备的原型机已经在实验室中出现,但是要把这些技术变得更加可靠、更加稳定,但还需要一段时间才能够真正运用到实际生活中。可喜的是,目前许多科学家、政府和私人投资都愿意支持脑机接口领域,所以我认为20年内脑机接口技术进入日常生活的可能性还是很高的。
当然,我们不可能用脑机接口去做所有的事情,正常人可以用脑控设备提高生活质量,但是不需要用机械臂来吃饭。只有那些我们用其他方法不容易实现,但是可以通过脑机接口用意念控制来实现的事情,才是最适合脑机接口产品发展的方向。在脑机接口产业发展的过程中,社会期望和实际产品效果之间会有一个磨合的过程,最后达到平衡。
NSR执行主编蒲慕明参与了访谈。
本文英文原文于2019年10月12日在线发表于《国家科学评论》(National Science Review,NSR ),原标题为“Progress in the brain–computer interface: an interview with Bin He”。NSR是科学出版社旗下期刊,与牛津大学出版社联合出版。
英文原文链接:https://academic.oup.com/nsr/article/7/2/480/5586180# 2 00849891