5月31日，上海交通大学计算机科学与工程系教授、清源研究院院长吕宝粮教授在2021北京智源大会上作“情感脑机接口的现状与展望”的主题报告，从情感脑机接口定义、情感脑机接口的基本特性基础算法以及基于情感脑机接口的抑郁症客观评估与治疗等几个方面展开了介绍，重点介绍了情感机器人的发展现状以及面临的挑战和可能的解决方法。

       报告开始，吕宝粮教授介绍了脑机接口的分类方式，按照起作用的方式可以将脑机接口分为主动式、反应式、被动式三个类别，若按传感器分类，则可分为侵入式脑机接口与非侵入式脑机接口，前者通过将传感器植入大脑实现，往往作用于病人，后者是通过可穿戴设备来实现，能够被更多的人所接受。

       随后吕宝粮教授介绍了《科学》2012年度十大科学突破之一，匹斯堡大学与布朗大学在脑机接口领域取得了前所未有的突破，即使得瘫痪病人能够通过意念来控制机械臂，并且能够让机械臂从事复杂的三维运动。同时，吕宝粮教授指出了情感脑机接口的基本概念，即对人的情绪进行识别或者调控的脑-机接口。

图1：脑机接口技术的突破

       吕宝粮教授在情绪的时空范围和在神经系统中的表征中指出，情绪状态变化并非大家所想象的那样快，而是在时间上以秒为单位，并且情绪在神经回路里面也不是非常小的存在，而是在大脑神经系统里是处于系统层面。理论上讲，情绪状态难于精确表征，真正的情绪往往需要从多种数据中推测出来。

       2020年4月，德国马普索研究团队做了一件非常有意义的事，过去我们在解读动物面部表情时，只是能够比较容易的解读害怕这个情绪，而他们利用某种方式更快速地解读了小鼠的六种面部表情：愉悦、厌恶、疼痛、害怕、恶心和逃离。吕宝粮教授认为这是一个神经科学与计算机视觉技术的完美碰撞，是一个较大的突破。

图2：马普所研究团队在《科学》杂志上发表重要论文

紧接着，吕宝粮指出了智能机器人需要情绪这一看法。显然，为了能够将人性化智能引入我们日常生活中，未来服务机器人必须具有能够与人进行情感交互的能力。他认为这是情感与学习、认知、决策、行为紧密耦合，而不是说情感功能只是作为机器人的一个功能模块，并且指出这是当下非常有意义的研究课题之一，现在任何一个深度学习模型离这个机制还非常遥远，需要我们去认真探索实践。

图3： 吕宝粮教授认为未来服务机器人必须具有与人进行交互的能力

       《科学美国人》关于人类未来的20个大问题中提出了我们是否能够利用穿戴技术来探测自己的情绪，对于这个问题，MIT媒体实验室情感计算研究团队Picard教授给出了这样的回答：在未来十年，可穿戴设备可以为我们提供个性化的预报，比如基于用户最近的压力，睡眠等因素给出相应的建议及措施，使得我们的健康和幸福指数在未来一周内提高80%。在未来20年，可穿戴设备和从其获得的分析数据，能显著降低精神和神经疾病的发病几率。

       之后，吕宝粮教授对情感脑机接口和运动脑接口进行了简单的对比，他指出在情感脑机接口中，大脑是一个装置，解码器和反馈控制器构成控制器，并且情感脑机接口是一个闭环系统，因为他必须对状态进行估计、对大脑进行调控，这是情感脑机接口与运动脑机接口的最大区别。

图4： 运动脑机接口与情感脑机接口

       吕宝粮教授介绍了多模态情绪识别，多模态情绪混合的意义就在于通过不同模态之间的情绪信息互补，融合各模态潜在的共享信息，进而提升情绪识别任务的有效性。脑电与眼动信号融合的情绪识别框架证实了多模态混合可以显著提高情绪识别的准确率，原理是脑电信号在识别高兴情绪优于眼动信号，而对于中性和悲伤，眼动信号又比脑电信号具有更高的识别率，两者信息互补达到提高准确率的目的。

图5：多模态（脑电与眼动信号融合）方式能显著提升情绪识别的准确率

       在报告的后半部分，吕宝粮教授介绍了基于情感脑机接口的抑郁症客观评估与治疗，主要分为如下几个方面：脑深部电刺激（Deep Brain Stimulation，DBS）、当前抑郁症评估方式、基于多模态情感脑机接口的难治抑郁症的评估与治疗以及对未来抑郁症客观评估与治疗的展望。

DBS通过手术，将电极植入大脑的特点区域，通过导线与外界电池进行连接。信号发生器能够使用不同模式、不同强度、不同持续时间的脉冲刺激对大脑调节。现DBS逐渐被用于治疗包括抑郁症在内的精神障碍疾病。

当前抑郁症的评估往往是通过量表实现，但这种方式过于主观定性，这样的代价是非常大的。我们需要将医生的经验和量表转换成情感交互实验，采用多模态融合的思想，记录脑电、眼动、语音、触觉等数据来进行融合。吕宝粮教授认为未来抑郁症的客观评估系统将集成为一个情感机器人。

图6：多模态情感脑机接口的难治抑郁症的评估与治疗

       之后，吕宝粮教授提出了4点对未来抑郁症客观评估与治疗的展望，即：

1）实现DBS难治性抑郁症治疗的参数个性化与忧化、提高疗效

2）探寻客观评估抑郁症的多模态生物标记物

3）多模态情感脑机接口抑郁症客观评估系统的临床应用

4）从量表和医生为金标准迈向客观指标为金标准（终极目标）

在报告最后，吕宝粮教授对未来智能机器人的发展提出了一个坚定的想法，即机器将具有像人一样的情感，而不是仅仅只具有逻辑智能。不同于工业生产线及其他逻辑智能机器人，未来的服务机器人必须具有与人类交互的能力，因此也必须具有情感智能。只有当情感融入到机器当中，才能够创造出更多的人性化智能服务。

吕宝粮，上海交通大学计算机科学与工程系长聘教授、博士生导师、IEEE Fellow。现任上海交通大学计算机科学与工程系仿脑计算与机器智能研究中心主任、上海交通大学智能交互与认知工程上海高校重点实验室主任、上海交通大学清源研究院执行院长、上海交通大学附属瑞金医院脑机接口与神经调控中心共同主任、上海交通大学附属瑞金医院脑病中心-米哈游联合实验室主任。1982年2月本科毕业于青岛科技大学化工自动化仪表专业，1989年在西北工业大学计算机科学与技术系获硕士学位，1994年获日本京都大学工学博士学位，1994年至1999年在日本理化学研究所仿生物控制研究中心任研究员，1999年至2002年在日本理化学研究所脑科学综合研究中心任研究员，2002年至今任上海交通大学计算机科学与工程系教授。目前担任亚太神经网络学会理事、IEEE Transaction on Cognitive and Developmental Systems、Journal of Neural Engineering、《模式识别与人工智能》和《智能科学与技术学报》编委。荣获2018 IEEE Transactions on Autonomous Mental Development 最佳论文奖和2020年度吴文俊人工智能自然科学一等奖，入选爱思维尔2020“中国高被引学者”。主要研究领域包括仿脑计算理论与模型、神经网络、深度学习、情感智能与情感脑机接口。

撰稿人：方伟杰