2020年12月19日，第二届智慧医疗与康复大会暨第五届脑机接口论坛在江苏省昆山举行。大会指导单位为中国生物医学工程学会、中国电子学会，由华东理工大学信息科学与工程学院、西安交通大学人工智能学院、智能医学工程教育部工程研究中心、上海脑科学与类脑研究中心等单位主办。国防科技大学周宗潭教授在脑机交互与控制分会场作“基于机器人操作系统（ROS）的脑机接口实现”的学术报告。

图1  “基于机器人操作系统（ROS）的脑机接口实现”学术汇报

图2  第五届脑机接口论坛——脑机交互与控制大会演讲题目

 在脑机交互与控制大会上，国防科技大学胡德文教授、清华大学高小榕教授以及复旦大学王守岩教授讲述脑机接口理论科学研究的最新进展和面临的挑战，是为学术研究中的“学”。作为最后一位演讲者，周教授则以学术研究中的“术”为核心，从动机（构建脑机接口综合应用平台）、动手（设计脑机接口机器人操作系统）、动起来（设计集成多技术的康复车）三个方面进行脑机接口实现的报告。

    1. 动机——构建脑机接口综合平台

图3  脑机接口系统存在的问题

        针对目前脑机接口系统存在的三个问题：系统集成有限、运行效率低、使用方便性差，周教授构建了一套脑机接口综合应用平台，通过脑电信号控制康复车运动导航和车上集成机械臂抓取物体，实现了残疾人“去想去的地方，做想做的事”的最低要求。该系统将人的判断、决策和规划能力与推荐算法结合，融入脑机接口中以提高系统工作效率，实现了人类智慧与机器智能的融合。同时，对传统BCI系统接触式测量不便的问题，提出以脑磁为代表的非接触式神经活动信号测量的方案。

图4  脑控康复车抓取物体

    2. 动手——设计脑机接口机器人操作系统

         脑机接口机器人操作系统（BCIROS）由脑机接口（BCI）软件框架和机器人操作系统（ROS）两个部分构成。在软件框架方面，现有的脑机接口软件框架主要有BCI2000、OpenVibe、Tobi、BCILab和XBCI等，其中行业内使用最多的是BCI2000。BCI2000框架中各个模块间的采用TCP的方式通信，支持跨平台部署，并且可以使用C++、Python等多种程序设计语言进行开发。但其软件框架与应用分离，无法实现BCI系统与其他系统的深度融合，且软件平台封闭，所使用的私有协议使得扩展开发困难。ROS是用于编写机器人软件程序的一种高度灵活性软件架构，它提供了广泛的库文件实现以机动性、操作控制、感知为主的机器人功能。依托强大的社区，ROS提供了一套“一站式”的方法使得用户得以搜索并使用来自全球开发者数以千计的ROS程序包，其中就包括脑机接口相关程序包。ROS中虚拟仿真平台gazebo，能够通过相关的机器人模型和场景建模，与BCI系统连接实现BCI控制仿真实验。  

图5  脑机接口软件框架

图6  机器人操作系统（ROS）

图7  gazebo对机器人模型和室内场景建模

        周教授团队在ROS最小化系统roscore的基础上，开发集成脑电信号源采集、存储、可视化与信号分析模块的BCI软件框架。设计包含主控逻辑和控制状态的切换的有限状态机，用于实现人机交互和机器人控制功能。并通过SSVEP控制ROS中虚拟小乌龟实体的实验，验证了该系统的可行性。

图8  脑机接口机器人操作系统架构图

图9  SSVEP控制ROS系统下的虚拟目标——小乌龟

    3. 动起来——设计集成多项技术的康复车

1. （1）设计小型化脑电采集模块

        周教授基于国产芯片ESP32设计了一套小型化、低成本（200元左右）的脑电信号采集模块，集成便携式脑电信号模块与干式电极帽，实现了“即戴即用”的脑电信号采集。

1. （2）实现脑控康复车

        康复车的主要硬件构成是集成全向轮的底盘、机械臂和深度摄像头。软件部分由主控制系统、基于图像点云的视觉感知系统和目标规划和导航系统构成，其中涉及到环境理解（YOLO）、目标定位（Kinect）和用户辅助决策(基于历史信息的贝叶斯推荐系统)等功能。

图10  脑控康复车系统构成

图11  脑控康复车功能

1. （3）康复车实地测试

        康复车在湖南长沙湘雅医院进行了实地测试，选择10个高位截瘫的患者，操控康复车到达指定的位置，使用机械臂完成的喝水动作，实验中，10名患者都能成功地通过康复车完成该任务。

图12  高位截瘫患者控制康复车完成喝水任务

        报告的最后，周教授表示BCI技术与ROS的结合将有助提高残疾人的生活水平，未来更多新技术的集成，将会使得脑机接口机器人操作系统更加完善，并产生更加广阔的应用前景。

周宗潭，国防科学技术大学智能科学院教授、博士生导师。主要从事模式识别与智能系统，脑科学与认知科学，脑机接口方面的研究工作。在Brain, NeuroImage, IEEE T. PAMI, JNE等杂志上发表SCI论文30多篇；获得国家发明和国防专利授权6项；参编专著3本，译著1本。在国际脑机接口竞赛和国际视觉竞赛中多次获得优异成绩。获国家自然科学二等奖、教育部自然科学一等奖、省部级科技进步一等奖1项，二等奖2项，入选教育部新世纪人才支持计划。主持和完成国家科学基金重点项目2项、面上项目1项， 973子项目1项，863项目1项。

撰稿人：王帆

参考链接：

1.  http://daxue.cn-healthcare.com/detail/2019

2. https://baike.baidu.com/item/ros/4710560