本篇学习报告基于期刊Computer Methods and Programs in Biomedicine（中科院二区，IF：6.1）于2022年9月发表的文章 “A novel online BCI system using speech imagery and ear-EEG for home appliances control”，作者是来自韩国科学技术院的Netiwit Kaogoen, Jaehoon Choi, Sungho Jo。这篇论文提出了一种通过脑机接口与家用电器进行交互的新方法——即通过使用定制的可穿戴BCI耳机，获取用户耳朵周围在语音想象时产生的脑电信号，从而使用户在不发出声音的情况下发出一些简单指令控制家用电器。

一、背景

        脑机接口（BCI）记录大脑活动并将其转化为数字信号，充当人脑和外部设备之间联系的网关，使用户能够通过思想实现与外界交流或控制外部环境，大多数脑机接口依赖于执行特定脑力任务时从用户那里获取的大脑活动。

        与运动想象（MI）类似，语音想象（Speech Imagery, SI）是BCI研究中一种相对较新的范式。SI范式需要用户想象说出特定的单词，而实际上并不发出任何声音。相较于BCI的其他范式，SI识别过程对大多数人来说更加直观，这就使得基于SI的BCI更易于使用。它可以直接选择语音命令，例如用户可以想象单词“power”来打开电视。

        耳脑电图（ear-EEG）是脑电图（EEG）的其中一种，由于用户耳朵周围（和内部）的皮肤没有被毛发覆盖，因此能够更好地实现电极与用户皮肤之间的接触。通过大量实验数据对比，传统的头皮脑电图（32通道）和耳脑电图（6通道）性能没有显著差异，表明耳脑电图技术可以用来采集基于SI的脑机接口系统的脑电图。可穿戴耳脑电设备因其无线连接、使用便捷等优点，可以用来采集耳脑电图。提供商业级可穿戴脑电图耳机的公司包括NeuroSky（MindWave耳机）、Emotiv（提供各种类型的脑电图耳机）和InteraXon（Muse头带）。

        考虑到SI范式和耳脑电采集方法的优点，本文提出了一种结合SI和可穿戴耳脑电设备的新型BCI系统。该系统具有可用于控制的可穿戴耳脑电设备，通过离线和在线方式的实验进行评估。

二、系统概述

        本文中提出的基于SI的BCI系统为用户提供了三种不同的控制电视的方式，用户可以更改频道（左侧圆圈，执行单词“next”和“back”）、更改音量（右侧圆圈，执行单词“up”和“down”）以及打开和关闭电视（底部圆圈，执行单词“power”），系统使用流程如图1。

图 1 基于SI的BCI系统使用流程图

        该系统使用定制的可穿戴耳脑电耳机采集脑电数据，如图2。耳机的右耳包含锂离子充电电池（3000mAh，连续记录脑电图至少持续八小时）、充电器、开关和Open BCI的Cyton生物传感板用作脑电图采集板。耳机重量约为400克，通过蓝牙无线连接到计算机，采样率为250Hz。

图 2 可穿戴耳脑电耳机

        可穿戴耳脑电耳机在用户耳朵周围的八个通道中监测脑电图，如图3。该系统将位于左耳周围的四个声道从上到下命名为L1、L2、L3和L4，将右耳周围的其他四个声道命名为R1、R2、R3和R4。参考（REF）和接地（GND）电极分别位于R4和L4通道下方。

图 3 可穿戴耳脑电耳机电极分布示意图

三、方法与实验

1.实验I：训练

        实验I中需要用户完成5个SI任务，以系统分类的准确率作为系统的评分标准。在每项SI任务开始之前，参与者会被告知需要想象的单词及其代表的操作， “power”一词的任务将打开和关闭模拟电视，“up”和“down”一词将改变电视的音量，“next”和“back”一词将改变电视频道。根据指令提示，受试者被告知要看电视图像的某一侧（“power”：底部，“up”和“down”：右边，“next”和“back”：左边）。每个任务有10个trial，每个SI任务需要执行5次，每个trial之间有2.5秒的过渡时间，静息脑电图数据通过在空白屏幕上向受试者显示12秒的十字来收集的，实验I过程如图4。

图 4 实验I过程示意图

2.数据处理与分类

        数据预处理及建立分类模型的过程如图5。对实验I得到的数据进行预处理，并将带通滤波到多个频段，然后应用CSP算法对每个频段的数据进行空间独立滤波。随后，根据得到的脑电图数据计算协方差矩阵，并根据其黎曼几何投影到相应的切线空间中。最后，从变换后的协方差矩阵构造特征向量，并使用MLELM模型进行分类，以给出控制目标的输出命令。

图 5 该系统数据处理及分类过程示意图

a) 数据预处理

        首先施加一个60Hz陷波滤波器，以消除线路噪声。然后，将脑电信号分离到位于不同频率范围内的多个时间序列中。作者经过先前实验得出结论，较高频率范围的特征是SI任务分类中最重要的特征。本工作使用了7个15Hz至120Hz的四阶Butterworth带通滤波器，增量步长和带宽为15Hz。将耳脑电图数据分割成1.5秒的脑电图周期，并用相应的类别进行标记。最后将CSP算法应用于预处理的脑电图样本，对数据进行空间过滤。

b) 特征提取

        将一个脑电图样本过滤到7个频段，然后将每个频段的脑电图周期切成3个重叠的窗口。因此，计算每个脑电图窗口的协方差矩阵及其切线空间向量，从而为一个脑电图样本计算出总共21个（7个频段×3个脑电图窗口）切线空间向量。由于EEG通道（CH）的数量为8个，因此切线空间向量中的特征数量为36个（m=CH*(CH+1)/2)。然后，通过连接所有21个切线空间向量来构建表示EEG纪元的最终特征向量，得出总特征数为756（21个切线空间向量×36个特征）。

c) 分类

        极限学习机（ELM）是指单层前馈神经网络（SLFN）的变体。训练ELM模型的过程如下，首先，输入权重a和偏差b被随机初始化为0到1之间的值，可以从中推导出矩阵H。

        H称为 ELM 的隐藏层输出矩阵；V是输出权重矩阵，包含从每个隐藏节点到输出节点的所有输出权重；Y是包含输出节点的所有 N 个样本的输出矩阵。然后可以计算输出权重V=H^tY，其中H^t是矩阵H的Moore-Penrose广义逆函数。通过使用输入作为ELM网络的输出，可以构造一个自动编码ELM（ELM-AE）。ELM-AE模型的训练方式与普通ELM模型相同。

        MLELM是ELM的深度学习变体，它通过堆叠多个ELM-AE来实现。它使用多个ELM-AE来训练每个隐藏层的输入。给定一个具有k个隐藏层的MLELM模型，第l个隐藏层是用一个ELM-AE构建的，它将第l−1个隐藏层的输出值作为输入值。MLELM模型的第l个隐藏层可以表示为：

        其中H_l是第l个隐藏层，V_l是从第l个ELM-AE学习得来的第l个隐藏层的输出权重矩阵。特别的，当l=1时，H₀是MLELM模型的输入层。

        为了训练每个受试者的SI分类模型，首先对实验I的数据应用五折交叉验证方法。MLELM模型中有三个隐藏层，应用网格搜索方法查找每个隐藏层中隐藏节点的最佳数量，范围为50到500，增量步长为50。CSP筛选器和切线空间投影在交叉验证的每次迭代中仅使用训练数据进行训练，为每个受试者训练三个MLELM模型。第一个模型在“rest”和“power”类之间进行分类，而第二个和第三个模型分别在“rest”、“up”和“down”以及“rest”、“next”和“back”之间进行分类。在交叉验证步骤之后，使用实验I的整个数据，使用最优参数再次训练所有三个模型。

        为了进一步以在线方式评估系统，本文作者又进行了一个实验：实验II在线测试和模型校准实验，用以评估基于训练模型的分类准确性及其在特定任务中的性能。

3.实验II：在线测试与模型标定

        实验II中，每个被试者需要做3个session。在每个session中，参与者被赋予6种不同类型的任务：将音量增加或减少、增加或减少频道、打开或关闭电视以及休息，每个任务需要做10次trial，实验II过程如图6。

        脑电图信号在前1.5秒内收集，用于对用户意图进行分类。应该注意的是，只有与所选控制模式相对应的预训练MLELM模型和算法（例如，CSP滤波器和切线空间投影）才能应用于EEG信号。

        实验II中以每个任务的真阳性率(true positive rate, TPR)作为在线系统性能的评价指标。实验II每个任务的最后一个session的平均TPR用于衡量每个参与者参与测试基于耳脑电图SI的在线BCI系统的性能。

图 6 实验II过程示意图

四、结果分析

        实验I和实验II的结果如表1。

表 1 实验I和实验II结果

        对于实验I，case 1模型对“power”和“rest”类进行分类，case 2模型对“up”、“down”和“rest”类进行分类，case 3模型对“next”、“back”和“rest”类进行分类。所有参与者的平均分类准确率均显著高于平均水平（case 1模型为50%，case 2和3模型为33.3%）。对于case 1、2和3，所有参与者的平均分类准确率分别为84.9%、64.9%和64.5%。

        对于实验II，在第一次、第二次和第三次session中，所有参与者所有任务的平均TPR分别为0.44、0.45和0.59。实验II的结果还表明，随着校准过程的增加，在线性能有所提高，且所有SI任务的TPR之间没有显著差异。

五、结论

        在这项研究中，本文提出了一种新型的在线脑机接口系统，该系统结合了SI范式和可穿戴耳脑电耳机。尽管本研究进行的实验结果表明，所有参与者的分类准确率都明显高于机会水平，但只有少数参与者能够达到足够高的准确率。实验结束后通过用户调查可以发现，参与者对基于本系统和可穿戴耳脑电耳机大多感到满意，并愿意在现实生活中使用该系统。

        对于未来的工作，作者准备为SI开发更好的特征提取和分类算法以提高系统的性能，同时还考虑将嵌入式计算模块或设备与用户智能手机的连接整合到系统内，增加其移动性。期待SI系统与耳脑电技术早日成熟，早日落地应用。

撰稿：孙曼真

审稿：游琪

——END——