本篇学习报告《A shallow mirror transformer for subject-independent motor imagery BCI》来自期刊Computers in Biology and Medicine，作者是来自西安理工大学的Jing Luo , Yaojie Wang , Shuxiang Xia , Zhenghao Shi , Xinhong Hei和来自西安交通大学的Na Lu , Xiaoyong Ren 发表于2023年9月。

一、背景：

运动想象脑电图（MI-EEG）是一种内源性自发脑电图，由于显着的个体差异，大多数研究都集中在受试者依赖性或单受试者 MI-BCI 上，依赖于受试者的脑机接口需要针对不同受试者收集数据、提取特征和训练模型，包括选择最佳参数和配置。

卷积神经网络 (CNN) 中节点的感受野通常很小，无法从整个 EEG 信号试验中检测到判别片段。Transformer模型在自然语言处理和计算机视觉中的成功启发了我们。在Transformer 中，利用自注意力块的全局感受野来捕获全局信息。为了解决上述问题，文章在独立于主题的MI分类任务中提出了一种浅镜像Transformer （SMT）模型。通过自注意力块的全局感受野，来自判别性脑电图片段的信息被检测并用于分类。

二、原理：

论文中提出了一种基于浅层镜像变换器（SMT）模型的主体无关的运动想象（MI）识别方法。浅镜像变换器（SMT）模型由浅层变压器（ST）和镜像网络结构组成。

图1.ST整体架构图

该方法采用了一个包含卷积神经网络（CNN）特征提取块、多头自注意力块和分类块的SMT模型。首先，使用大小为 作为 FBCSP 中带通滤波器的模拟，大的内核尺寸可以在这一层完成大范围的变换。首先，使用时间卷积 作为 FBCSP 中带通滤波器的模拟，大的内核尺寸可以在这一层完成大范围的变换。利用空间滤波器来融合来自所有 EEG 通道的信息，作为 CSP 空间滤波器的模拟,包括批量归一化。这个基于CNN的特征提取层可以控制特征维度 。

特征提取块的输出特征的局部感受野；然后，采用多头自注意力块来捕获脑电图信号的全局信息。该块由位置嵌入、多头自注意力层和位置前馈层组成。接下来，通过一个多头自注意力层捕捉EEG信号的全局信息。最后，采用是对数激活函数，通过全连接的线性层来预测标签。此外，还引入了镜像EEG和镜像网络结构来通过集成学习进一步提高MI识别的准确性。

图2.镜像网络结构

       三、实验与结果：

1.数据集

BCI Competition IV datasets 2a, 2b and OpenBMI dataset

2.实验结果

SMT模型在数据集2a上的平均精度为67.28%，Kappa值为0.55。在数据集2b上的平均精度为76.41%，Kappa值为0.53。在OpenBMI数据集上的平均精度为79.76%，Kappa值为0.60。SMT模型在不同数据集上表现出较高的分类精度和Kappa值，优于其他六种最先进的模型（Shallow, Deep, EEGNet, FBCNet, MIN2Net, ATCNet, ST）。此外，SMT模型在参数数量和推理时间方面也表现出较好的性能。它具有中等参数数量（29M）和可接受的推理时间（5.08 ms），在这些方面优于其他模型。

在不同超参数的性能评估中，SMT模型的自注意力头数和多头自注意力块数量对模型的性能有直接影响。在现有主题上，SMT模型在10个头和1个块的情况下实现了最高的精度（70.52%）和Kappa值（0.41），在新主题上，在8个头和1个块的情况下实现了最高的精度（67.28%）和Kappa值（0.35）。

四、结论：

论文提出的SMT模型在主题无关的MI识别任务中表现出了出色的性能。以下是该方法在实际应用中的几个方面的价值：

1. 提高了MI识别的准确性：通过利用自注意力模块的全局感受野，SMT模型能够检测和利用整个EEG信号试验中的判别性片段，从而提高了MI识别的准确性。与其他最先进的算法相比，SMT模型在主题无关的MI-BCI中表现出了卓越的性能。

2. 引入镜像网络结构：通过镜像EEG和镜像网络结构的应用，进一步提高了EEG识别的准确性。镜像网络结构通过集成学习的方式，进一步提高了MI分类的精度。

3. 模型复杂度分析：与其他模型相比，SMT模型在中等参数数量和可接受的推理时间下实现了最高的性能。这意味着SMT模型在性能和计算效率之间取得了良好的平衡。

4. 超参数性能比较：自注意力头数和多头自注意力块数量是多头自注意力中的两个主要超参数。通过对SMT模型进行不同超参数的测试，可以看出自注意力头数和自注意力块数量直接影响模型的性能。通过调整这些超参数，可以进一步优化SMT模型的性能。