本篇学习报告基于IET Research Journals的论文《Deep Recurrent-Convolutional Neural Network for Classification of Simultaneous EEG-fNIRS Signals》。脑机接口(BCI)是大脑与外界交流的强大系统。传统的BCI系统仅基于EEG信号工作。最近，研究人员已经使用EEG信号与其他信号的组合来提高BCI系统的性能。在这些信号中，EEG与fNIRS的结合取得了良好的效果。在大多数研究中，只有EEG或fNIRS被认为是链状序列，没有考虑相邻信号之间的复杂相关性，无论是在时间上还是在通道位置上。在本文中，通过引入时间和空间特征，引入深度神经网络模型来识别人脑的确切目标。所提出的模型包含了EEG和fNIRS信号之间的空间关系。这可以通过将这些链状信号的序列转换成分级的三阶张量来实现。测试表明，该模型具有99.6%的准确率。

1. 背景

        在现实世界中，一些人可能会因特定疾病而失去连接或移动。人类大脑检查大约1000亿个神经元的内容。脊髓作为接口电缆，将器官和神经的信息传输到大脑。这些信息被用来控制身体的不同部位及其运动。患有脊髓损伤的人，大脑可以产生正常的信号，但这些信号在身体的不同部位是不可用的。在中度脊髓损伤中，一些技术帮助受伤的人控制轮椅或机器人设备。这些技术通常采用头部运动、眼睛凝视等。然而，这些方法依赖于患者对身体某块肌肉的控制。另一方面，为没有随意肌肉控制的人提供有效的技术更具挑战性。这种人没有说话和行动的能力，但他们可以思考和决定。中风、严重脑瘫、运动神经元疾病(MND)、肌萎缩性侧索硬化(ALS)和脑炎是可能导致严重运动麻痹的疾病。通过脑机接口技术(BCI)，一些没有随意肌肉控制的人可以在日常生活中更加独立。

        脑机接口是一种不依赖于大脑通过神经和肌肉的正常输出路径的通信系统。换句话说，BCI是一个人工智能系统，可以检测大脑产生的一组特殊模式。BCI系统可以专注于映射、辅助、增强和修改认知和感觉运动功能。BCI系统的理念是提取与精神活动(有意识或无意识)相关的大脑模式。该系统为对运动系统(肌肉)没有足够控制的患者提供通信。本文提出的方法是为了改进对精神活动的检测。

        非侵入性技术包括从身体边界之外获取所有精神活动的方法。这些方法可以测量两组信号。第一组包括记录大脑神经活动的信号。这些信号被称为电生理信号。这些类型的信号具有低空间分辨率和非常高的时间分辨率(毫秒)。EEG信号是这组信号中的重要信号之一。第二组包含记录血液动力学活动的信号。这些类型的信号测量血液中的氧气水平，并提供高时间分辨率。功能近红外光谱就是这类信号中的一种。fNIRS的主要优势是设备的便携性。本文采用了EEG和fNIRS相结合的方法。

        设计BCI系统的一个重要挑战是选择什么信号；电生理或血液动力学信号。到目前为止，许多关于BCI系统的研究仅基于电生理信号，或仅基于血液动力学信号。此外，还有几个最近的作品，都涉及。然而，电生理学方法通常具有低空间分辨率。另一方面，单独使用血液动力学方法会受到低时间分辨率的影响。同时，预计EEG与fNIRS的结合可提供适当的结果，并可减少每种模式的独立限制。使用同步EEG和fNIRS信号的可行性的另一个原因是这些信号通常不会干扰。此外，低成本、低噪声和便携性使得EEG和fNIRS信号的使用更加实用。但是，在本文中，提出了一种用于组合这两种信号的新方法。

        此外，还有其他一些挑战。第一个挑战是信号的噪声干扰。信号中的部分常见噪声是与其他设备的频率干扰和电极的不适当连接。在这些信号中，生理活动会产生噪音。这些活动与信噪比降低有关，例如眨眼、肌肉运动和心率。预处理算法对于减轻信号中的噪声是有用的。第二个挑战是信号和大脑相关意图之间关系的模糊性。事实上，心理意图不能直接从信号中观察到。对信号的精确分析和分类可以解决这个问题。为此，本文提出了一种深度学习分类方法。第三个挑战是由用户提取特征以检测精神意图。这一步骤的实施通常需要繁重的处理。在BCI系统的大多数处理步骤中，有两个步骤，噪声去除和特征提取。这些步骤对于BCI系统来说是不切实际的，因为耗时且依赖于专业知识水平。他们证明了频域比时间序列更适合。本文采用深度学习算法进行特征提取。深度学习算法中的特征工程自动从信号中提取适当的特征。由于深度学习方法，本文减轻了特征提取步骤的负担。

       本文解决的最重要的问题之一是，使用深度学习算法对原始信号的准确分类相当低。在本文中，本文考虑了空间(头皮上电极的位置)和时间(EEG和fNIRS的样本)信息，以提高准确性。这些性质在过去仅仅被研究过。本文着重于这些性质的适当组合，同时结合EEG图和fNIRS信号。此外，采用深度学习算法对信号进行高精度分类，以最小的误差检测用户的心理意图。

        在所提出的方法中，使用关于电极位置的知识将原始生物信号转换成三阶张量。这些三级张量显示了每个时刻的大脑地形图。然后，使用滑动窗口来创建数据剪辑。滑动窗口旨在利用生物信号中的时间相关性。在每个片段中，同时存在空间和时间特征。在这些排列之后，深度学习用于基于获得的三级张量来训练模型。本文可以通过改进预处理步骤和采用专门针对EEG-fNIRS组合的深度学习算法来提高诊断准确率。

2. 提出的方法

2.1 预处理

       在预处理步骤中，原始信号被转换为三阶张量，在分类步骤中，提出了一种基于深度学习的模型来诊断心理意图。

       与运动想象(MI)相关的精神活动出现在EEG信号的8到30hz(α和β频带)频带中。另一方面，fNIRS数据的初始采样率是10 Hz，EEG数据的初始采样率是200 Hz。本文为了实现EEG信号以及fNIRS信号相互兼容，因此将EEG信号的采样率降低到128 Hz，fNIRS数据的采样率增加到128 Hz。

       图1显示了如何按照本文提出的方法记录同步EEG-fNIRS信号。当受试者被要求想象一个特定的动作时，EEG图和fNIRS电极记录大脑活动。典型地，在时间t从EEG记录系统获得的原始数据是一维向量et= [S1 t，S2 t，...，Sn t]t其中Sn是在时间t从第n个通道记录的EEG信号样本，n是EEG通道的数量。类似地，在时间t从fNIRS记录系统获得的原始数据是由ft= [(E1 t，E′1t)，(E2 t，E′2t)表示的向量，...其中Em t是来自第m个通道的fNIRS信号中的氧合血红蛋白样本，并且在时间t，E′m是来自第m个通道的fNIRS信号中的脱氧血红蛋白样本，并且m是fNIRS通道的数量。

图 1. EEG和fNIRS信号采集和预处理步骤。

        作为一个矩阵，每个通道都被视为矩阵中的一行。该矩阵中的列包括每个通道内的样本。每个通道只限上下两个通道。为了澄清这个问题，矩阵中的每一行都有两个垂直邻居。在矩阵中，一个邻居是上一行，另一个邻居是下一行。由于EEG中电极的空间相关性、fNIRS中电极的空间相关性以及具有不同活动的大脑的不同区域之间的关系的重要性，图2被用作转换函数。在本文中，这种转换方法用于EEG和fNIRS时间序列的组合转换为三阶张量。

图 2. EEG和fNIRS的转换函数

       本文的目的是开发一种使用数据片段来组织人类意图集合的有效模型。这个模型通过数据片段来预测人类的意图。

2.2 提出的递归卷积神经网络

       图3显示了本文提出的基于RCNN的EEG-fNIRS分类器的结构。该结构用于从 EEG-fNIRS 时间序列中给出空间和时间特征。该结构包括八层。这些层包括三个卷积层、两个全连接（密集）层、两个 LSTM 层和一个输出层。该结构的输入是三阶张量的预处理片段。最后，这些片段被转换为四维结构。这些四维结构传达空间和时间信息。首先，使用 CNN 层从每个三阶张量中提取空间特征。

       然后，一个全连接层接收提取的空间特征序列 SFj 并将它们馈送到 LSTM 层以提取时间特征。最后，一个全连接层从 LSTM 最后一个输出层接收时间特征，然后输入 Softmax 层进行预测。

       空间特征序列是RNN网络的输入，用于提取时间特征。本文使用两个LSTM层来提取时间特征。第二个LSTM层输入是从前一层提取的时间特征。本研究的目的是寻找滑动窗口期的大脑指令。因此，在最后一层LSTM中提取的时间特征被用于分析。这些特征是从加窗样本中提取的。事实上，这些特征是大脑在窗口期的命令。最后的LSTM层输出被提供给全连通(密集)层，以提取最终的时间特征序列。最后，SoftMax分类预测每个数据类别的最终概率。

       合理的结构设计可以提高深度学习网络的性能。本文试图为找到大脑命令提供一个合适的体系结构。

图3. 提出的 RCNN 结构。

3. 实验与结果

       柏林工业大学的 EEG-fNIRS 数据集被本文用于评估RCNN网络。本文提出了一种基于深度学习的新模型，包括 CNN 和 RNN 算法的结合。本文将所提出模型的准确性与不同论文中的其他模型进行比较。其次，本文调查了不同实现的准确性。最后，本文分析了基于 epoch 数的准确度图。

       为了研究同时进行时间和空间分析的重要性，本文使用了两个模型：CNN，提取空间特征和 RNN，分别提取时间特征。然后，本文将它们与本文提出的模型进行了比较。这些模型的性能与其他工作相比，结果如表 1 所示。

表1.不同模型的比较

       从该表中可以看出，所提出的模型达到了 99.63% 的高精度。在本文的研究中，选择更大的滑动窗口也会显着降低模型性能。该方法可以灵活地通过改变滑动窗口大小来采用不同种类的基于 EEG-fNIRS 的意图识别。与以前的研究相比，本文的模型需要对原始数据进行较少的预处理，使其更适合实时应用，例如 BCI。

       最重要的超参数之一是滑动窗口的大小。这个数字对网络培训及其准确性有着巨大的影响。滑动窗口的不同大小对网络精度的影响如表2所示。从该表中可以看出，网络的精度随着该数字的增加而降低。原因是大窗口包含更多信息。当本文考虑滑动窗口的大尺寸、信息包含噪声以及网络不能很好地训练时，这是可能的。另一方面，滑动窗口的大尺寸减少了训练数据的数量。因此，在本文中，本文选择了10个作为该尺寸。

表2. 滑动窗口的不同大小对网络精度的影响

4.总结

       本文利用生物信号中包含的时空信息和深度学习对生物信号进行分类。在该方法中，使用了两个数据EEG和fNIRS相结合的方法。本文继续提取信号的两个空间和时间特征。在所提出的方法中，通过将链状信号转换为三阶张量来对信号进行分类。

       然后利用RCNN的深度学习对这些数据进行分类。本文发现了组合这两个信号的方法的精度明显高于其他方法。同时，可以在添加预处理步骤以去除信号中的噪声。这可以改进分类。

5.思考

      （1）寻找神经网络的最佳参数一直是一个巨大的挑战。为了解决这个问题，未来可以提出一种一致的算法来寻找和设置深度网络的最佳参数。

      （2）本文提出的RCNN方法在此数据集上得到了不错的分类结果，未来可以使用本文提出的多模态融合方法在另一个数据集上验证。

      （3）论文结构以及描述值得学习。

参考文献：

[1] Ghonchi H., Fateh M., Abolghasemi V., et al. Deep Recurrent-Convolutional Neural Network for Classification of Simultaneous EEG-fNIRS Signals [J]. IET Signal Processing, 2020, 14(3):297. DOI：10.1049/iet-spr.2019.0297