本篇学习报告的内容为：使用深度学习算法进行脑机接口的多模态 fNIRS-EEG 分类，所参考的文献是《Multimodal fNIRS-EEG Classification Using Deep Learning Algorithms for Brain-Computer Interfaces Purposes》，该文献发布时间为2020年。文献使用了柏林科技大学的两个开源元数据集，研究了DNNs在多模态fNIRS-EEG记录的运动想象（MI）和精神负荷（MWL）任务分类中的能力。

 

 1 背景与研究内容

          单模态的脑电图(EEG)和单模态的功能性近红外光谱(fNIRS)已广泛用于脑成像。然而，近年来，这两种模态的融合在神经成像方面也显示出良好的结果，这是因为它们在时间和位置上准确识别大脑活动的分辨率，同时，由于EEG的时间分辨率高，空间分辨率低，而fNIRS的空间分辨率高，时间分辨率低，因此这两种模态之间会形成一种互补的特性，从而能够获得更加丰富的大脑信息。然而，基于fNIRS和EEG的认知任务分类涉及到复杂的模式识别问题，传统的分类方法需要先验的特征选择和预处理的工作，但是这并不能保证得到最优的分类。深度神经网络(DNN)可以克服这一挑战，DNNs直接从fNIRS和EEG信号中提取特征，并且大量的特征预处理工作。此外，随着计算能力的提高，DNN已成为高精度分类的实用选择。

 

2 数据集与信号处理

        文献研究使用了由Jaeyoung Shin等人于2016年和2017年在柏林科技大学收集的两个开源元数据集[2, 3]。两个数据集都包括了同时采集的脑电（30个通道）和fNIRS（36个通道）记录的大脑信息。此数据集记录了26名健康受试者在3个认知任务：（1）n-back(0-， 2-和3-back)，歧视/选择反应任务（DSR）和单词生成任务（WG）中的大脑活动情况。第一个任务分别被分为四类（0-，2-和3-back任务和休息），第二个任务被分为两类（目标vs.非目标），第三个任务被两类（基线和单词生成）。第二个数据集是运动想象，包括左、右运动想象任务，共29名健康参与者。

        脑电电极按5-10系统分布于整个头皮。数据集在MWL实验中，分别在额叶区（16个通道）、运动区（4个通道）、顶叶区（4个通道）和枕叶区（4个通道）放置16个光源和16个探测器。而在MI实验中，15个信号源和16个fNIRS探测器分别放置在前额区(9个通道)、运动区（12个通道）和视觉区（3个通道）。在[2]和[3]中，第一和第二数据集头皮上的EEG和fNIRS通道有211个。数据集的具体描述如下：

数据集1. A: n-back -数据集由9个序列的0-，2-和3-back任务平衡顺序排列组成。单轮系列流程包括一个2秒的指令，显示任务类型（0-，2-或3-back），一个40秒的任务周期，和一个20秒的休息周期[3]。

数据集1. B: DSR -数据集由9个DSR系列组成，按平衡顺序排列。一个单独的试验包括2秒的指令，40秒的任务期和20秒的休息期。在任务期间，符号O和符号X以随机的顺序每隔2秒给出一次。当符号O出现时，被试按下一个按钮（目标，当符号X出现时按下另一个按钮（非目标）[3]。

数据集1. C: WG -每个系列包括20个随机顺序的单词生成（WG）和基线（BL）试验（每个10个）。对于WG，在2s指令中，要求被试继续思考已经给定开头字母的单词，而在BL中，要求被试放松并注视十字符号，以降低认知负荷[3]。

数据集2 .A:左手MI vs.右手MI -实验包括3个阶段的左手MI和右手MI，每个阶段包括1分钟的实验前休息时间，20个重复给定的任务，和1分钟的实验后休息时间。任务以2秒的视觉介绍开始，接着是10秒的任务周期和15 - 17秒的随机休息周期。被试被要求以1hz的速度[3]想象握（张开和握紧他们的手)。

       所有数据集的试验次数、系列数和实验次数的汇总见表1。

 

表1 实验规格摘要:所有数据集的试验次数、系列数和实验次数

 

3深度神经网络与输入特征

文献提出的深度神经网络由4个隐含层组成，如图1所示，每层包含60个神经元。输入层神经元数量为HbO/HbR和EEG通道数之和。输出层由两个、三个或四个单元组成，这个取决于实验中类的数量，同时soft-max激活表示类上的概率分布。这个架构是在试验了几种不同的架构（窄的和宽的）后选择的。

 

图1  拟建DNN的规格。DNN由四个隐藏层组成，每层有60个神经元。输出层由两个、三个或四个单元组成，这取决于实验中的班级数量，同时soft-max激活表示类上的概率分布。

 

DNN的输入特征被定义为N个样本，每个样本包含所有通道在所选时间窗口内的ERD、DHbO和DHbR 的平均值。N的值取决于时间窗口的长度。由于fNIRS采样率低，数据集相对较小，必须谨慎选择窗口。所选择的窗口长度既不应该导致N足够小以至于发生过拟合，也不应该窗口太大以至于影响精度。为了确保这一点，文献选择了3s的窗口长度。输入的特征数量根据所使用的采集数据点数量而有所不同。对于完全混合的fNIR-EEG，一个样本有102个（36 + 36 + 30）特征。为了比较完全混合的fNIRS-EEG系统与独立的fNIRS和EEG的分类精度，文献还测试了另外四种情况：融合的EEG和DHbO、单模态的EEG、DHbO和 DHbR的融合，以及单模态的DHbO。对应于这些情况中每一种的特征的数量如表2所示。

表2. 调查的每个场景的功能数量

分类流程如图2所示。滤波后，将之前获得的fNIRS特征进行平方，然后在滑动窗口上求平均，以计算DHbR和DHbO。此外，在滤波之后，对之前获得的EEG信号特征在滑动窗口上进行平均，并对结果进行ERD/ERS分析。然后，所有特征被馈送到DNN算法来进行网络的训练。

 

图2 分类流程：在滤波之后，将之前获得的fNIRS特征进行平方，然后在滑动窗口上求平均，以计算DHbR和DHbO。此外，在滤波之后，将之前获得的EEG信号特征在滑动窗口上进行平均，并对结果进行ERD/ERS分析。然后，所有特征被馈送到DNN算法来进行网络的训练。

 

4 结果

表3-6分别报告了n-back、DSR、WG和MI任务中所有记录组合（EEG、fNIRS （DHbO - DHbR）、fNIRS （DHbO）、EEG + fNIRS （DHbO - DHbR）和EEG + fNIRS （DHbO - DHbR））基于DNN分类和基于SVM分类的单被试准确率。计算了26名被试在脑力负荷任务和29名被试在MI任务中的平均准确率。 

 

表3 单被试和平均分类性能，n-back任务

 

对于所有事件，与独立方法相比，全混合EEG-fNIRS具有最高的平均准确性。在所有的实验中，采用DNN作为分类器的效果都优于传统的SVM分类器。DSR任务的改进率最高，为8%。总体而言，2类实验（MI、DSR和WG）的平均分类准确率高于4类n-back测试，正如预期的那样，因为n-back测试中可能存在的类更多。所提出的DNN分类器对WG任务的准确率为92%，而SVM的准确率为86%。

使用ELU激活函数生成表中所示的结果。为了研究激活函数对分类性能的影响，文献应用了两个最近引入的激活函数，并比较了它们在这个应用中的性能。应用的激活函数是整流线性单元（ReLU）函数，该函数已被证明可以抑制由于其非饱和性质而导致的消失梯度问题，以及指数线性单元(ELU)，该函数的代价快速收敛到零[6]。使用ELU激活函数时，分类准确率平均比使用ReLU时高2%。

 

表4 单被试和平均分类性能，DSR

 

所有实验的混淆矩阵如图3所示。这些矩阵的行代表预测条件标签，而列代表参考标签。在所有的实验中，在所有的个体类别中都取得了显著的成绩，并且在混淆矩阵（对角元素，深棕色）中获得了显著的和正确的识别。在n-back测试中，3-back类相对于其他类具有最高的真正分类，2-back类具有最低的真正分类。3-back和2-back的试验显示出最严重的错误分类，3-back被归类为2-back，反之亦然。错误分类的模式表明，当项目被错误分类时，他们更有可能与难度相近的项目相混淆。在MI测试中，右手动作的解码性能较好，左手动作的真阳性分类最小。在两类实验中进行分类比四类实验产生更高的整体准确率。在WG和DSR中，两类都有相似的真阳性分类率，而误分类在两类中几乎相同。

 

表5 单被试和平均分类性能，WG

 

 表6 单被试和平均分类性能，MI

 

图3所示 所有实验的混淆矩阵

 

 

5 总结与思考

文献研究了DNN结构在混合EEG-fNIRS的MI和MWL任务分类中的结果表现。文献结果表明，与单模态的EEG或fNIRS记录相比，多模态的分类精度要高得多。与传统的SVM相比，该算法显著提高了分类性能，对MI任务的平均准确率达到90%，比SVM高出8%。对于n-back任务，提出的DNN达到87%的准确率，而使用SVM的准确率为82%。选择ELU激活函数是因为它相对于ReLU具有更高的准确性。文献的结果证明了使用多模态BCI和全连接DNN实现强分类性能的可行性。

文献的全连接DNN方法对EEG和fNIRS 的多模态生理信号实现了高精度分类的效果。但此文献的方法只应用在公开数据集上，因此此方法可以在日后不同应用（如情绪分类，意识检测，虚拟现实等）的EEG-fNIRS多模态生理信号中进一步尝试应用并且改进。

 

6 参考文献

[1] Saadati M , Nelson J , Ayaz H . Multimodal fNIRS-EEG Classification Using Deep Learning Algorithms for Brain-Computer Interfaces Purposes[M]. 2020.

[2] Shin, J., Von Luhmann, A., Kim, D.-W., Mehnert, J., Hwang, H.-J., Muller, K.-R.:

Simultaneous acquisition of EEG and NIRS during cognitive tasks for an open access

dataset. In: Generic Research Data (2018)

[3] Shin, J., Von Lhmann, A., Kim, D.-W., Mehnert, J., Hwang, H.-J., Muller, K.-R.:

Simultaneous aquisition of EEG and NIRS during cognitive tasks for an open access dataset. In: Scientific Data, vol. 5 (2018)

 

撰稿人：钟泳诗

导师：邱丽娜老师