论文动机

情绪状态的转变通常会激活脑电功率谱的变化。近年来的研究发现，不同的情绪状态造成的脑电图波谱的差异在脑电 α 频带比较明显，并可以在大脑前部区域捕捉到。另外，情感反应也与不同大脑区域之间的波谱变化有关，因此，不同脑区脑电图波谱的变化能够预测受试者不同的情绪状态。

如前所述，激活模式可以捕捉被试在感受不同情绪时大脑各个区域之间的功率差异，而不同大脑区域之间的连接模式则可以表现大脑进行情感处理时的信息交互过程。目前，利用这两种补偿信息的模式融合进行情绪识别的研究工作比较少。

论文工作

本文将大脑不同区域的信息网络传播模式和脑内激活差异融合起来，以提高情绪识别的能力。方法：构建具有相位锁定值的情绪相关脑网络，采用多特征融合方法将补偿激活信息与连接信息相结合进行情绪识别。

论文方法

图1. 情绪识别流程图。（a）音乐诱发情绪脑电。（b）从激活模式、连接模式和融合模式构建特征集。（c）通过F-score选择最优特征组。（d）利用SVM进行模式识别

激活模式

激活模式主要反映被试者在不同情绪状态下的能量差异。作者主要研究了功率谱密度（PSD），微分熵（DE），DASM，RASM，ASM，DCAU 这六个能量特征分布在不同情绪下的表现，如图 2和图3 所示。其中，从图中可以看到 beta 和 gamma 频段产生了显著差异。

图2：不同频带下三种情绪状态的头皮PSD分布

图3：不同频带下三种情绪状态的头皮DE分布

连接模式

由于不同脑区之间的同步活动并不是单纯的线性关系，在本文中，作者提出了相位锁定（PLV）的方法来捕捉非线性相位同步，统计测量两个脑区的相位同步。PLV 的定义如下：

为了构建脑功能网络图，本文将 32 个电极作为网络节点，利用图论的知识，提取了四种脑电网络图特征（EEG based network patterns, ENP）。

聚类指数量化了一个节点的最近邻之间存在的连接数与最大可能连接数的比例，节点i的聚类指数在中定义为：

SP-Length 表示从一个节点到另一个节点必须遍历的最小边数。

其中：

G-Efficient 度量信息在整个网络中传播的程度，是任意两个节点之间最小路径长度的调和平均值的倒数。

L-Efficient 通过观察其子网络的良好连接来衡量网络的区域专业化能力。

图4：三种情绪状态在不同频带间存在显著差异。蓝线表示统计上显著差异的边缘  (p < 0.01)  

图5：两种情绪状态之间的成对差异网络。 第一行(a)表示beta波段的成对微分网络; 第二行(b)表示成对的伽马波段微分网络。 蓝线表示边缘有统计学意义的差异(p<0.01)  

模式融合

激活模式捕捉对情绪作出反应的局部活动，而连接模式挖掘相关脑区之间的相互作用。将这两种模式融合的难点主要是这两种特征类型中存在的冗余信息可能会意外地影响识别效果。在本工作中，将 F-score 和分类器依赖结构相结合来实现特征选择，如图 6，这样既保证了所选特征子集的分辨能力，又节省了计算量。

第 i 个特征的 F-score 定义为：

F(i) 越大，说明对应特征的鉴别能力越强。对所有 F-score 值的降序排序，本文应用支持向量机（SVM）和图正则化极值学习机（GELM）的模型，并采用 10 倍交叉验证方案来选择基于训练集的广义特征。特征选择的步骤如下：

1. 计算训练集中所有特征的 F-score 值，并按降序排序，定义为 F，并将一个特性子集Fsel初始化为空。将最佳分类结果  定义为 MaxR，并将其设置为 0。将最优特性索引初始化为空；

2. 从 f 中选择 f 得分最高的特征向量，将选择的向量加入到 Fsel 中；

3. Fsel 进行 10 倍交叉验证,估计平均分类精度 μ；

4. 重复步骤 2 到 4 直到遍历完毕。

图6：特征选择流程图。（a）原始特征集。（b）根据F-score对特征进行排序。（c）根据分类性能选择前K个特征。

结果

为了评估论文方法的性能，论文在三个基准的基于多模态的情绪数据库上进行了实验，即 MAHNOB-HCI、DEAP 和 SEED。从本质上说，多模态信息方法的性能改进是由于利用了从激活模式和连接模式中获得的补偿信息。

部分实验结果如图 7 所示，多模态方法相对于单模态方法有助于提高识别性能。除了提高融合策略的性能外，还需要注意影响情绪识别的另外两个方面，一是在不同的数据集上观察到不同的准确性，SEED 数据集表现最好。另一点是，由于不同的设计目的，不同的特征选择方法可能会导致最佳特征子集的差异。

图 7：部分实验结果

结论

在这项工作中，作者提出将脑网络拓扑结构和基于脑电图数据的功率谱激活模式结合起来进行情绪识别。该方法不仅捕捉了局部的情绪反应活动，而且挖掘了相关脑区之间的相互作用。

撰稿人：黄珂

指导老师：邱丽娜

原文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8634938