该论文发表于《IEEE Transactions on Affective Computing》 (中科院一区，IF=9.6)，题目为《Grop:Graph Orthogonal Purification Network for EEG Emotion Recognition》。

华南理工大学计算机科学与工程学院科研团队的吴梦琪为此论文的第一作者，华南理工大学计算机科学与工程学院科研团队的张通为此论文的通讯作者。

https://ieeexplore.ieee.org/abstract/document/10609541

论文概要

本文研究了EEG（脑电图）情感识别中的关键问题，即情感无关表示和个体差异对鲁棒情感特征提取的阻碍。这种阻碍限制了EEG情感识别的适应性，当前研究主要关注情感相关信息的挖掘，而忽略了情感无关信息的处理，这种不足导致无法有效应对冗余性和特征变化性，从而无法提取高质量的情感相关特征。为了解决这一问题，本文提出了一种名为图正交净化网络（Graph Orthogonal Purification Network, Grop）的新方法，通过改进情感相关和情感无关特征之间的正交性和可迁移性来增强系统的个体适应能力。Grop的设计包含多个关键模块。首先，使用图表示提取模块，通过双图结构同时提取情感相关特征和情感无关特征。其次，设计了特征投影与净化模块，旨在通过特征投影和特征净化消除冗余信息，从而提升特征的质量。此外，引入双情感空间对齐模块，对不同情感特征空间的分布差异进行对齐，进一步减少个体差异对情感识别性能的影响。通过这一系列模块，Grop实现了对情感相关特征和情感无关特征的有效分离和优化，增强了情感识别的鲁棒性和跨个体适应能力。为了验证模型的有效性，本文在两个公开的EEG数据集（SEED和SEED-IV）上进行了广泛的实验，并通过与当前最先进技术的比较表明，Grop能够捕获鲁棒的情感特征，并在跨个体和跨样本的情感识别任务中表现出色，达到新的最先进水平。这些结果表明，Grop在EEG情感识别中的潜在应用价值。

研究背景

情感识别是人机交互（HCI）和脑机接口（BCI）领域中的一项重要任务，旨在帮助机器理解和解释人类的情感状态。情感通常由视觉、听觉、触觉、味觉和嗅觉等感官信号引发。尽管许多研究关注基于面部表情、身体姿势和语音等非生理信号的情感识别，但这些信号容易受到人为掩饰的影响，从而降低识别结果的可靠性。因此，近年来，越来越多的研究转向基于生理信号的情感识别方法，例如脑电图（EEG）和肌电图（EMG），其中多通道EEG信号由于其非侵入性、易获取性和便携性，成为情感识别领域的研究热点。在EEG情感识别中，已有多种方法被提出，以处理和分析EEG信号。卷积神经网络（CNN）和长短期记忆网络（LSTM）被广泛应用于提取情感相关特征。然而，由于EEG信号的高维性和非欧几里得特性，这些方法面临诸多挑战。为解决这一问题，基于图的模型逐渐被引入，用于探索EEG信号中多个通道之间的空间关系。然而，现有的方法存在不足：一方面，静态连接模式无法充分捕捉EEG情感动态变化；另一方面，静态拓扑连接受到个体差异和连接不变性的限制，难以应对EEG情感识别中的个体差异。此外，EEG情感识别还面临跨个体和跨样本适应性差的问题。个体连接模式和表示水平的差异可能由环境因素和个体经验引起，这种差异限制了模型在源域和目标域中提取一致性表示的能力。情感无关特征的干扰进一步加剧了适应性问题，模糊了情感相关特征的动态变化。因此，研究者提出了多种方法，例如域适配策略和对抗训练，以增强模型的迁移能力，但仍存在局限。基于上述挑战，本文提出了一种图正交净化网络（Grop），用于提高EEG情感识别的鲁棒性和适应性。Grop通过改进情感相关和情感无关特征之间的正交性，减少特征冗余，增强跨个体和跨样本的迁移能力。模型包括动态图表示模块、特征正交净化模块和双情感空间对齐模块，分别用于提取情感特征、消除冗余信息、对齐情感分布。本文通过实验验证了Grop在EEG情感识别中的有效性，展现了其在跨个体任务中的潜力和优势。

方法

本文提出了一种用于EEG情感识别的图正交净化网络（Graph Orthogonal Purification Network, Grop），该方法包括三个核心模块：图表示提取模块（Graph Representation Extraction, GRE）、表示正交净化模块（Representation Orthogonal Purification, ROP）和双情感空间对齐模块（Dual Emotional Space Alignment, DSA）。这些模块共同作用，旨在提取鲁棒的情感相关特征，削弱情感无关特征的干扰，并提高模型在跨个体和跨样本任务中的适应性。整个结构如下图所示：

图表示提取模块（Graph Representation Extraction Module, GRE）

该模块的目标是从EEG信号中动态提取情感相关特征和情感无关特征，利用图卷积网络（Graph Convolution Network, GCN）捕获EEG通道之间的功能连接。GRE模块设计了双分支图卷积结构，以分别处理情感相关和情感无关特征：第一条分支专注于提取情感相关特征，第二条分支旨在捕获情感无关特征。具体来说，输入的EEG数据被划分为源域数据（带标签的样本）和目标域数据（未标记的样本）。情感相关和无关特征通过动态图卷积提取，计算过程基于邻接矩阵和权重矩阵，分别生成源域和目标域的特征表示。同时，为确保情感相关图和情感无关图的连接结构具有低相似性，GRE模块引入了双图拓扑约束。通过限制两种图拓扑结构的余弦相似度，进一步强化了这两类特征之间的分离性，从而提升了特征表达的鲁棒性。

表示正交净化模块（Representation Orthogonal Purification Module, ROP）

ROP模块的目标是通过特征投影和特征净化的操作，消除情感无关特征对情感相关特征的干扰，进一步提升特征的质量。由于情感相关与情感无关特征间存在不一致性，ROP模块首先利用特征投影(Feature Projection)操作，将情感相关特征投影到情感无关特征的空间中，从而提取出情感无关信息。特征投影的计算基于源域和目标域的数据，投影操作后，生成情感相关特征的投影表示。在完成特征投影后，ROP模块通过从情感相关特征中减去投影表示，消除其中的情感无关信息。净化后的特征被视为去除了冗余干扰的情感相关特征，能够更好地适应情感识别任务。通过特征净化(Feature Purification)步骤生成最终的正交特征表示，这些特征相比原始特征更加鲁棒，且更加专注于情感相关信息。

上图为ROP模块（Representation Orthogonal Purification Module）的实现细节图。图中展示了ROP模块的工作流程，包括两个关键步骤:特征投影、特征净化。图中黄色箭头代表投影特征（Projected Features），蓝色箭头代表情感无关特征（Emotion-Irrelevant Features），红色箭头代表净化后的正交特征（Orthogonal Features），灰色箭头代表情感相关特征（Emotion-Relevant Features）。

双情感空间对齐模块（Dual Emotional Space Alignment Module, DSA）

DSA模块旨在解决跨个体和跨样本的情感特征分布差异问题。通过对情感相关特征(Emotion-Relevant Space Alignment)和情感无关特征(Emotion-Irrelevant Space Alignment)分别对齐，进一步提高模型的泛化能力。情感相关空间对齐旨在通过源域和目标域的分布对齐，减少两者之间的特征分布差异。该模块基于再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）的特性进行优化，使得源域和目标域的情感相关特征在空间分布上更加相似，从而增强模型的表达能力。类似于情感相关空间，情感无关空间的对齐旨在消除源域和目标域情感无关特征分布的差异。通过对齐这两个空间，进一步提升了模型的迁移能力，尤其是在跨个体任务中的表现。

模型优化

为了优化 Grop 模型，并充分利用情感相关信息与情感无关信息，设计了两个分类器和分别用于区分正交特征和情感无关特征。优化过程基于以下损失函数：

其中公式12是情感相关特征的分类损失，公式13是情感无关特征的分类损失；

除分类损失外，还有情感相关特征损失，情感无关特征损失还由以下几个部分组成：

是情感无关特征损失分对齐损失目的是减少源域与目标域之间情感相关特征的分布，提升跨域适应性。是双图拓扑约束损失，目的是确保情感无关图的拓扑解耦性；是控制情感无关特征损图稀疏性，减少冗余连接。对应的，、、分别是情感相关的分布对齐损失、双图拓扑约束损失、稀疏正则化。

实验结果

作者使用SEED和SEED-IV两个公开EEG数据集进行实验。为了全面评价Grop模型，使用跨被试，跨会话实验来验证在两个数据集上的情绪识别效果；跨被试实验采用“留一被试交叉验证”（LOSO）方法，将一名被试的所有样本作为测试集，其他被试的样本作为训练集。跨会话实验：将SEED和SEED-IV中不同会话的数据分别用作源域（训练集）与目标域（测试集），测试模型的跨会话适应性。

上图为跨会话实验的设置；

在SEED数据集上，Grop在所有频段的平均准确率达到 91.58%，显著优于传统方法（如SVM的62.74%）和域适配方法（如MS-MDA的84.75%）。

在SEED-IV数据集上，Grop的平均准确率为 75.63%，同样超过了其他方法（如RGNN的69.84%）。

跨会话实验中在SEED数据集上，Grop的平均准确率为 88.83%，高于对比方法（如Gusa的82.34%）。SEED-IV数据集上，Grop达到了 76.10% 的平均准确率，比MS-MDA（61.35%）和DAN（68.30%）均有显著提升。

上图展示了Grop模型在SEED和SEED-IV数据集上的混淆矩阵。在SEED数据集上，正向情感的区分效果最佳，而负向与中性情感之间存在一定混淆。在SEED-IV数据集上，快乐和恐惧情感的识别效果较好，但悲伤和中性情感之间的混淆较为明显。

表VI展示了Grop模型的消融实验结果，验证了关键模块对情感识别性能的贡献。与baseline对比,在SEED数据集上，Grop通过双分支结构将准确率从 82.67% 提升至 91.58%（跨被试）和从 77.93% 提升至 88.83%（跨会话）；在SEED-IV数据集上分别提升了 10.87% 和 7.09%，表明双分支结构有效应对冗余情感特征和个体差异。在关键消融模块中，去除ROP模块（w/o ROP）： 性能显著下降（如SEED跨被试从 91.58% 降至 87.62%），说明ROP模块有效消除了冗余信息并增强了特征鲁棒性。去除双图拓扑约束（w/o DGTC）： 降低了不同特征分支的解耦能力，导致区分情感相关和无关特征的效果下降。去除DSA模块（w/o DSA）： 跨被试性能下降，表明DSA在减少跨个体情感特征分布差异中的重要性。去除ERSA/EISA模块： 去除ERSA的影响更大，说明情感相关空间在应对个体差异时更为关键。总的来说，各模块协同作用显著提升了情感特征的鲁棒性和模型对个体差异的适应性。

该实验验证了Grop在跨数据集情感识别任务中的表现，即SEED→SEED-IV和SEED-IV→SEED。从SEED→SEED-IV，Grop的平均准确率为 57.54%，高于所有对比方法（如DAN的55.56%和GMSS的55.72%），这表明Grop在应对不同数据集之间的情感特征分布差异时更具鲁棒性。从SEED-IV→SEED，Grop的平均准确率为 54.15%，同样优于对比方法（如RGCB的52.97%和MS-MDA的47.73%），由于SEED-IV具有更多情感类别（4类），其更复杂的情感分布对模型的跨数据集迁移能力提出了更高的要求。

图4展示了Grop模型在SEED数据集中提取的所有被试的情感相关功能连接，按频率带划分为五个子图（1–4 Hz、4–8 Hz、8–14 Hz、14–30 Hz、30–50 Hz）。低频带(1-8Hz)功能连接分布较为分散，覆盖多个脑区，表明低频带信号与情感相关特征的空间分布较广泛。高频带(14-50Hz)功能连接逐渐集中于额叶和颞叶区域，表明高频带在情感相关特征提取中更具局部化特性。Grop有效捕获了跨频率带的功能连接，尤其在高频带（α、β 和 γ频段）中，额叶和颞叶区域的情感相关性最为显著。这些功能连接符合脑电信号情感研究的规律。Grop动态构建情感相关功能连接，能够有效提取情感特征的频率和空间分布特性。

图5展示了Grop模型在SEED数据集跨被试实验中，正交净化模块（ROP）对情感特征分布的影响，分为初始分布、ROP模块前、ROP模块后三种状态。初始分布(a)展现出情感相关与无关特征的分布混乱，不同情感（负向、中性、正向）之间没有明显边界，分类难度较高。ROP模块前(b)展示情感相关特征的分布有所改善，但仍存在部分重叠，表明情感无关特征的干扰尚未完全消除。ROP模块后(c)展示不同情感的分布边界变得清晰，情感相关特征与情感无关特征的影响被有效分离，类内特征分布更加集中，类间特征分布的距离显著增加，显示出更好的判别性能。上图表明ROP模块通过消除情感无关特征的干扰，增强了情感相关特征的区分性，从而提高了模型的跨被试情感识别能力。

结论

本文提出了一种图正交净化网络（Graph Orthogonal Purification Network, Grop），该网络能够有效应对情感识别中因显著变化带来的挑战，同时减轻情感无关特征对脑电情感识别的干扰。为增强模型提取鲁棒情感特征的能力，Grop结合了图表示提取模块（Graph Representation Extraction, GRE）和表示正交净化模块（Representation Orthogonal Purification, ROP），通过特征投影与特征净化，有效去除情感无关信息。此外，模型还引入了双情感空间对齐模块（Dual Emotional Space Alignment Module），以减少特征分布的变异性和不一致性。广泛的实验与可视化分析表明，Grop取得了当前最先进的性能，充分验证了其优越性。未来工作将进一步探索不同脑区中情感相关和情感无关特征的分布规律，以加深对脑电情感识别的理解。

撰稿人：龙柏强

审稿人：邱丽娜