论文发表于Expert Systems With Applications（中科院一区，IF=7.5），题目为《Dynamic collaborative evolutionary network: A novel spatio-temporal feature extraction framework for EEG emotion recognition》。

河北大学的刘帅奇教授为此文第一作者。

论文链接：https://www.sciencedirect.com/science/article/pii/S0957417425032695

代码链接：https://github.com/cvmdsp/DCENet

论文概要

情绪识别是脑机接口领域的研究方向之一，旨在从大脑的电生理活动中解码人的内在情感状态。而现有情绪识别方法面临两个局限性，一方面依赖于固定的物理连接或静态拓扑关系，难以有效表示非欧几里得空间特征。另一方面，时空特征提取往往是独立进行的。这种缺乏时空特征协同机制的情况，导致细粒度情感表征能力不足。

为此，本文提出了一种基于图感知增强与全局卷积Transformer的动态协同进化网络（DCENet）。DCENet通过构建图感知增强（GAE）模块，利用格兰杰因果关系构建电极间的动态功能连接图，提取并增强具有因果关系的空间关键特征。同时，DCENet构建了全局卷积Transformer（GCT）模块，该模块利用了Transformer的全局建模优势和与卷积操作的局部感知优势，以捕获不同尺度的时间特征。此外，DCENet通过局部差分融合（LDF）模块自适应融合时空特征，实现情感类别的跨域特征对齐和特征对齐，协同进化具有更细粒度信息的情感表示特征。

文章实验结果表明，DCENet模型在三个公开数据集（SEED，SEED-IV，MPED）上的准确性方面由于现有方法。

研究背景

近年来，随着深度学习的快速发展，研究人员越来越多地将深度学习模型应用于基于EEG的情绪识别任务。尽管基于EEG的情绪识别研究已取得显著进展，但现有方法难以有效地建模大脑活动的复杂时空动态特性。

在空间层面，大多数模型依赖于根据电极物理坐标预先定义的静态连接图。这种基于解剖距离的固定拓扑，忽视了不同脑区在情绪加工中实际的、随时间变化的功能性因果连接，导致无法准确表征大脑网络的非欧几里得空间的动态特征。

在时间层面，许多主流方法往往将时序特征与空间特征进行分离提取或简单融合，缺乏有效的协同学习机制。这种处理方式难以捕捉情绪产生过程中，大脑时空模式之间紧密的耦合与共演化关系，从而限制了模型对细粒度、差异化情感状态的表征能力。

因此，如何设计一个能够统一建模大脑动态功能连接，实现时空特征深度协同与自适应融合的框架，提升EEG情绪识别模型性能与泛化能力，是文章所提出的DCENet旨在解决的核心问题。

方法

DCENet使用双支路并行结构，由三个核心模块组成：GAE模块，GCT模块，LDF模块，整体框架图如下。

（1）图感知增强（GAE）模块

GAE模块旨在突破基于固定物理距离的静态连接局限。GAE模块采用格兰杰因果分析，对输入的EEG序列动态构建邻接矩阵，来评估电极之间的因果关系，形成更符合神经信号传递逻辑的动态功能连接图。在此基础上，通过图卷积网络（GCN） 在此动态拓扑结构上进行空间特征提取。

为了增强关键情感特征的表征，抑制无关信号干扰，作者设计了感知增强注意力机制（PEAM）。该机制并行执行标准差池化、平均池化与最大池化，通过多视图特征压缩有效抑制噪声、提高信噪比，并生成双权重注意力图对特征进行自适应调制，从而优化网络效率。GAE模块结构图如下所示。

（2）全局卷积Transformer（GCT）模块

GCT模块改进了Transformer结构，模块使用了Transformer的多头自注意力机制，以有效建模全局时间上下文关系。此外，该模块将标准的前馈网络替换为一个多尺度卷积前馈层。该层使用两个并行的一维卷积分支（核尺寸分别为3和5），对注意力输出进行并行处理，以同时捕获不同时间粒度下的局部动态特征。随后，通过Hadamard积融合两支路输出，再与原始输入进行残差连接与层归一化，最终输出兼具全局依赖与多尺度局部细节的增强时序特征。其模块如下所示。

（3）局部差分融合（LDF）模块与损失函数

LDF模块采用层级自适应加权融合。首先，对GAE和GCT两层输出的空间、时序特征分别进行第一级融合，提炼多层次表征。然后进行第二级融合，通过Softmax归一化的可学习权重动态平衡时空贡献。此外，模块引入局部子域差异（LSD）损失函数，该损失在情感类别层面上，通过计算类内与类间样本在特征空间中的分布距离，使模型缩小跨被试同类样本的距离，同时拉大不同类样本的边界，实现细粒度域适应。总损失函数整合了LSD损失函数与分类交叉熵（CE）损失函数。模块结构详见上文整体框架图。

实验结果

论文使用了三个公开数据集SEED，SEED-IV和MPED，数据集信息如下表所示。实验采用留一法交叉实验（LOSO）来评估模型性能。所有实验均使用Adam优化器，学习率设置为0.01，Dropout层设置参数为0.5，以防止过拟合。

（1）SEED数据集实验结果

在SEED数据集上，DCENet在跨被试识别任务中，平均准确率达到87.55%。在跨实验时段识别任务中，平均准确率达到90.72%。对比论文中进行对比的十五种方法，该模型在两个任务上均取得了最优性能。

（2）SEED-IV数据集实验结果

在SEED-IV数据中，由于分类任务从SEED数据集的三分类变为四分类，因此各模型的准确率均有所下降。而DCENet在该数据集取得了跨被试73.04%和跨实验时段77.21%的平均准确率，依然在同类方法中保持领先。

（3）MPED数据集实验结果

在MPED数据集中，由于所有受试者的数据都是只采集了一轮，因此无法进行跨实验时段的实验，论文换成了跨被试和跨实验视频的实验。而该数据集是一个七分类任务，因此所有模型的性能对比前两个数据集有明显的下降。DCENet在跨被试任务的平均准确率为27.72%，在跨实验视频任务的平均准确率为42.31%。虽然性能一般，但是仍优于其他的模型方法。

（4）跨数据集实验结果

为检验模型的域适应能力，论文进行了跨数据集迁移实验。当以SEED为源域，SEED-IV为目标域（“SEED → SEED-IV”）时，DCENet的平均准确率为57.83%；在反向迁移（“SEED-IV → SEED”）中，DCENet的准确率为54.41%。优于SVM、DGCNN等其他方法。该结果表明LDF模块及LSD损失函数的有效性，能够在一定程度上缓解不同实验范式与数据分布之间的差异，实现更具泛化性的特征对齐。

（5）消融实验结果

消融实验证实了各核心模块的必要性：

移除GAE模块（使用静态物理连接替代动态因果图）导致在SEED和SEED-IV数据集上的性能下降约5%，表明构建动态脑功能连接起到了重要作用。

移除GCT模块或LDF模块亦会造成准确率损失约2-3%。此外，将LDF中的自适应融合替换为简单拼接或求和操作，以及移除局部子域差异（LSD）损失函数，均会导致模型泛化性能明显降低，这共同证明了本文所提出的协同进化机制与细粒度域适应策略的有效性。

结论

本研究提出了一种新颖的时空特征动态协同进化网络（DCENet）。该网络通过构建基于格兰杰因果的动态图感知（GAE）模块、融合多尺度时序建模的全局卷积Transformer（GCT），以及细粒度域适应的局部差分融合（LDF）模块，DCENet一定程度上克服了静态脑连接假设与时空特征割裂的局限。实验表明，对比其他主流方法，该模型在SEED、SEED-IV和MPED数据集上实现了最优性能，验证了所提框架在EEG情绪识别中的有效性与泛化能力。

撰稿人：龙柏成

审稿人：李景聪