该论文发表于IEEE Transactions on Affective Computing，题目为《AMA-EEG: Adaptive Multimodal Alignment for Cross-Subject EEG Emotion Recognition》。

南方科技大学与深圳理工大学联合培养的硕士研究生周建杰，以及石家庄信息工程职业学院、河北省网络安全感知与防御技术创新中心的曹世磊，为本文的共同第一作者。深圳理工大学人工智能研究院特聘副教授郑青青为本文的通讯作者。

论文链接：https://doi.org/10.1109/TAFFC.2026.3728157

开源代码：https://github.com/jianjiez100-sys/AMA-EEG

论文概要

脑电图（EEG）情绪识别模型在迁移到新受试者时，往往受到个体差异和信号非平稳性的影响。同一段情绪刺激视频可以在不同受试者中引起不同的EEG响应，而视频本身的内容相对一致。该论文利用这一特点，将视频图像及其文本描述作为共享语义参照，辅助模型学习跨受试者EEG表征。

论文提出面向跨受试者EEG情绪识别的两阶段自适应多模态对齐框架（AMA-EEG）。第一阶段通过预训练视觉语言模型提取刺激视频的图像和文本特征，根据两种模态的预测置信程度动态融合语义，再将EEG表征与融合结果进行对比学习。第二阶段冻结EEG编码器，仅训练情绪分类器。图像和文本只用于第一阶段的学习，下游分类与推理均只输入EEG信号。

在FACED和SEED数据集上的实验表明，AMA-EEG在FACED-2、FACED-9和SEED数据集上分别取得了78.29%、61.30%和69.45%的准确率，优于现有的前沿方法。

研究背景

同一段情绪视频诱发的EEG响应因人而异，模型用于新受试者时，识别准确率往往会下降。已有方法主要从EEG中提取时空特征，或对齐不同受试者观看相同视频时的EEG，但对视频内容本身的利用仍较有限。

如图1（a）所示，仅依赖EEG时，脑电特征与情绪语义之间存在鸿沟。该论文认为，视频画面及其文本描述可以提供共同的语义参照。如图1（b）所示，AMA-EEG在训练阶段引入这些内容信息，引导脑电表征与图文语义对齐，改善跨受试者情绪识别。

图1 图像与文本语义辅助EEG表征学习的示意图

研究方法

（一）两阶段学习框架

图2给出了AMA-EEG的整体结构。左侧为自适应多模态对齐阶段，包含EEG、图像和文本三个分支。EEG编码器提取脑电特征；冻结的图像、文本编码器提取刺激内容特征；两个辅助情绪分类器根据预测分布估计各模态的置信程度。图像和文本特征经投影、加权融合后，形成与EEG对齐的融合语义特征。

图2 AMA-EEG的多模态对齐与跨受试者分类框架

图2右侧为下游分类阶段。完成对齐后，模型移除EEG投影头，冻结EEG编码器，再训练MLP分类器。图中火焰表示参数可训练，雪花表示参数冻结。

（二）EEG与刺激视频的特征提取

图像分支每秒从刺激视频中均匀抽取3帧，经中心裁剪后，分别送入对比语言图像预训练模型（CLIP）的图像编码器，提取各帧的视觉特征。随后，通过最大池化将同一秒内3帧的特征合并为一个图像表征，再采用主成分分析（PCA）将其降至1024维。

文本分支选取每秒中间帧，输入Qwen2-VL-7B-Instruct视觉语言大模型，生成对画面可见内容的简短描述。描述包括人物外观、姿态、动作、环境、光照和颜色。随后，CLIP文本编码器将描述转换为1024维文本特征，提供与图像互补的语义信息。

EEG采用5秒滑动窗、2秒步长进行分段。每个EEG窗只选取中间一秒对应的图像和文本特征：图像来自该秒3帧的最大池化结果，文本来自该秒中间帧的描述。

EEG分支采用DAEST的时空卷积和动态注意力结构。时间卷积提取脑电的时间及频率相关特征，多尺度空间卷积则覆盖全部电极，在不同时间尺度上提取多电极信号的联合特征。

动态注意力模块用于整合这些多尺度特征。它通过时间卷积和逐点卷积计算注意力分数，经Sigmoid生成随时间变化的权重，再对特征加权并进行全局平均池化。所得EEG表征经投影头映射到语义空间，用于第一阶段的对齐学习。

（三）基于预测熵的自适应语义聚合

图像和文本特征的可靠性因样本而异。对于抽象场景，文字描述可能更有助于解释；而情绪表达明确的画面，则可能较少依赖文字补充。AMA-EEG分别为图像、文本配置一个辅助情绪分类器，用类别预测分布的熵衡量不确定性。预测概率越集中，熵越低，模型对该模态的预测越有把握。

模型先计算图像熵与文本熵之差，除以温度参数τ，再经Sigmoid函数得到融合权重α。其中，α对应文本权重，1−α对应图像权重。当图像预测熵相对更高时，模型提高文本权重；反之则提高图像权重。图像和文本特征分别经投影器映射到共同特征空间，再按上述权重融合，形成式（1）中的语义目标。

（1）

式中，z̃_text和z̃_img分别为投影后的文本、图像特征，z_target为融合语义目标。这里的权重由图像和文本辅助分类器的相对预测置信程度确定。

模型采用双向InfoNCE对比损失。对应的EEG表征与图文融合特征组成正样本对，同一批次内未配对的EEG与图文特征则组成负样本对。对比从EEG到图文、图文到EEG两个方向进行，使配对表征更接近，并与未配对表征区分开。两个方向的损失取平均，再与加权的图像、文本辅助分类损失相加，得到第一阶段的总损失。

实验设置

实验使用FACED和SEED两个数据集。FACED设置正负情绪二分类（FACED-2）和九分类（FACED-9）两项任务，采用按受试者划分的10折交叉验证；SEED进行三分类，采用留一受试者交叉验证。

第一阶段采用AdamW优化器，最多训练15轮，学习率为7×10^-4。第二阶段冻结EEG编码器，使用Adam训练分类器，最多30轮，学习率为2×10^-4。两个阶段均设置早停机制。

比较方法包括微分熵结合MLP、DS-AGC、CLISA、MSHCL、CL-CS和DAEST。采用准确率、F1分数和Kappa系数评价模型，并给出交叉验证结果的均值和标准差。方法间差异采用双侧配对t检验，并进行Holm多重比较校正。

实验结果

（一）跨受试者识别性能

表1和表2分别给出FACED二分类、九分类的结果。AMA-EEG在FACED-2上的准确率为78.29±3.43%，较DAEST的71.69±4.20%提高6.60个百分点。在FACED-9上，准确率由DAEST的51.76±6.02%提高到61.30±6.79%，增加9.54个百分点。两项比较经Holm校正后的p值均小于0.001，AMA-EEG相较DAEST的准确率提升均具有统计显著性。

表1 FACED二分类的跨受试者识别结果

表2 FACED九分类的跨受试者识别结果

表3给出SEED三分类结果。AMA-EEG获得69.45±10.87%的平均准确率，较最强基线DS-AGC的64.15±9.09%提高5.30个百分点。不过，与DS-AGC的差异经Holm校正后未达到统计显著性（p=0.204）。

表3 SEED三分类的跨受试者识别结果

（二）语义权重与模态消融

表4给出了FACED九类情绪的平均图文融合权重。愤怒、恐惧、悲伤、愉悦、喜悦和温情的图像平均权重较高，厌恶和激励的文本平均权重略高，中性较为均衡。例如，悲伤的文本、图像平均权重分别为0.356和0.644，厌恶分别为0.541和0.459。表中数值是按情绪类别统计的平均动态权重，并非预设的固定融合比例。

表4 FACED九类情绪的平均图文融合权重

表5比较仅用EEG主干、训练时加入文本、加入图像及同时加入两者的结果。FACED-9的准确率依次为51.76%、56.98%、58.88%和61.30%。两种语义单独使用均带来改善，联合使用获得最高准确率。表中的“EEG+Text”和“EEG+Image”指第一阶段的语义引导方式，下游推理仍只使用EEG。

表5 FACED上的语义模态消融结果

表6进一步比较文本固定权重为0.3、0.5、0.7及自适应权重的结果。自适应策略的FACED-9准确率为61.30%，所测试的最佳固定设置为61.22%，两者仅相差0.08个百分点。自适应策略减少了手动设定统一融合比例的需要，同时维持了与较优固定设置接近的性能。

表6 FACED九分类的融合权重策略比较

（三）特征表示分析

图3采用t分布随机邻域嵌入（t-SNE）方法，对FACED-2、FACED-9和SEED三项任务的特征进行二维可视化。上排为EEG主干输出，下排为MLP分类器最后一个隐藏层的特征，不同颜色表示不同情绪类别。与主干输出相比，隐藏层中同类样本的分布更集中，不同情绪类别之间的分离也更清楚。论文据此认为，分类头将主干表征进一步提炼为更具情绪判别力的特征。

图3 EEG主干与分类器隐藏层特征的可视化比较

（四）对未见刺激视频的泛化

为评估模型对训练中未见刺激视频的泛化能力，论文在FACED上进行三折跨视频评估，将刺激视频划分为互不重合的三组，保证训练与测试视频不同。表7显示，AMA-EEG在FACED-2和FACED-9上的准确率分别为57.38±4.26%和16.52±1.14%，仍高于DAEST的54.33±2.72%和13.07±1.77%。

表7 FACED三折跨视频评估结果

与共享视频的跨受试者主实验相比，两种模型的准确率均明显下降。论文指出，AMA-EEG所学表征与训练刺激的特定语义背景高度耦合。

结论

该论文将情绪诱发视频的图像与客观文本描述引入EEG表征学习，通过预测熵调节语义融合权重，再以对比学习完成跨模态对齐。在论文所比较的方法中，AMA-EEG在FACED二分类、九分类和SEED三分类任务上均取得最高平均准确率。FACED上的模态消融说明，图像和文本均可提供辅助信息，联合语义引导优于单一模态。

额外模态仅在表征学习阶段使用。文本描述离线生成并缓存，论文在单张RTX 4090上完成FACED、SEED文本生成分别约需61分钟和75分钟。下游训练和推理不再调用视觉语言大模型，只使用EEG编码器和分类器。

论文指出，所学EEG表征同时包含刺激相关语义和情绪判别信息，而当前共享刺激的评估方式尚难区分二者的相对贡献。跨视频评估中，AMA-EEG仍优于DAEST，但两种方法的性能均明显下降，对未见刺激的泛化仍有局限。后续研究将通过设计新的跨刺激对比学习目标，重点分离不依赖特定内容的情绪特征与特定内容相关的语义特征。

——END——

撰稿人：岑政远

审核人：李景聪

脑机接口与混合智能研究团队