近日，脑机团队成员应祚睿等人在邱丽娜老师和潘家辉老师指导下的研究成果“MTADA: A Multi-task Adversarial Domain Adaptation Network for EEG-based Cross-subject Emotion Recognition”被人工智能领域国际顶级期刊 IEEE TRANSACTIONS ON AFFECTIVE COMPUTING（JCR Q1, 中科院大类学科计算机科学一区TOP, IF: 9.8） 接收。该论文于2025年2月15日投稿，2025年7月30日正式被接收。该研究受到科技创新2030-“脑科学与类脑研究”重大项目、国家自然科学基金青年科学基金项目等资助。 

1. 研究背景

情绪在人们的日常生活中有着非常重要的作用，它影响着人类思考和对事物的判断。脑电图（Electroencephalography, EEG）情绪识别作为情感计算领域的重要研究方向，近年来受到广泛关注。EEG信号通过记录大脑皮层的电活动，能够反映个体在不同情绪状态下的神经活动变化，具有高时间分辨率、非侵入性和成本较低等优势。与面部表情、语音、心率等其他情绪识别方式相比，EEG信号更难伪装，能够提供更为真实和细致的情绪特征，被广泛应用于脑机接口（BCI）、心理健康评估、人机交互等场景。目前，大多数情绪识别模型主要集中在单任务学习，即一次只学习和识别一个维度，如效价，唤醒或优势。这种方法不仅导致学习效率低，而且忽略了不同情感维度之间的潜在联系，导致识别精度不佳。

2. 方法和结果

图1：基于多任务学习和对抗域适应的跨被试情绪识别模型（MTADA）的框架

在本研究中，我们提出了一种名为 MTADA 的跨被试脑电情绪识别模型，其整体框架如图1所示。该模型主要包括三个关键模块：领域匹配模块、多任务情感分类模块和对抗域适应模块。在域匹配阶段，模型从多个源域中选择与目标域（目标被试）最相似的数据，并将其标记为“最佳匹配源域”，以作为后续迁移学习的基础。在多任务情感分类模块中，编码器首先将高维脑电特征映射至低维潜在空间，随后通过多头分类器对多个情感维度标签（如valence、arousal、dominance）进行联合预测，实现多任务学习。在对抗性领域自适应模块中，模型利用源域样本与目标域样本构造跨域样本对，通过对抗性训练方式对齐源域与目标域的分布差异，从而提升跨被试泛化能力。

为了验证所提出的模型在EEG情感识别上的性能，本研究在DEAP和FACED这两个公开的EEG情感数据集上进行了实验。DEAP是2011年提出的用于分析人类情绪状态的多模态数据集。该数据集收集了32名健康个体（50%为女性）观看40段1分钟长的音乐视频剪辑时的EEG和外周生理信号。EEG信号由32个通道以128 Hz的采样频率记录。受试者的年龄范围为19 - 37岁，平均年龄为26.9岁。实验结束后，每位受试者都被要求根据几个维度对每段视频进行评分，包括效价、唤醒、支配和喜欢，评分范围为1到9。FACED是2023年提出的大规模情感计算EEG数据集，记录了123名受试者（75名女性和48名男性）的32通道EEG信号。以250 Hz的采样频率采集EEG信号。受试者的年龄范围为17 - 38岁，平均年龄约为23. 2岁。在实验过程中，被试被邀请观看28个情绪诱导视频片段，长度从34秒到129秒不等（平均约66秒），涵盖了9种情绪类别（娱乐、灵感、喜悦、温柔、愤怒、恐惧、厌恶、悲伤和中性情绪）。观看视频后，受试者需要从12个不同的情绪维度对每个视频进行评估，包括愤怒、恐惧、厌恶、悲伤、娱乐、灵感、喜悦、温柔、效价、唤起、喜欢和熟悉，使用从0到7的连续量表。试验结果如下：

表1 ：不同模型在DEAP数据集上识别准确率的比较（%）。

表1给出了在DEAP数据集上的最新方法和所提出的方法的跨被试情绪识别精度。在DEAP数据集上，MTADA在效价维度上的平均识别率为76.39%，而唤醒维度和支配维度的平均识别率分别为69.74%和68.26%。

表2 ：不同模型在FACED数据集上的识别准确率的比较（%）。

表2给出了在FACED数据集上的最新方法和所提出的方法的跨被试情绪识别精度。在FACED数据集上，我们同时对十个情绪维度（包括娱乐，灵感，喜悦，温柔，愤怒，恐惧，厌恶，悲伤，效价和唤醒）进行了跨学科的二元分类情绪识别。所有情绪维度的识别准确率均超过77.55%。我们在FACED数据集上进行了两个实验：一个九类情绪识别任务和一个基于正/负情绪的二元分类任务。在九类情绪任务中，情绪被分为娱乐、灵感、喜悦、温柔、愤怒、恐惧、厌恶、悲伤和中性情绪等九个独立的标签。二元分类任务将情绪简化为积极的（例如，娱乐、灵感、喜悦、温柔）和消极（例如，愤怒、惧怕、厌恶、悲伤）的情绪。如表2所示，MTADA在两项任务中的表现都优于现有模型。在九类任务中，MTADA的准确率为44.37%，在二元分类任务中，MTADA的准确率为86.21%，显著高于现有的算法模型。

3. 结论

本研究提出了一种基于多任务学习和对抗域适应（MTADA）的跨被试脑电情绪识别模型，该模型融合了多任务学习与对抗域适应机制，以提升跨被试情绪识别的性能。为减小个体间差异，模型首先采用域匹配策略，从多个源域中选取与目标域最为匹配的源域数据；随后，模型引入对抗域适应机制，以学习源域与目标域之间的分布差异，并通过构建融合类别信息的细粒度联合领域判别器对两者进行对齐。此外，模型还引入了多任务学习机制，能够同时学习多个情绪维度，有效挖掘并利用不同情绪之间的互补信息，从而进一步提升识别效果。所提出的 MTADA 模型不仅能够有效应对脑电情绪识别中的个体差异问题，还能够捕捉不同情绪维度之间的内在联系。在跨被试情绪识别任务中，其性能优于大多数现有先进方法，为未来基于脑电的脑机接口系统提供了一种新的解决策略。