团队成员陈荣滔、洪喆沛等在IEEE TAFFC发表图匹配域适应情感识别新成果

近日,团队2023级本科生陈荣滔、洪喆沛、李丽婷、黄卓仪在潘家辉教授和李景聪副教授的联合指导下,以本科生第一作者身份完成的论文"Multi-Scale Dynamic Temporal Network with Graph Matching Domain Adaptation for Cross-Subject EEG Emotion Recognition"被IEEE Transactions on Affective Computing正式接收发表。该期刊是中国人工智能学会(CAAI)推荐的A类国际期刊,中科院一区TOP期刊,最新影响因子9.8,是情感计算与脑机接口领域的国际顶级刊物。

破解跨被试脑电识别难题

脑电(EEG)情绪识别作为情感计算的核心技术,在智能医疗、人机交互等领域具有广阔应用前景。然而,跨被试场景下的模型泛化一直是困扰学界已久的"卡脖子"难题——由于个体间脑电信号存在显著的分布差异(非平稳性),传统方法难以提取域不变特征,且无法精准对齐不同个体的数据分布,导致模型在新用户身上性能骤降。

图1:Multi-Scale Dynamic Temporal Network模型整体框架图

针对上述挑战,该研究团队创新性地提出了基于图匹配域适应的多尺度动态时序网络(MDTNet)。该网络架构包含两大核心突破:

多尺度动态时序注意力机制(DTA):不同于传统的时空联合建模,该模块专注于时序维度的深度挖掘。通过并行多尺度卷积核捕捉长短时程的情绪动态,结合多头注意力机制进行自适应特征融合,并引入上下文门控层(Contextual Gate)利用全局批次信息抑制个体特异性噪声,有效提取出鲁棒的多尺度域不变特征。

切比雪夫图匹配域适应框架:团队开创性地将跨被试适应任务重塑为图匹配问题。通过动态学习基于切比雪夫多项式的邻接矩阵,构建可学习的脑功能连接图,在谱域空间实现了源域与目标域的边际分布与条件分布细粒度对齐。这一方法突破了传统对抗域适应的局限,通过结构化表示学习实现了跨个体知识的高效迁移。

实验性能优异

为验证模型泛化能力,团队在SEED和DEAP两大权威基准数据集上开展了系统的跨被试实验。在最具挑战性的跨被试单会话(Leave-One-Subject-Out)协议下,该方法在SEED三分类任务上取得了94.69%±5.16%的平均准确率,在DEAP数据集的二分类Valence和Arousal维度分别达到了69.45%±7.26%67.52%±8.28%的准确率,显著优于现有主流域适应方法(如DANN、GDAKF等),达到国际领先水平(State-of-the-Art)。

可视化分析进一步揭示了模型的域对齐能力:经动态图匹配处理后,原本因个体差异而混淆的特征分布被精准映射至各自的情感聚类中心,决策边界清晰度显著提升,充分验证了图匹配机制在跨被试脑电迁移中的有效性。

图2:数据对齐分布图

下一步计划

该论文成果源自省级大学生创新创业训练项目“基于多尺度动态时间特征融合和图域自适应的意识障碍辅助诊断系统”,从项目启动到论文录用历时16个月。研究团队表示,尽管当前模型已取得突破,未来工作将聚焦于更精细的时间粒度建模(如引入时序Transformer架构)及更高效的条件概率对齐策略(如基于原型学习的自适应对齐),计划在跨数据集(Cross-Dataset)场景下进一步验证模型的泛化边界。同时,团队将继续推进临床应用研究,为医生和患者提供智能诊疗服务。


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: