近日，团队2025级博士研究生陈宗楠等在潘家辉教授的指导下，与南方医科大学珠江医院谢秋幼主任团队合作，研究成果“EEG- and Micro-Expression-Based Emotion Recognition and Consciousness Detection”被情感计算领域国际顶级期刊《IEEE Transactions on Affective Computing》（JCR Q1，中科院大类学科计算机科学一区TOP，IF：9.8）接收。该论文自2024年7月19日提交，于2025年12月26日被正式接收。

1. 研究背景

意识障碍（Disorders of Consciousness, DoC）患者缺乏可靠的行为反应，传统的诊断量表（CRS-R）依赖评估者的临床经验，极易漏诊或误判，需要客观、可重复的辅助评估手段进行辅助诊断。情绪作为意识水平的“窗口”，其识别结果可提示残存认知功能，通过设计标准化情绪采集范式与可解释性指标，可为临床医生提供客观、可重复的辅助诊断依据，降低主观判断带来的误诊风险。

现有方法大多使用EEG或脸部表情等单模态数据，或在多模态特征融合阶段直接连接特征或共享关注层，以及使用决策投票融合等策略。这些策略易因采样率与异构时空粒度差异导致特征细节被平滑、动态细节被稀释，使得对DoC患者本就微弱的情绪线索更不敏感。如何在意识障碍患者上实现高精度、可解释的多模态情绪识别并辅助医生进行临床意识检测，成为个性化意识评估与康复决策的迫切需求。

2. 方法和结果

本研究提出了一个多模态的情绪识别框架，该框架引入了一个基于时空注意力的异构特征融合模块和一个基于临床的情绪评估范式。框架通过“特征提取-异构融合-情绪对比”三段式流程实现EEG-微表情特征融合与情绪变化的可视化对比，主要创新如下：

（1）多模态时空注意力编码器（STAE）：提出一种保留时空结构并对齐的异构特征注意力模块，能够充分利用神经信号和面部微表情的互补信息；

（2）混合特征提取：通过时空注意模块将低维特征提取为更相关的信息，再使用神经网络生成高维特征，证明了将特定的低维特征和高维特征结合起来的有效性；

（3）临床意识评估范式：设计情绪反应相似性指标来衡量健康被试与意识障碍患者情感表达的差异，为临床意识检测提供了新的辅助评估手段。

实验结果表明，模型在EEG（SEED、SEED-IV）、微表情（CASME II–SAMM–SMIC）数据集上达到主流识别水平，在SEED上被试依赖和被试独立的准确率分别为93.47%、86.43%，在SEED-IV上被试依赖和被试独立的准确率分别为78.34%、74.31%，在CASME II–SAMM–SMIC上达到0.856（UF1）、0.843（UAR）；在多模态数据集（MAHNOB-HCI）上取得了最佳性能，Valence准确率86.1%、Arousal准确率85.7%。

在自采数据集的意识评估中，实验发现8名UWS患者中有2名患者的各项指标明显优于其他患者，表明这两名患者的脑活动水平和预后都较好，这与实验一个月后的临床结果也是一致的。同时，通过脑电地形图发现MCS患者与健康被试类似，而UWS患者在所有频带中表现出更低的功率和更少的局部模式。

3. 总结

本研究提出了一个多模态的情绪识别框架，该框架引入了一个基于时空注意力的异构特征融合模块和一个基于临床的情绪评估范式。通过结合脑电图和微表情捕捉到DoC患者的微小情绪表达，并设计情绪反应相似性指标来衡量健康被试与意识障碍患者情感表达的差异，从而评估DoC患者的情绪与意识状态。这种方法不仅提高了诊断的准确性，而且有助于更好地理解严重意识受损患者的情绪细微差别，为DoC患者的辅助诊断与床旁监测提供了可落地的情绪评估新范式。