2024年第46届认知科学年度会议 (Annual Meeting of the Cognitive Science Society, CogSci 2024) 将于2024年7月24日至27日在荷兰鹿特丹召开。该会议的使命是将认知科学作为一门学科加以推广，并促进各研究领域（包括人工智能、神经科学、语言学、心理学、哲学和教育学）的交叉融合与科学交流，是中国计算机学会推荐的权威学术会议（CCF B类）。在本次会议中，团队成员陆德华、白辰宇、冯伟森、应祚睿、黄标、陈泉霖等在潘家辉教授、邱丽娜研究员、李景聪副教授的指导下投稿的6篇研究论文均以full paper形式被顺利录用。

论文1：

陆德华（2023级研究生）和潘家辉教授研究成果《A Deep Channel Attention Transformer for Multimodal EEG-EOG-Based Vigilance Estimation》的主要工作：

1. 设计了一个融合EEG和EOG信号的多模态范式。该范式可以有效利用EEG和EOG信号中的互补信息进行疲劳状态检测。

2. 设计了一个高效通道注意力模块用于提取多模态信号的局部特征，有效提高了多模态信号的利用率。

3. 设计了一个深度通道注意力Transformer用于提高疲劳检测的准确率（图1）。该模型可以有效提取多模态信号的局部-全局特征，高效利用多模态信号。实验结果表明，该模型在SEED-VIG和SADT数据集上取得了SOTA的表现。

图1 深度通道注意力Transformer框架

论文2：

白辰宇（2023级研究生）和潘家辉教授研究成果《EEG-Based Emotion Recognition via Convolutional Transformer with Class Confusion-Aware Attention》的主要工作：

1. 设计了一个高效新颖的情感EEG识别模型，该模型充分建模EEG的长短期时间特征差异和冗余空间信息。其特征提取器结合了一维CNN、通道SE模块和transformer，它能从局部和全局角度提取EEG信号的时间特征，并选择情绪识别中的关键通道。如图2 (a) 所示。

图2 模型结构示意图

2. 为了减轻情绪类别模糊性所带来的负面影响，我们设计了一种类别混淆感知 (class confusion-aware, CCA) 注意力机制。它可以自适应地感知情绪类别的易混淆程度并提高模型对易混淆情绪类别的关注度，这一过程结合了样本的不确定性评估与类别相关性，建立类别混淆权重并加权到损失函数。如图2 (b) 所示。

3. 我们在SEED和SEED-V数据集上进行了大量的实验，包括性能比较、消融实验和可视化等。结果表明模型的各个模块的有效性，并且取得了优秀的性能表现。

论文3：

陈泉霖（2023级研究生）和李景聪副教授研究成果《A Novel Self-Supervised Learning Method for Sleep Staging and its Pilot Study on Patients with Disorder of Consciousness》的主要工作：

1. 我们提出了一种名为TsC-EA新颖的自监督学习方法，利用对比学习和自编码器来学习睡眠脑电信号的时间和空间潜在特征。如图3所示。

2. 与最先进的自监督学习方法相比，所提出的方法在缺乏标记数据的情况下取得了更好的性能，且仅需10%的标记数据性能就能接近监督学习。

3. 基于提出的自监督学习方法，进行了一项有关DoC（意识障碍）患者的试点研究，在正常被试上进行无监督预训练，再迁移到DoC数据集上，以缓解DoC患者数据不足的问题。

图3 基于对比学习和自编码器的自监督学习整体架构

实验结果表明，该方法能在SleepEDF和MASS-SS3数据集上仅需少量样本的情况下表现良好，且在跨数据集迁移上有良好的表现，能有效缓解DoC数据不足的情况。

论文4：

冯伟森（2023级研究生）和邱丽娜副研究员研究成果《EFMLNet: Fusion Model Based on End-to-End Mutual Information Learning for Hybrid EEG-fNIRS Brain-Computer Interface Applications》的主要工作为：

1. 提出了一种基于端到端互信息学习的EEG-fNIRS深度融合网络（图4），利用EEG和fNIRS的互补时空特性，来提高EEG-fNIRS BCIs的性能。

2. 为EEG和fNIRS设计了个性化的特征提取器，分别捕获它们的关键时间和空间特征。

3. 采用两个并行的跨模态Transformer来学习EEG和fNIRS模态之间的互补信息，充分结合两个模态的优势。

4. 在两个公开的EEG-fNIRS BCI数据集上进行了端到端的完全跨被试实验，验证模型的性能。

图4 EFMLNet模型架构

实验结果表明，该模型在运动想象（MI）和心算（MA）任务中的表现优于最先进的方法，且具备推广到具有互补特性的其他生理信号的研究中的潜力。

论文5：

应祚睿（2023级研究生）和邱丽娜副研究员研究成果《Cross-subject EEG Emotion Recognition based on Multitask Adversarial Domain Adaption》的主要工作：

1. 设计了一个基于多任务学习和对抗域适应的EEG情绪识别框架（图5）。域匹配模块从数据集中识别最相似的个体作为源域，多任务学习模块同时对多种情绪进行分类，对抗域适应模块用于学习源域和目标域之间的个体差异。

2. 设计了一个基于多任务学习的对抗域鉴别器（图6），利用多任务学习和对抗域适应同时对多种情绪进行域判别，有效的减少个体间差异对情绪识别的影响。

3. 区别于传统的对抗域适应，该模型通过引入多任务学习，同时对多种情绪进行分类，有效的捕捉它们间的内在联系，可以快速的完成多种情绪的跨被试EEG情绪分类任务。

图5 基于多任务学习和对抗域适应的EEG情绪识别框架

图6 基于多任务学习的对抗域鉴别器

实验结果表明，该模型在公开数据集DEAP上的跨被试平均预测准确率超越传统的域适应模型，表明该模型在识别多维情绪方面的有效性。

论文6：

黄标（2021级研究生）和李景聪副教授研究成果《An Investigation on EEG-based Prognosis Prediction of Patients with Disorders of Consciousness》的主要工作：

1. 提出了一种新的混合脑电信号预测DoC患者预后的方法。如图7所示。

2. 提出的方法在跨被试和跨范式实验（如图8所示）中表现出鲁棒性，表明其广泛的适用性和可靠性。

3. 在22名DoC患者中，所提出的方法在预测三个月内患者CRS-R评分的改善方面获得了81.1%的预测准确性。

图7 实验设计和程序说明

图8 模型结构示意图