近日，团队2023级研究生陆德华、2022级研究生易子怡等在潘家辉教授、黄海云副研究员的悉心指导下，在中科院二区期刊《IEEE Transactions on Instrumentation and Measurement》成功录用学术论文“Confdence-Aware Multimodal Network for Driver Drowsiness Detection: Leveraging EEG-EOG Signals Enhanced by Knowledge Distillation”。该论文自2024年10月提交，于2025年7月8日被正式接收。

驾驶员疲劳是导致交通事故的主要原因，因此迫切需要先进的疲劳检测系统。生理信号的整合，特别是脑电图（electroencephalography , EEG）和眼电图（electrooculography, EOG）在该领域显示出优异的前景。然而，现有的方法面临多模态融合精度低和复杂模型计算量大的挑战。在本文中，我们提出了一种新的多模态疲劳检测框架，称为EEG-EOG置信度感知网络（EECNet），用于解决上述问题。EECNet使用深度通道注意转换（DCAT）模型有效地提取局部和全局EEG特征，而EOGNet则提取EOG特征。置信度感知模块用于评估每个模态的可靠性，从而提高多模态信息融合检测精度和鲁棒性。此外，本文还利用知识蒸馏(knowledge distillation, KD)来开发轻量级模型，从而有效地平衡复杂性和性能。在公共数据集上的实验结果表明，EECNet超过了最先进的方法，平均准确率达到95.68%，从而显示了其在检测驾驶员困倦方面的优越性能。

亮点：

1. 信心感知模块：本研究开发了一个置信度感知模块来评估EEG和EOG信号的可靠性，确保模式的融合受到各自置信度的指导。该方法显著提高了模型的鲁棒性和泛化性。
2. 面向实际部署的知识蒸馏：为了满足疲劳检测系统的实时性要求，我们实现了一种知识蒸馏技术。这种策略使我们能够训练一个参数量低、推理速度快的学生网络，从而在准确性和计算效率之间实现最佳平衡。
3. 公共数据集上最先进的性能：我们的方法是专门为EEG和EOG数据的多模态处理而设计的，为疲劳检测提供了一个全面的解决方案。我们通过在公开可用的数据集SEED-VIG实现最先进的结果来证明其优越性，确认其在现实世界应用中的实际效用。

方法：

EECNet的主要架构分为三个主要部分：单模态处理、置信度感知融合模块和分类器，如图1所示。

图 1 EECNet主体架构

首先是单模态处理。我们使用了不同的方法来处理EEG和EOG信号。对于EEG，我们使用了深通道注意转换器（DCAT）模型。这个模型擅长挑选出重要的细节，包括局部特征和全局特征，这有助于下一步对数据进行分类。对于EOG信号，我们首先使用特征提取器Feature Extractor，然后添加GhostModule使处理更加精确更加快速。

在置信度感知融合模块中，置信度感知模块首先通过置信度评估过程对每个信号特征关联的可靠性进行评估，然后再对这些特征进行融合。该置信度感知模块有别于传统的Maximum Class Probability (MCP), 而是利用True Class Probability (TCP)去更加精确的评估各个模态的置信度。

图 2 置信度感知模块架构。回归任务用于获取TCP值。分类任务用于生成预测TCP值。

最后，实现了分类器来执行分类任务。该分类器作为决策过程的最后一步，根据聚合的特征和评估的置信度确定适当的分类。为了满足实际需要，我们在教师模型的基础上，采用知识精馏的方法，对参数数量减少的学生模型进行训练。学生模型和教师模型仅仅有结构层数的不同。

实验结果：

我们在公开数据集SEED-VIG上做了大量实验来验证EECNet模型和知识蒸馏方法的有效性。具体的表现如下列各表所示。结果表明我们的方法能够在同样测试环境取得非常优异的结果，突出了方法的有效性。

表 1 各模型在SEED-VIG数据集分类任务表现

表 2 各模型在SEED-VIG数据集回归任务表现

表 3 单-多模态知识蒸馏前后师生模型的性能比较

结论：

本研究提出了一种新的多模态驾驶员疲劳检测模型，利用EEG和EOG数据来解决该领域的关键挑战。该模型解决了诸如多模态数据融合、不同置信水平和模型复杂性等挑战。通过采用信心感知融合和知识蒸馏，我们开发了一个既准确又实用的模型，可以在现实世界中使用，正如它在SEED-VIG数据集上的表现所证明的那样。综上所述，本研究在驾驶疲劳检测领域取得了重大进展，为今后的研究提供了明确的方向。