该论文发表于Advanced Engineering Informatics（中科院一区，IF=8.0），题目为《Light-weight residual convolution-based capsule network for EEG emotion recognition》。

安徽大学计算机科学与技术学院科研团队的范存航副教授为本论文的第一作者，安徽大学计算机科学与技术学院科研团队的吕钊教授为本论文的通讯作者。

论文链接：

https://www.sciencedirect.com/science/article/pii/S1474034624001708

论文概要

近年来，脑电图（EEG）情绪识别取得了显著进展。然而，当前所应用的浅层卷积神经网络（CNNs）无法很好地刻画不同特征之间的空间关系，这影响了模型的整体性能。此外，由于脑电样本数据量较小，收集和标注足够的脑电信号用于情绪识别仍具挑战性。从小样本数据中提取更具区分性的特征，是当前EEG情绪识别所面临的关键问题之一。为了解决这些问题，本文提出了一种轻量级的基于残差卷积的胶囊网络（LResCapsule），用于EEG情绪识别。LResCapsule 由基于 Light-ResNet 的特征提取器和胶囊分类器两部分组成。针对脑电训练数据不足的问题，本文设计了一种参数量较低的 Light-ResNet 网络，能够从原始脑电信号中自动提取深层的情绪特征。随后，采用胶囊分类器来识别局部特征与全局特征在空间域中的位置关系，从而进一步提升情绪识别性能。与 ResNet18 相比，所提出的 Light-ResNet 的参数数量减少了 84.5%。在 DEAP 和 DREAMER 两个数据集上的实验结果表明，所提出的 LResCapsule 在被试内和被试间实验中均优于当前主流的先进方法。

研究背景

EEG信号因其非侵入性、成本低、时间分辨率高而受到广泛关注。与面部表情、语音等非生理信号相比，EEG具有更强的抗干扰性与可靠性。由于情绪活动会引起脑电信号的变化，因此EEG已成为识别情绪的重要方式之一。随着深度学习的兴起，卷积神经网络（CNNs）被广泛用于EEG情绪识别任务。尽管如此，现有的浅层CNN结构仍存在一些问题，例如：无法有效提取空间特征、局部特征与全局特征之间的空间关系无法保留以及在处理小样本数据集时容易过拟合等。为了解决这些问题，近年来研究者尝试将胶囊网络（Capsule Network, CapsNet）应用于EEG情绪识别。胶囊网络能够有效保留特征的空间层次关系，并对不同通道的空间结构进行建模。然而，标准胶囊网络在处理原始信号时往往无法有效提取深层特征。

方法

为了解决这些问题，本文提出一种新的神经网络结构，称为轻量级残差卷积胶囊网络（LResCapsule），如图 1 所示。LResCapsule 包含两个部分：基于 Light-ResNet 的特征提取器和基于胶囊的分类器。Light-ResNet 拥有较少的参数量，能够从原始 EEG 信号中自动提取多层次的情绪特征。而基于胶囊的分类器则利用局部特征与全局特征之间的位置关系进一步进行情绪分类，从而提升性能。

（1） 数据预处理

通常，脑电信号由两部分组成：基线信号（在放松条件下收集）和实验信号（在刺激期间收集）。数据预处理包括去除基线信号，并使用滑动窗口进行数据切片。根据现有研究的分析结果，使用长度为 1 秒、无重叠的滑动窗口可以获得更好的分类准确率。因此，使用 1 秒的滑动窗口来切割基线信号和实验信号。

（2）基于 LResCapsule 的情绪识别

将 Light-ResNet 与胶囊层结合，可有效减少过拟合并提升识别准确率。胶囊分类器被用作 Light-ResNet 的全连接层，以弥补残差网络在输出阶段因池化操作导致的大量信息损失。

图1 模型框架

① 基于 Light-ResNet 的特征提取器

随着深度神经网络结构变得更加复杂，存在两个重要的问题需要解决：首先，高模型复杂度导致的计算资源消耗；其次，网络层数堆叠导致性能退化。为了优化卷积神经网络，该模型引入了一个由 ResNet18 推导出的残差学习模块，如图二所示。通过残差连接将梯度从高层传递至低层，模型可以在结构简单的前提下提取更深层次的特征。因此，使用轻量化的 ResNet（即 Light-ResNet）替代复杂模型，以获得更好的预测效果。

图2 Light-ResNet的网络架构

Light-ResNet 由四个残差模块组成（即 N = 4），每个模块都包含一个 3×3 的卷积核。该结构移除了最大池化层（max pooling），因为 CNN 在该层中丢失了大量有效信息，导致最终输出几乎不可用。

② 基于胶囊的分类器

基于胶囊的分类器由一个卷积胶囊层（低层次胶囊层）和一个全连接胶囊层（高层次胶囊层）组成，该结构通过动态路由机制来捕捉并聚类低层与高层特征的表达。低层胶囊层将多层次的特征图数据转换为原始胶囊，以便在胶囊中融入更多重要的情绪信息，从而提升其特征表达能力。在情绪状态方面，每个原始胶囊的长度与方向反映了其所关联的深层特征的存在性和特性。动态路由算法的详细信息，如图3所示。

图3 动态路由算法体系结构

实验和结果

在本文的实验中，使用了 DEAP 和 DREAMER 两个公开数据集来验证所提方法的性能。

（1）与基线模型结果对比分析

为了验证本文提出的基于 LResCapsule 的方法的有效性，本实验将其与 DEAP 和 DREAMER数据集上的一些基线方法进行了比较。这些方法包括决策树(DT)、支持向量机(SVM)、多层感知器(MLP)、3D卷积神经网络(3DCNN)、动态图卷积神经网络(DGCNN)和 CapsNet。

表1 不同方法在DEAP数据集上的三种分类任务的平均准确率（%）

表2 不同方法在DREAMER数据集上的三种分类任务的平均准确率（%）

从实验结果可以看出，所提出的 LResCapsule 方法在两个数据集上、三个维度的情绪分类任务中，均达到了最好的分类准确率，优于传统方法。

（2）与最先进的模型结果对比分析

使用相同的数据分割方法，将提出的 LResCapsule 模型与几种最先进和代表性的基于脑电图的情绪识别方法进行了详细比较，明确列出了本文的方法相对于使用DE特征和原始脑电图数据作为输入的最先进方法所取得的改进。

表3 与DEAP数据集上最先进的模型进行比较

表4 与DREAMER数据集最先进模型的比较

从实验结果可以看出，所提出的 LResCapsule 方法在两个数据集上、三个维度的情绪分类任务中，均达到了最好的分类准确率，优于现有 SOTA 模型。

（3）消融实验

为了验证本文提出的 LResCapsule 中改进部分的有效性 ，本实验在DEAP和DREAMER数据集上进行了消融实验。LResCapsule 基于 ResNet18 进行了层调整以减少参数数量。将改进后的 LResCapsule 与 ResNet18 和 Light-ResNet 进行了比较。

表5 所提出的模型和基线模型的参数

表6 在单被试实验中，DEAP数据集上的消融实验结果（%）

表7 在单被试实验中，DREAMER数据集上的消融实验结果（%）

从实验结果可以看出，轻量级残差网络（Light-ResNet）较 ResNet18 参数减少 84.5%（1.65M vs 10.65M），DEAP 准确率提升 8-11%（arousal 85.99%→97.58%），DREAMER 提升 5%（arousal 93.98%→95.77%）；胶囊分类器在 Light-ResNet 基础上进一步提升 13-15%（DEAP）和 2%（DREAMER）；完整模型 LResCapsule 在 DEAP 三分类任务中均达 97% 以上，DREAMER 达 95% 以上，且较其他轻量级网络（如 SqueezeNet、EEGNet）准确率提升 4-15%，验证了轻量级设计与胶囊层的有效性。

（4）与轻量级模型和浅层神经网络的对比

基于本文的数据划分和选择的数据分割长度，本实验将提出的Light-ResNet 与浅层CNN、现有最先进的轻量级网络进行了比较。浅层网络如3层CNN，轻量级网络如SqueezeNet、EEGNet和TSception。

表8 在DEAP数据集上的轻量级网络和浅层CNN的精度（%）

表9 在DREAMER数据集上的轻量级网络和浅层CNN的精度（%）

从实验结果可以看出，所提出的 LResCapsule 方法两个数据集上、三个维度的情绪分类任务中，均达到了最好的分类准确率，优于现有先进的轻量级模型和浅层神经网络模型。

结论

本文提出了一种基于多通道 EEG 情绪识别的 LResCapsule 架构，能够有效识别多通道 EEG 信号之间的内在关系。由于 EEG 样本数据量较小，具有大量参数的网络容易过拟合。通过减少模型参数数量和层数，可以有效缓解该问题并提升计算速度。

该方法可以通过基于轻量残差模块（Light-ResNet）自动提取深层特征，从原始 EEG 信号中检测情绪状态。其特征提取能力在情绪识别与分类任务中表现出色。该创新结构使模型能够探索更深层次的有用隐含特征用于分类。同时，使用动态路由机制的胶囊网络（胶囊神经元组）可以学习局部与全局之间的相对空间关系，从而捕捉关键的高阶信息。胶囊间的动态路由算法替代了传统卷积神经网络中的最大池化操作，避免了因池化而造成的位置信息损失。该算法会逐个计算隐藏层中每个胶囊之间的关系，并使隐藏层动态地连接，因此模型能够自动筛选更有效的情绪胶囊，从而提升识别性能。

在本研究中，对两个公开数据集 DEAP 和 DREAMER 上进行了实验。在被试内实验中，LResCapsule 在两个数据集上的表现均显著优于其他模型。该方法在 DEAP 数据集的唤醒度、愉悦度和主导度三个维度上分别取得了 97.58%、97.45% 和 97.61% 的平均准确率；在 DREAMER 数据集上分别达到了 95.77%、95.15% 和 95.59%。

撰稿人：郑凯彬

审稿人：游琪