学习报告: 基于动态图的脑电情绪识别卷积神经网络

本篇学习报告的内容为“基于动态图的脑电情绪识别卷积神经网络”，所参考的论文为《EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks》。此论文提出一种根据图对多通道脑电特征进行建模，然后基于该模型进行 EEG 情感分类的方法。相比其他基于图神经网络的EEG分类的方法，它能够捕获 EEG 通道的内在连接，具有更高的准确率。原文链接及其近期十篇他引论文附在本文末。

1. 图神经网络方法介绍

图神经网络（Graph Neural Networks，GNN）是指基于图论知识来建模，然后使用神经网络来处理图域数据的方法。图卷积神经网络（Graph Convolutional Neural Networks，GCNN）是卷积神经网络（Convolutional Neural Networks，CNN）的拓展。传统的CNN可以用来学习图像、视频和语音中的特征。但是，脑电通道信号在空间域是离散的和不连续的。所以，使用图来表示脑电通道之间的关系，并且使用 GCNN 来处理离散空间域中信号的特征比传统 CNN 更具有优势。

本文作者介绍了动态图卷积神经网络（Dynamical Graph Convolutional Neural Networks ，DGCNN）方法，这是基于GCNN 方法提出来的。相比于之前的GCNN 方法，DGCNN具有一定的创新性。传统的 GCNN 方法的是预先根据脑电通道的空间位置来确定图节点的连接，但是脑电通道之间的空间位置联系不同于它们之间的功能联系。而 DGCNN 不同，他的邻接矩阵会随着每一次的训练更新，他通过学习得到的邻接矩阵会捕获EEG通道之间的内在关系，所以情感分类结果会有更高的准确率。

1. GCNN模型

GCNN 模型分为图过滤层、卷积层、Relu激活层和全连接层，如图1。

图1

DGCNN 模型首先输入从多个频段提取的 EEG 特征，每个EEG 通道在 DGCNN 模型中代表一个节点。图1中 是空间滤波函数，是一种流行的图数据运算的信号处理方法。 使用空间滤波图过滤输入的EEG特征图之后就是 1 × 1的卷积层用来学习频域之间的特征。然后，使用Relu 激活函数来保证输出层是非负的数据。最后，图数据进入全连接网络然后使用 Softmax 函数做出最后判断。

1. DGCNN 算法

损失函数用来计算当前训练之后得到的结果和预测结果的差距，根据预算结果可以使用反向传播（BP）方法更新参数，让计算结果逐渐靠近预期结果以此提高分类的准确率。以下式子是作者给出的基于交叉熵代价的损失函数：

其中 和 分别表示训练数据的实际标签向量和预测的标签向量， 表示所有模型参数，α是权衡正则化权重。交叉熵函数 用于测量实际情感标签与期望标签之间的差异，而正则化 是为了防止过拟合。

BP 方法能够动态更新函数，也就是根据梯度对参数进行修改让他接近最优解。作者给出的更新邻接矩阵的公式为：

表示邻接矩阵，ρ 表示网络的学习率

图2

DGCNN模型进行EEG情绪识别的过程如图2。

1. 基于SEED数据集的脑电情绪识别实验

作者使用了两种实验来评估使用的DGCNN方法的EEG情绪识别性能。第一种是被试内情绪识别实验，另一种是实验主体独立的。

（1）被试内情绪识别实验

本实验是对一个受试者的15次EEG数据进行实验，其中前9次实验用来训练，其余6次实验用来测试。然后计算每个时间段GDCNN的识别准确率。最后，计算出所有测试的平均分类准确率和标准差。

表1

表1总结了5中不同EEG特征类型和5个不同频段下的EEG情绪识别准确率和DGCNN方法的标准偏差的实验结果。从图中可以看出：

1. DE特征相比于其他脑电特征，其识别率更高，并且融合5个频段的准确率最好。
2. 在四种脑电情感识别方法中，DGCNN和GCNN取得了远比其他两种方法更好的平均识别准确率，并且在一定的情况下，DGCNN的准确率要高于GCNN。
3. 5个脑电频段中，β和γ的识别效果显著高于其他频段。

（2）被试间情绪识别实验

在被试间情绪识别实验中，作者采用留一被试交叉验证（LOSO）策略来评估DGCNN方法的EEG情绪识别性能，即从15名被试数据中抽取14名被试数据用来训练学习，剩下一人的数据用来作为测试，如此重复，每个人的数据都用做一次测试数据。

表2

表2是不同EEG特征和不同频段下DGCNN的平均情绪识别准确率和标准差的实验结果，从中可以看出：频率较高的β和γ频段识别效率更好。

综合5个频段的特征进行情绪识别时识别准确率最高，这点和主体相关实验的结果相同。其中，当5个频段和DE特征结合时情绪识别准确率最高，达到了79.95%。

被试依赖实验不同，因为训练数据和测试数据不是同一人，所以需要考虑跨域的情绪识别问题。作者采用了几种流行的跨域识别方法和DGCNN方法进行了比较，结果如图3。

图3

由图3可知，相比于其他流行的跨域识别方法，DGCNN的识别率仍然是最高的，并且它的标准偏差远低于其他方法，这说明DGCNN相比其他四种方法更加稳定。

1. 基于DREAMER数据集的脑电情绪识别实验

实验中，作者先提取一组PSD特征。接着，裁剪对应每个电影片段最后的60秒的脑电信号，然后把信号分成3个频段。每个频段中，60s会用一个256个EEG点的窗口滑动分割成一组59各块。最后根据每个块计算PSD特征。每个快会获得有关14个EEG通道的14个特征。

作者和基于SEED数据库的实验一样，采用了与被试相关的留一法交叉验证来进行试验。也就是每个受试者的18个会话中，17个会话用于训练，1个会话用于测试，重复18次，使得每个人的每一次会话都用于一次测试。实验结果如表3。

表3

表3显示，DGCNN和其他方法相比，获得了更高的精确度，价分类的精确度达到了86.23%，唤醒分类达到了84.54%，优势分类达到了85.02%。并且DGCNN的平均偏差远低于其他方法，比其他方法更加稳定。这个实验结果和基于SEED数据库的实验结果基本吻合。

1. 总结和思考

本文中，作者提出了DGCNN模型用于识别，经过在SEED数据库和MREAMER数据库的实验验证，DGCNN具有比其他情绪识别方法更加高的准确率和稳定性。DGCNN的准确率相比于其他方法的提高在于：

1. 文章使用了图神经网络，能够更好的学习非线性离散数据的判别特征
2. 文章使用优化邻接矩阵来自适应学习脑电通道的内在关系，而不是和传统GCNN方法一样根据脑电预定义脑电图。

DGCNN虽然具有良好的性能，但是深度神经网络的优化需要足够的数据，目前的脑电图数据库不足以满足DGCNN对于数据量的需求，未来可能需要一个规模更到的数据库来解决此问题。

撰稿人：陈希昶

审稿人：李景聪

原论文链接：https://sci-hub.se/10.1109/taffc.2018.2817622

近期他引论文

[1] Gu X, Cao Z, Jolfaei A, et al. EEG-based brain-computer interfaces (BCIs): A survey of recent studies on signal sensing technologies and computational intelligence approaches and their applications[J]. IEEE/ACM transactions on computational biology and bioinformatics, 2021.

[2] Zhong P, Wang D, Miao C. EEG-based emotion recognition using regularized graph neural networks[J]. IEEE Transactions on Affective Computing, 2020.

[3] Jiang Y, Li W, Hossain M S, et al. A snapshot research and implementation of multimodal information fusion for data-driven emotion recognition[J]. Information Fusion, 2020, 53: 209-221.

[4] Zhang D, Stewart E, Entezami M, et al. Intelligent acoustic-based fault diagnosis of roller bearings using a deep graph convolutional network[J]. Measurement, 2020, 156: 107585.

[5] Wu D, Xu Y, Lu B L. Transfer learning for EEG-based brain-computer interfaces: A review of progress made since 2016[J]. IEEE Transactions on Cognitive and Developmental Systems, 2020.

[6] Tao W, Li C, Song R, et al. EEG-based emotion recognition via channel-wise attention and self attention[J]. IEEE Transactions on Affective Computing, 2020.

[7] Jaiswal S, Nandi G C. Robust real-time emotion detection system using cnn architecture[J]. Neural Computing and Applications, 2020, 32(15): 11253-11262.

[8] Cui H, Liu A, Zhang X, et al. EEG-based emotion recognition using an end-to-end regional-asymmetric convolutional neural network[J]. Knowledge-Based Systems, 2020, 205: 106243.

[9] Suhaimi N S, Mountstephens J, Teo J. EEG-based emotion recognition: A state-of-the-art review of current trends and opportunities[J]. Computational intelligence and neuroscience, 2020, 2020.

[10] Doma V, Pirouz M. A comparative analysis of machine learning methods for emotion recognition using EEG and peripheral physiological signals[J]. Journal of Big Data, 2020, 7(1): 1-21.