学习报告：基于动态图卷积神经网络的脑电图情感识别

潘伟健、李景聪       

        Song等人提出一种基于图神经网络网络的脑电信号情绪识别方法，方法的基本思想是使用图信号对多通道脑电信号特征建模，然后基于该模型进行脑电图情感分类。相关成果在2018年3月发表与情感计算领域顶刊《IEEE Transactions on Affective Computing》，论文题目为《EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks》[1]。

图 1 论文发表网页

研究背景及意义

        情绪识别在人机交互中起着重要作用，它使机器能够感知人类的情感心理状态，从而使机器在人机交互中更“富有情感”。基本上，情感识别方法主要分为两类。 第一种方法基于非生理信号，例如面部表情图像，身体手势和语音信号。第二种方法基于生理信号，例如脑电信号（EEG），肌电信号（EMG）和心电信号（ECG）。在各种生理信号中，脑电信号是最重要的信号之一。脑电信号通常是直接从大脑皮层获取的，可获的较为客观、有效的情感信息。随着EEG电极技术的快速发展和基于EEG的信号处理方法的发展，基于EEG的情绪识别近年来得到了越来越多的应用。

        文章提出一种多通道脑电图情绪识别的图表示方法，其中每个EEG通道对应于图数据的一个节点，而两个不同顶点节点之间的联系对应于图的边。虽然图神经网络能够很好地处理图信号，但是需要预先确定各个脑电通道之间的联系，即确定图信号的边集。为了使图网络更好地表达EEG通道之间关系，文章提出了一种新颖的动态图卷积神经网络（DGCNN）模型，用于学习区分性EEG特征以及各种EEG通道之间的内在关系，例如功能关系。具体而言，为了学习各种EEG通道之间的关系，文章提出了一种通过学习邻接矩阵来构造图的各个顶点节点之间的连接关系的新颖方法。

脑电极的图表示方法

        由于EEG电极通道的分布位置是确定的，是典型的结构化数据，因此可以把脑电通道建模为图数据。将每个脑电极通道当作图数据中的一个节点，通道间的联系性表达成图数据的边，这样可以得到一个图。这个脑电极图数据可以定义为，其中表示图的节点集，表示图的边集，表示图的邻接矩阵。邻接矩阵中的值描述节点间的关系重要性，具体而言，邻接矩阵的第i行j列的值越大，代表第i个节点和第j个节点的关系越紧密。值 初始化方法通常是距离算法和K近邻算法。一种经典的距离算法是高斯距离算法，可以表示为：

其中, 和是算法中的参数。当节点i和节点j的距离大于，这两个节点不存在边，即认为两个节点对应的脑电通道之间不存在联系。

动态图卷积神经网络

图 2 模型结构图

        网络首先将情感脑电信号建模得到的图数据通过一系列动态图卷积层，再将图卷积层的输出输入到全连接分类器，最后得到情绪分类结果。

文章使用交叉熵加上一个正则化项作为损失函数，可以表示为：

其中，代表真实标签向量和预测向量，代表模型所有参数，为学习率，正则化项旨在防止过拟合。

        动态图卷积神经网络中的动态是指在训练过程中邻接矩阵会动态变化。动态的邻接矩阵使得图的节点之间的边和边权重动态变化，这样可以令模型更好地捕获脑电极通道间的关系，还原情感脑电通道之间的功能关系。

        为了实现邻接矩阵的动态变化，文章使用反向传播算法（back propagation，BP）来迭代更新网络的参数和邻接矩阵。首先模型计算出损失函数对于邻接矩阵的偏微分：

其中，表示为邻接矩阵的第i行第j列的值。 邻接矩阵的迭代公式为：

实验与结果

        文章使用SEED数据集和DREAMER数据集验证动态图卷积神经网络的性能。

表格 1 在SEED数据集上进行跨被试分类任务的平均准确率和标准差

        对于每种特征，使用较高频段的识别准确性要优于较低频段。模型使用五个频段中提取的特征组合在一起进行情感识别时，可以获得最佳的识别精度。模型利用情绪脑电微分熵特征DE进行分类的准确率显著高于其他特征。

图 3 DGCNN与其他模型方法的对比图

        与其他方法相比，动态图卷积神经网络的平均准确率更高，标准差更低。这说明动态图卷积神经网络有更佳的性能和稳定性。

表格 2 在DREAMER数据集上的平均准确率和标准差

        在DREAMER数据集的结果显示，所提出的DGCNN方法比其他三种最新方法具有更高的分类精度，其中效价分类的分类准确度分别高达86.23％，唤醒分类的分类准确度高达84.54％，优势分类的准确度高达85.02％。

总结与思考

        这篇文章说明图神经网络可以被运用在情绪识别任务上，并且可以捕获情感脑电通道间联系，以提高网络的性能。文章的主要结论如下：

1. DGCNN的非线性卷积神经网络的使用使处理非线性判别特征学习变得更加强大。
2. DGCNN的图表示方法提供了一种有效的方式来表征各种EEG通道之间的内在关系，这对于提取用于情感识别任务的最具区分性的特征是有利的。
3. 与其他论文的方法相比，DGCNN通过优化邻接矩阵W动态学习EEG通道的内在关系。

基于文章的结论，本人认为还可以在这研究基础上继续进一步研究：

1. 论文是基于反向传播算法更新邻接矩阵，今后的研究可以考虑采用线性层方式更新邻接矩阵。
2. 论文是基于图卷积神经网络，今后的研究可以考虑采用GAT、GraphSAGE等图卷积网络进行实验。
3. 今后的研究可以考虑参考其他成熟模型的结构，如U-net、Inception v3等。

参考文献

[1] T. Song, W. Zheng, P. Song, and Z. Cui, “EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks,” IEEE Trans. Affect. Comput., vol. 11, no. 3, pp. 532–541, Jul. 2020, doi: 10.1109/TAFFC.2018.2817622.