4850
0
2022-04-29
2022-04-29
本次的学习报告分享，是基于IEEE在2021年4月发布的《An Attention-Based Deep Learning Approach for Sleep Stage Classification With Single-Channel EEG》论文进行的讲解。本论文旨在介绍一种基于注意力的单通道脑电睡眠分期的深度学习算法，作者提出了一种新的基于注意力的深度学习架构，利用单通道脑电图信号对睡眠时期进行分类。结果表明，作者提出的AttnSleep框架在不同的评估指标方面均优于最先进的技术。
原文链接：https://ieeexplore.ieee.org/abstract/document/9417097
睡眠对人类来说是一个重要的过程，因为它影响着他们日常活动的各个方面。研究表明，睡眠质量好的人类享有更好的健康和大脑功能[1]。另一方面，睡眠时间中断会导致一些睡眠障碍，如失眠或睡眠呼吸暂停症的[2]。特别是，睡眠阶段（如轻度睡眠和深度睡眠），对免疫系统、记忆、新陈代谢等都很重要。[3]–[5]。因此，通过睡眠监测和睡眠阶段分类来测量睡眠质量是非常理想的。睡眠专家通常根据多导睡眠描记术(PSG)来确定睡眠阶段，其中包括脑电图(EEG)、眼电图(EOG)、肛门肌电图(EMG)和心电图(ECG)[6]。单通道脑电图由于其易于使用，最近已成为睡眠监测的吸引力。特别是，PSG或单通道脑电图记录通常分为30秒的段，每个段由睡眠专家手动检查，然后分为六个阶段之一，即觉醒(W)、快速眼动(REM)和四个非快速眼动阶段(N1、N2、N3和N4)[7]。这个手工过程非常详尽、乏味和耗时。因此，需要自动睡眠阶段分类系统来帮助睡眠专家。
许多研究采用了传统的机器学习方法，将脑电图信号分类为相应的睡眠阶段。这些方法通常包括人工特征提取和睡眠阶段分类两个步骤。首先，他们从时域和频域中设计和提取各种特征。特征选择算法经常被用于进一步选择最具鉴别性的特征。其次，将所选的特征输入传统的机器学习模型用于睡眠阶段分类，如朴素贝叶斯[8]、支持向量机(SVM)[9]、[10]、随机森林(RF)[7]、[11]，甚至是基于集成学习的类因符[12]。然而，这些方法需要领域知识来提取最佳的代表性特征。
作者提出了一种新的AttnSleep架构，用于自动睡眠阶段分类。首先提出了一种新的基于多分辨率CNN(MRCNN)和自适应特征重新校准(AFR)的特征提取模块。MRCNN从不同频带中提取低、高频对应的特征，AFR对特征的相互依赖性进行建模，以增强特征学习。其次提出了一种新的时间上下文编码器(TCE)，它部署了一个具有因果卷积的多头注意，以有效地捕获所提取的特征中的时间依赖性。作者还设计了一个类感知的损失函数，以有效地解决数据不平衡的问题，而不需要额外的计算。
图一：提出的自动睡眠阶段分类的附加睡眠模型的总体框架。
作者提出的模型由三个主要的块组成，即1)特征提取、2)时间上下文编码器和3)分类。首先，利用具有双分支CNN体系结构的MRCNN，从一个30秒的脑电图信号中提取特征。特别是，它通过小核卷积提取高频特征，通过宽核卷积提取低频特征。在MRCNN之后，提出了一个AFR模块来建模由MRCNN提取的特征之间的相互依赖关系。
此外，AFR还可以自适应地选择和突出最重要的特征，这有助于提高分类性能。其次，作者开发了一个TCE模块来捕获输入特性中的长期依赖关系。TCE的核心成分是由因果卷积支持的多头注意力。第三，分类决策是由一个具有softmax激活函数的全连通层来完成的。利用一个类感知的成本敏感损失函数来处理数据不平衡问题。
图二：用于特征提取的MRCNN和AFR模块，每个卷积块之后都有一个批处理归一化。
多分辨率CNN（MRCNN）：为了提取不同类型的特征，作者开发了一个多分辨率的CNN架构，如图一所示，实现了两个具有不同核大小的卷积层的分支，其中核大小的选择与脑电图信号的采样率有关，旨在探索不同的频带。自适应特征重新校准(AFR)：AFR旨在重新校准MRCNN学习到的特性，以提高其性能。特别是AFR对特征之间的相互依赖关系进行建模，并通过残差挤压和激励块自适应地选择最具鉴别性的特征。
图三：提出的多头注意事项的结构
TCE层旨在捕获输入特征中的时间依赖性。如图一所示，TCE层由一个多头注意(MHA)层、一个归一化层和两个FC层组成。此外，TCE堆叠了两个相同的结构来生成最终的特征。
在实验中，使用了三个公共数据集，即sleep-edf-20、sleep-edf-78和睡眠心脏健康研究(SHHS)，如表一所示。对于每个数据集，我们在不同的实验中使用了单一的脑电图通道。
表一：在我们的实验中使用的三个数据集的细节（每个样本是一个30秒的时期）
表二、表三和表四显示了所提模型在Fpz-Cz信道上的应用的混淆矩阵，sleep-edf数据集和SHHS数据集中的C4-A1通道。混淆矩阵的计算方法是将测试数据的所有评分值相加。每一行表示专家分类的样本数量，而每一列表示我们的模型预测的时代数。表格中还显示了每个类的精度、查全率、F1分数和GM平均值。
表二：在edf-20数据集的fpz-cz通道上应用的模型的混淆矩阵
表三：在edf-78数据集的fpz-cz信道上应用的模型的混淆矩阵
表四：在SHHS数据集的c4-a1通道上提出的模型的混淆矩阵
值得注意的是，睡眠阶段N1在F1小于50%时获得的性能，其中它经常被错误地分类为W、REM和N2类。同样，N3类对Sleep-EDF-20和SHHS数据集的性能最好，但对Sleep-EDF-78的性能下降，因为它是该数据集上的少数类。不同数据集中的大多数错误分类都是N2类，因为它是大多数类。
表五显示了DeppSleepNet[20]、SleepEEGNet24]、ResnetnetLSTM[43]、MultitaskCNN[17]和我们的AttnSleep之间的比较。我们观察到，我们的AttnSleep由于其强大的特征提取模块，比其他四种方法具有更好的分类性能。特别是，我们的AttnSleep在Sleep-EDF-78和SHHS上实现了更好的MF1和MGm，这表明设计的成本敏感损失函数有助于处理不平衡的数据。此外，我们可以观察到，我们的AttnSleep在N1类中的表现低于[20]，[24]。因此，我们的AttnSleep倾向于将N1错误地归类为其他类别，包括W和REM，这也在表二、表三和表四中的混淆矩阵中得到了证明。
表五：AttnSleep模型与最先进模型之间的比较。每个数据集上的最佳值将以粗体突出显示
该论文作者提出了一种新的睡眠阶段分类结构，称为AttnSleep。AttnSleep依赖于利用多分辨率卷积神经网络(MRCNN)和自适应特征重新校准(AFR)两个模块来提取脑特征。这两个模块之后是时间上下文编码器(TCE)模块，该模块通过使用多头注意(MHA)机制来捕获所提取的特征之间的时间依赖性。在三个公共数据集上的实验结果表明了该模型在各种评估矩阵下优于最先进的方法。
此外，还进行了消融研究，以证明该方法中各模块的有效性。最后进行了敏感性分析来证明MHA中头部数量的影响。结果表明，该方法在不同的头数下是相当稳定的。对于未来的发展方向，将考虑迁移学习和领域自适应技术，该技术采用在标记数据集上训练的模型，以对其他数据集中的未标记睡眠数据进行分类。
[1] F. S. Luyster, P. J. Strollo, P. C. Zee, and J. K. Walsh, “Sleep: A health imperative,” Sleep, vol. 35, no. 6, pp. 727–734, Jun. 2012.
[2] P. H. Finan et al., “Partial sleep deprivation attenuates the positive affective system: Effects across multiple measurement modalities,” Sleep, vol. 40, no. 1, pp. 1–9, Jan. 2017.
[3] G. Rauchs, B. Desgranges, J. Foret, and F. Eustache, “The relationship between memory systems and sleep stages,” J. Sleep Res., vol. 14, no. 2, pp. 123–140, 2005.
[4] S. Sharma and M. Kavuru, “Sleep and metabolism: An overview,” Int.J. Endocrinol., vol. 2010, pp. 1–12, Oct. 2010.
[5] J. Tank et al., “Relationship between blood pressure, sleep Kcomplexes, and muscle sympathetic nerve activity in humans,” Amer. J. Physiol.-Regulatory, Integrative Comparative Physiol., vol. 285, no. 1, pp. R208–R214, Jul. 2003.
[6] A. S. Keenan, “An overview of polysomnography,” in Handbook of Clinical Neurophysiology, vol. 6. Amsterdam, The Netherlands: Elsevier, 2005, ch. 3, pp. 33–50.
[7] P. Memar and F. Faradji, “A novel multi-class EEG-based sleep stage classifification system,” IEEE Trans. Neural Syst. Rehabil. Eng., vol. 26, no. 1, pp. 84–95, Jan. 2018.
[8] S. I. Dimitriadis, C. Salis, and D. Linden, “A novel, fast and effificient single-sensor automatic sleep-stage classifification based on complementary cross-frequency coupling estimates,” Clin. Neurophysiol., vol. 129, no. 4, pp. 815–828, Apr. 2018.
[9] G. Zhu, Y. Li, and P. Wen, “Analysis and classifification of sleep stages based on difference visibility graphs from a single-channel EEG signal,” IEEE J. Biomed. Health Informat., vol. 18, no. 6, pp. 1813–1821, Nov. 2014.
[10] S. Seifpour, H. Niknazar, M. Mikaeili, and A. M. Nasrabadi, “A new automatic sleep staging system based on statistical behavior of local extrema using single channel EEG signal,” Expert Syst. Appl., vol. 104, pp. 277–293, Aug. 2018.
[11] X. Li, L. Cui, S. Tao, J. Chen, X. Zhang, and G.-Q. Zhang, “HyCLASSS: A hybrid classififier for automatic sleep stage scoring,” IEEE J. Biomed. Health Informat., vol. 22, no. 2, pp. 375–385, Mar. 2018.
[12] A. R. Hassan and M. I. H. Bhuiyan, “Computer-aided sleep staging using complete ensemble empirical mode decomposition with adaptive noise and bootstrap aggregating,” Biomed. Signal Process. Control, vol. 24, pp. 1–10, Feb. 2016.
[20] A. Supratak, H. Dong, C. Wu, and Y. Guo, “DeepSleepNet: A model for automatic sleep stage scoring based on raw single-channel EEG,” IEEE Trans. Neural Syst. Rehabil. Eng., vol. 25, no. 11, pp. 1998–2008, Nov. 2017.
[24] S. Mousavi, F. Afghah, and U. R. Acharya, “SleepEEGNet: Automated sleep stage scoring with sequence to sequence deep learning approach,” PLoS ONE, vol. 14, no. 5, May 2019, Art. no. e0216456.
[43] Y. Sun, B. Wang, J. Jin, and X. Wang, “Deep convolutional network method for automatic sleep stage classifification based on neurophysiological signals,” in Proc. 11th Int. Congr. Image Signal Process., Biomed. Eng. Informat. (CISP-BMEI), Oct. 2018, pp. 1–5.
