2021年5月15日下午，亚洲睡眠医学会第三届睡眠大会（ASSM）举行专题报告：人工智能（AI）应用于睡眠分析。来自大连理工大学生物医学工程学院的丛丰裕教授分享了“Title of Presentation Automatic Sleep Scoring Based on Multimodality Polysomnography Data”的专题发言。

图1：丛丰裕教授在ASSM 2021作口头报告

1. 研究动机

定量评估睡眠的金标准是多导睡眠监测(PSG)，它同时记录数十个包含EEG、EOG、EMG、ECG等的生理信号。单模态评分方法主要基于EEG，因为EEG信号包含有价值的和可解释的类似于大脑活动的信息。为了提高自动睡眠评分的性能，已有研究对多个脑电通道进行了研究。根据R&K规则，技术人员需要多模式的信号(如EEG、EOG和EMG)来对睡眠阶段进行评分。因此，许多研究都考虑了多个PSG信号。

本研究是为了建立一种融合多导睡眠图(PSG)信号的睡眠自动评分方法，并进一步探讨PSG信号对评分结果的影响。方法是综合考虑脑电(EEG)、眼电(EOG)、肌电图(EMG)和心电图(ECG) 4种PSG信号，寻找PSG信号的最佳融合方式。

图2：研究动机

2. 文献综述

手工睡眠评分的过程是劳动密集型的。研究表明，8小时睡眠记录的注释大约需要2-4个小时。随着计算机方法的发展，人们对PSG记录的自动评分越来越感兴趣。到目前为止，已经进行了无数次尝试来实现睡眠评分的自动化。传统的机器学习方法主要由两部分组成：特征提取和分类。在特征提取阶段，从变换或分解后的EEG、EOG或EMG信号中提取各种特征，如统计特征、频率特征和非线性特征。在分类方面，现有文献已经采用了支持向量机、随机森林、K近邻分类器、朴素贝叶斯、人工神经网络等方法。

最近，在自动睡眠评分领域，由于深度学习网络不需要明确的特征提取，特别适合大数据方法，因此涌现出许多采用深度学习网络的算法。卷积神经网络(CNN)已被用于原始EEG信号的自动特征提取，它在大型多中心睡眠数据集上提供了具有竞争力的评分性能。

图3：文献综述

3. 研究成果

研究提出的方法能将原始EEG信号扩展为由EEG、EOG、EMG和ECG组成的多模态PSG信号。这个想法是为了模仿睡眠专家进行手工睡眠评分的方式。当睡眠专家给一个30秒的PSG周期贴上标签时，他们会目测EEG信号的幅度和频率特征，以及与睡眠相关的事件，如纺锤波和K-复合体。他们还检查眼球运动和肌肉活动水平，作为标记某些阶段的参考，例如快速眼动期阶段。

该模型采用二维卷积神经网络(2D-CNN)从多模态信号中自动学习特征，并用“squeeze and excitation”模块重新校准通道特征响应。学习的表示最后被馈送到Softmax分类器以生成对每个睡眠阶段的预测。该模型在具有不同可用信道的两个公共睡眠数据集(SHHS和Sleep-EDF)上进行了性能评估。结果表明，模型在SHHS数据集上的总体准确率为85.2%，在Sleep-EDF数据集上的准确率为85%。还证明了所提出的结构不仅能够处理不同数目的输入通道和来自不同数据集的多种信号模态，而且具有运行时间短和计算成本低的特点。

 图4：研究成果

在任何睡眠实验室中，睡眠评分都是一个基本但耗时的过程。为了在不影响精度的前提下加快睡眠计分过程，之前的研究成果提出开发了一种具有多信号处理能力的睡眠自动计分工具箱，如图5所示。它允许用户选择信号类型和目标类别的数量。然后，将进行包括信号预处理、特征提取、分类器训练(或预测)和结果校正的自动处理。最后，应用界面显示预测的睡眠结构、相关睡眠参数和睡眠质量指标，以供参考。该工具箱由训练模块、离线预测模块、在线预测模块和几个参数面板组成。

图5：睡眠评分工具箱界面

为了探索信号类型与分类精度之间的关系，我们对涉及不同目标类的几种信号融合进行了贪婪搜索。结果如图6所示，其中列表示10折交叉验证的平均精确度，条形表示标准偏差。主要考虑了四个类别，在图6中以不同的颜色突出显示。对于每个类别，沿着X轴列出了12个信号融合，其中信号的名称缩写为其中间的字母。

图6描述了在每种情况下分类精度的不确定性或变化。总体上，随着信号类型的丰富，准确度均值增加，不确定度有所降低。更具体地说，图6表明所需的信号类型随目标类的数量而变化。如果将睡眠记录分为两类，即觉醒(W)和睡眠(S)，所有考虑的信号融合都能得到令人满意的结果。随着目标类数量的增加，所需信号的数量也相应增加。

图6：不同信号融合和目标分类的分类精度

综上所述，PSG信号的多模态融合有助于更高的准确率。此外，与人工评分相比，自动评分方法性价比高，可以减轻医生的负担，加快睡眠评分和睡眠研究。

参考信息

1. Fengyu Cong. Title of Presentation Automatic Sleep Scoring Based on Multimodality Polysomnography Data, ASSM 2021, Beijing. Oral report.

2. Yan R, Li F, Zhou D D, et al. A Deep Learning Model for Automatic Sleep Scoring using Multimodality Time Series[C]//2020 28th European Signal Processing Conference (EUSIPCO). IEEE, 2021: 1090-1094.

3. Yan R, Li F, Wang X, et al. An automatic sleep scoring toolbox: multi-modality of polysomnography signals’ processing[C]//International Conference on Signal Processing and Multimedia Applications. SCITEPRESS Science And Technology Publications, 2019.

4. Yan R, Zhang C, Spruyt K, et al. Multi-modality of polysomnography signals’ fusion for automatic sleep scoring[J]. Biomedical Signal Processing and Control, 2019, 49: 14-23.