学习报告：基于迁移学习和融合网络的自动睡眠分期算法

本篇学习报告来源：《Automatic sleep staging method of EEG signal based on transfer learning and fusion network》(SCI Q2，IF:5.7787)。文章发表在《Neurocomputing》上，作者是来自西北大学信息科学与技术学院的Hai Wang等人。作者提出了一种基于迁移学习和融合网络的自动睡眠分期算法，即通过迁移学习的方法解决许多自动睡眠分期研究中数据稀缺的问题以提高小样本自动睡眠分期技术的性能、通过融合两种经典的睡眠分期网络使模型具备学习多种生理信号特征的能力。

1. 研究背景

目前，越来越多人因心理压力或生理疾病而患有睡眠障碍，而根据每个睡眠阶段生理信号的特点，确定和计算每个睡眠阶段的比例，从而对睡眠进行诊断和评估是治疗睡眠障碍的重要方法。其中由于EEG信号具有高精度的特点，基于EEG信号的多导睡眠监测是睡眠分期的重要基础。

由于不同睡眠阶段的EEG信号显示出不同的规律，智能分析EEG信号是自动睡眠分期的关键，然而三个方面极大地限制了自动睡眠分期技术在实际应用中的准确性和效率：1）由于伦理和数据采集技术的限制，可用于睡眠研究的数据集很少，昂贵的采集成本和规模较小的可用数据样本严重限制了自动睡眠分期技术的性能；2）现有的睡眠数据来自不同的数据采集设备和不同的电极通道，这导致现有的数据缺乏统一的标准，对训练好的模型在各数据集上的通用性造成了极大限制；3）EEG信号采集设备受电流和噪声等周围环境的影响较大，因此EEG信号包含大量干扰信号，使得信噪比较低进而导致分期模型的识别率较低。

为了解决上述三方面的问题，作者提出了以下两点创新：1）采用深度迁移学习的方法将在源域中训练的模型迁移到目标域中，以克服数据量不足的问题，同时对模型的特征学习层进行微调以解决通道不匹配的问题；2）使用一种新颖的融合网络，整合了两个深度学习网络，以学习更多的生理特征，以克服EEG信号的信噪比较低和对噪声敏感的问题。在在评估实验中，作者提出的模型在不依赖于大量训练数据的情况下，取得了87.84%的准确率，比同一实验环境中其他方法的准确率高1.57%-6.73%，实现了高准确率的睡眠分期。

1. 方法

提出的网络主要由五部分组成，如图1所示，分别为：1）数据预处理阶段：将采自Fpz-Cz通道的EEG信号分割成若干个30s的epoch作为Deepsleepnet分支的输入，此外将原始EEG信号进行快速傅里叶变换后的数据作为Seqsleepnet分支的输入；2）epoch处理阶段（Epoch Processing Block， EPB）：即Deepsleepnet和Seqsleepnet网络中的特征学习部分；3）序列处理阶段（Sequence Processing Block， SPB）：即Deepsleepnet和Seqsleepnet网络中的时序学习部分；4）迁移学习阶段：利用MASS数据集作为源域对两个模型分别进行预训练，以初始化模型参数，并使用四种微调策略将模型迁移到目标域Sleep-EDF中；5）网络融合阶段：将两个模型提取的特征融合，使用网格搜索法寻找最佳的融合策略，再使用LightGBM分类器完成睡眠分期任务。

图1 融合网络总体架构图

• 1. Seqsleepnet结构

本研究中使用的Seqsleepnet分支与原模型几乎一致，区别是本研究是单通道，而原模型是基于多通道的数据，结构如图2所示。EPB层由滤波器层和基于注意力机制的epoch级双向RNN层组成，这里的滤波器层其实就是全连接层，本研究中以滤波器层提取各频率子带特征，而epoch级双向RNN层由于具有顺序建模能力，预计将捕获时间动态以产生良好的特征，然后使用注意力机制学习加权向量，将不同时间点的输出向量组合成单个特征向量，以达到多对多的效果。SPB层则使用序列级双向RNN对epoch序列进行建模，通过softmax层进行序列分类。

图2 Seqsleepnet结构图

• 1. Deepsleepnet结构

本研究中使用的Deepsleepnet分支与原模型一致，结构如图3所示。EPB层由双分支的一系列不同尺寸的卷积层组成，其中尺寸较小的卷积核利于提取时间特征，而尺寸较大的卷积核利于提取频率特征。SPB层则使用双向LSTM层进行时序学习，通过softmax层进行序列分类。

图3 Deepsleepnet结构图

1. 迁移学习策略

为了实现迁移学习，部分预训练模型网络层被重复使用，其余部分则用目标域数据进行微调。本研究中的两个网络具有相同的特征学习结构（EPB）、时序学习结构（SPB）和 softmax 层。基于此，使用四种微调策略分别对上层网络进行微调，包括：finetune_all、finetune_softmax、finetune_-softmax_epoch、finetune_softmax_sequence，旨在微调特定层并冻结其余层，以弥补样本数据不足和过度拟合的缺陷。

2. 网络融合策略

通过融合两种网络的预测结果，模型可以学习到更全面的睡眠特征，并获得更准确的分类结果。具体来说，Seqsleepnet网络的输出结果Seq_yn和Deepsleepnet的输出结果Deep_yn被融合到Seq-Dep_yn公式中：

其中最佳的融合率a由步长为0.02的网格搜索算法来决定。然后Seq-Dep_yn被输入到LightGBM分类器中。LightGBM的核心是直方图算法，它将输入的连续值划分为一系列离散域。间隔的值将被视为一个区间，然后这些区间是精度单位的直方图，这使得数据的表达变得简单减少了存储器的使用，并且实现了正则化的效果，避免了过拟合的问题。

3.实验

3.1 实验数据

1）源域数据集（MASS）

MASS数据集包含200个整晚的多导睡眠数据，由97名男性（年龄42.9 /- 19.8岁）和103名女性（年龄38.3 /- 18.9岁）提供，200个被试来自三个不同医院的八个不同的研究。睡眠数据由睡眠专家根据AASM标准（SS1和SS3子集）或R&K标准（SS2、SS4和SS5子集）人工分期。

2）目标域数据集（Sleep-EDF）

Sleep-EDF数据集包含153个SC文件和44个ST文件，其中SC文件由78名25-101岁的健康高加索人组成，除受试者13、36和52因设备故障失去一次记录外，每个受试者都收集了连续两个昼夜的PSG记录。ST文件则是22名高加索男性和女性在没有其他药物的情况下连续两个昼夜的PSG记录。睡眠专家根据R&K标准进行人工分期，每个30秒的PSG epoch被标记为八个类别之一{W, N1, N2, N3, N4, REM, MOVEMENT, UNKNOWN}。本研究中N3和N4阶段被合并为N3阶段，MOVEMENT和UNKNOWN时段被排除在外。本研究使用了Fpz-Cz脑电通道的数据。

3.2实验结果

1）模型微调实验

本研究使用MASS源域数据集来分别预训练Seqsleepnet模型和Deepsleepnet模型，然后使用Sleep-EDF（SC）数据集来微调这两个网络。通过微调不同的网络层并冻结其他层，实现了四种微调策略，即分别对EPB层、SPB层、softmax层或所有层进行微调，通过比较微调结果可以确定每个网络的最佳微调策略。图4展示了两个网络的四种微调策略的雷达图，表1展示了它们的具体数据。

图4 微调实验雷达图

表1 微调实验结果

2）消融实验

本研究在Sleep-EDF（SC）数据集上进行了消融实验以验证模型中各组件的有效性，结果如表2所示。可见Deepsleepnet和Seqsleepnet的融合模型与单个模型相比性能有所提升，而迁移学习对Deepsleepnet性能的提升有较大帮助，对于Seqsleepnet也仍然具有一定益处，迁移学习和融合网络则获得了最佳的性能。

表2 消融实验结果

3）模型表现评估

为验证基于迁移学习和融合网络的自动睡眠分期算法的有效性，本研究在Sleep-EDF（SC）数据集和Sleep-EDF（ST）数据集上都进行了实验，结果如表3所示，在Sleep-EDF（SC）数据集上的准确度比Deepsleepnet、Seqsleepnet、CNN分类和预测联合框架、扩散几何方法和双CNN模型高了4.9％、2.4％、5.9％、5.1％和3.1％。同时，在Sleep-EDF（ST）数据集上，所提出的网络仍然具有最佳性能，准确度分别提高了1.1％、6.9％、4.4％、1.4％和1.1％。

表3 睡眠分期实验结果

4.学习总结

作者提出了一种基于迁移学习和融合网络的自动睡眠分期算法，将两种经典的网络融合分别提取睡眠数据中不同方面的特征，并且迁移学习提高了模型在Sleep-EDF数据集上的准确率，这对进一步提高我们自己研究的模型的准确率以及将模型应用在样本更加稀少的意识障碍患者睡眠数据上有一定启发，对微调策略实验结果的可视化方式可以学习，迁移学习解决通道匹配的问题也是此前没有意识到的点，而本研究在总结部分提到的使用网格搜索法查找微调过程中的最佳参数也为之后的研究提供了一种思路。