ICLR | 一种适用于EEG的无监督个体持续学习框架BrainUICL

该论文发表于International Conference on Learning Representations 2025(CCF A),题目为《BrainUICL: An Unsupervised Individual Continual Learning Framework for EEG Applications》。

浙江大学的周阳轩为此文第一作者,浙江大学的赵莎研究员为此文的通讯作者。

论文链接:https://openreview.net/pdf?id=6jjAYmppGQ

论文概要

脑电图(EEG)是一种非侵入式脑机接口技术,在临床诊断、睡眠阶段识别、情绪识别等领域有广泛应用。然而,现有的EEG模型在临床实践中面临个体差异大、新患者不断涌现的挑战,导致泛化能力不足。为此,本文提出了一种无监督个体持续学习框架(BrainUICL),使模型能在无需标签的前提下持续适应新个体的同时保持对历史和未来个体的泛化能力。通过动态自信缓冲区(Dynamic Confident Buffer, DCB)和跨周期对齐(Cross Epoch Alignment, CEA)模块,平衡模型的可塑性(适应新个体)和稳定性(保持对未见个体的泛化能力)。实验表明,BrainUICL在睡眠分期、情绪识别和运动想象三种主流EEG任务中均显著优于现有方法。BrainUICL框架工作流如图1。

图1 BrainUICL框架工作流

研究背景

脑电技术因其无创和高时间分辨率的特性,在临床实践中扮演着重要角色。然而,现有脑电模型在真实世界应用中表现不佳。主要挑战在于:

  1. 持续的个体流入:在临床等实际场景中,每天都会有新的受试者出现,形成一个持续的数据流。
  2. 显著的个体差异:不同受试者在生理结构和物理特征上存在巨大差异,导致脑电信号分布不同。
  3. 泛化能力局限:在固定数据集上训练的模型,很难泛化到这些持续出现的、未曾见过的新个体上。

这些问题促使研究者寻求新的解决方案。持续学习(Continual Learning, CL)允许模型从连续的数据流中学习,是解决此问题的理想途径。然而,CL的核心挑战在于平衡“稳定性-可塑性(Stability-Plasticity, SP)”困境:既要让模型有效适应新个体(高的可塑性),又要防止其在适应过程中遗忘已有知识,并保持对所有未见个体的泛化能力(好的稳定性)。

研究方法

本文提出了一种面向脑电图应用的无监督个体持续学习框架(BrainUICL),旨在解决无监督个体持续学习场景下的上述挑战。其核心思想是让模型在逐个适应无标签的新个体时,不仅表现出良好的适应性(可塑性),还能不断积累知识,最终成为一个对所有未见个体都具有强大泛化能力的“通用专家”。

实验所用的数据集均被划分为预训练集、增量集和泛化集三个部分,遵循约3:5:2的比例。预训练集由多个带真实标签的个体数据组成,这部分数据用于预训练,得到一个初始的增量模型;增量集由大量无标签的、持续到来的新个体数据组成,模型需要在这个数据流上逐个进行无监督的个体域适应,这部分数据主要用于评估模型的可塑性 (Plasticity),即适应新个体的能力;泛化集由另一组带真实标签的未见个体数据组成,在模型每完成一轮对增量集中个体的适应后,都会在这个集合上进行测试,以评估其稳定性 (Stability),即对所有未知个体的泛化能力。无监督个体持续学习的过程如图2所示。

图2 无监督个体持续学习的过程

BrainUICL框架主要由以下几个关键模块组成:

(1)SSL训练生成伪标签

由于新流入的个体数据没有标签,模型首先需要为它们生成高质量的伪标签。考虑到传统聚类方法对低信噪比的脑电信号效果不佳,BrainUICL采用对比预测编码(Contrastive Predictive Coding, CPC)自监督学习算法对一个“指导模型”(拷贝最新的增量模型)进行微调。通过这种方式,指导模型能初步适应新个体的数据分布,从而生成置信度更高、质量更好的伪标签,用于后续的模型适配训练。

(2)动态置信缓冲 (DCB)

为防止在持续学习中发生“灾难性遗忘”,BrainUICL采用了基于重放(rehearsal-based)的策略。但传统的样本回放机制在无监督设定下容易因伪标签噪声导致错误累积。为此,本文设计了DCB模块,它包含一个“真实-伪标签混合回放”策略。其存储中心分为两部分:一部分存储来自源域(预训练集)的带真实标签的样本,另一部分存储来自过去个体的高置信度伪标签样本。在训练时,以8:2的比例从真实标签库和伪标签库中抽取样本进行混合回放。这种策略既利用真实标签样本来校准模型、抑制误差累积,又通过少量伪标签样本来维持样本多样性,巧妙地实现了对增量学习过程的“惩罚”与规范。

(3)跨周期对齐 (CEA)

为了防止模型在适应某个特定个体(尤其是异常个体)时发生过拟合,从而损害其长期稳定性和泛化能力,本文提出了CEA模块。该模块在模型微调过程中,每隔两个周期(epoch),就使用KL散度(Kullback-Leibler Divergence)来对齐当前模型状态与两个周期前模型状态的概率分布。通过这种方式,CEA能约束模型的更新方向,防止其在学习新知识时偏离过多,即使遇到异常个体数据也能保持稳定,为后续的持续学习保留了能力空间,最终同时提升了模型的稳定性和可塑性。

(4)模型损失函数

模型的总损失函数由两部分组成:一部分是针对当前增量个体和动态置信缓冲模块中的缓冲样本的交叉熵损失,公式如下:

其中:

·: 在动态置信缓冲(DCB)中的样本上计算的损失;

·:在当前学习的新个体的无标签数据上,利用生成的伪标签计算的损失;

·:一个动态调整的超参数;

值得注意的是:会随着模型见过的个体数量i的增加而逐渐减小,意味着随着模型学习到的知识越来越丰富,它会逐渐变得更加“谨慎”,减少对新来的、不确定的伪标签数据的依赖,从而帮助模型最终稳定下来。

另一部分是跨周期对齐CEA模块计算的KL散度损失。因此模型的总损失函数公式如下:

实验结果

本文在三个主流脑电任务的公共数据集上(睡眠分期ISRUC,情绪识别FACED,运动想象Physionet-MI)对BrainUICL框架进行了全面评估。

总体性能如图3所示,与初始模型相比,BrainUICL在不断适应新个体的过程中,不仅显著提升了对新个体的适应能力(可塑性,例如在ISRUC和FACED数据集上,平均MF1分别提升了13.4%和19.5%),还持续增强了对未见泛化集的性能(稳定性,例如在FACED数据集上,AAA指标从24.0%提升到36.5%),实现了双赢。

图3 BrainUICL在三个下游EEG任务上的性能

与多种现有的UDA、CL和UCDA方法性能比较如图4所示,BrainUICL在三个数据集上都表现出最优的稳定性和鲁棒性。

图4 与现有UDA、CL和UCDA方法的性能比较

结论

本文针对真实世界脑电应用中模型泛化能力不足的痛点,提出了一个新颖的无监督个体持续学习(UICL)范式,并设计了BrainUICL框架以有效应对该范式下的SP困境挑战。通过创新的动态置信缓冲(DCB)和跨周期对齐(CEA)模块,BrainUICL能够在无需人工标注的情况下,持续地从新个体数据中进行学习,不仅能很好地适应新个体,还能不断提升对所有未见个体的泛化能力,最终成长为一个更鲁棒、更通用的脑电解码模型。该工作为开发实用、高效的临床脑电智能分析系统提供了新的思路和强大的技术支持。

撰稿人:余淑冰

审稿人:李景聪


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: