本篇学习报告基于2015年5月发表于中科院一区期刊Proceedings of the IEEE的论文“Signal processing approaches to minimize or suppress calibration time in oscillatory activity-based brain computer interfaces”。该论文全面考察且总结了现有的用于减少或者抑制BCI校准时间的方法。然后，该论文提出了一个利用少量原始EEG试次人工生成新的EEG试次，以扩大训练集来减少BCI校准时间的想法，并且提出了三种不同的方法来实现该想法。此外，该论文还提出了一种新型、快速、简单的方法来实现用户间的BCI迁移。最后，该论文在三个不同的BCI数据集上研究和比较了新方法和旧方法，并由此确定了关于如何减少或抑制BCI校准时间的指导方针。

        一、背景

       由于用户个体之间差异性较大，构建一个通用BCI是非常困难的，这导致用户在使用BCI前需要经历一段漫长而枯燥的校准时间。对于某些BCI系统，此段校准时间甚至会长达20分钟。更直观一点而言，如果鼠标在使用前需要进行20分钟的校准，那么没有人会使用鼠标。所以，一个理想的BCI系统需要使校准时间尽可能短，甚至不需要进行校准。为了解决上述问题，在此篇论文中，作者探讨了在基于振荡活动的BCI中使用信号处理和机器学习工具来减少或抑制校准时间。作者提出了一种人工生成数据（ADG）的想法，该想法是从少量的已有训练试次中生成多个试次从而增加训练集数据量。同时，作者还提出了一个新的、简单的用户间迁移方法。

        二、现有方法

        作者将现有的用于减少和抑制校准时间的不同方法进行了汇总，如表1所示。

表1 BCI中用于减少和抑制校准时间的不同方法的汇总

        三、方法

        1. 三种实现人工生成数据（ADG）的方法

        论文提出了三种方法以实现人工生成数据（ADG），分别是1）在时域上进行信号分割和重组，2）在时频域上进行信号分割和重组，3）使用类比法。

        1）在时域上进行信号分割和重组

        第一种实现ADG的简单方法的思路是，首先将每个用于训练的EEG试次分成若干个片段，然后将来自不同的、随机选择的属于同一类的训练试次的片段串联起来，生成新的人工试次。整个过程示意图如图1所示。

图1 在时域的人工脑电数据生成原理

        2）在时频域上进行信号分割和重组

        前一个方法简单且有效，但是有一个缺点，就是简单地拼接来自不同试次的脑电片段可能会导致两个连续片段边界处的脑电样本之间不匹配，从而增加了一些不必要的高频噪声。为了避免这一问题，第二个方法尝试在时频域中进行试次分割和随机重组。作者首先使用短时傅里叶变换（STFT）对每个通道的时频表示中的每个带通滤波训练试次进行变换。然后，将属于同一类的不同试次的STFT窗口串联在一起。最后，通过对生成的人工试次进行逆STFT，得到最终的人工试次。整个过程如图2所示。

图2 在时频域的人工脑电数据生成原理

        3）使用类比法

        作者提出的实现ADG的最后一种方法是基于类比的方法。类比法的大致原理是取三个数据样本A，B和C，根据A和B的关系，基于C类比生成第四个样本D。为了将这一原理应用于实际的EEG信号，对每一类都适用如下方法。

        a）计算该类所有可用数据的协方差矩阵。

        b）计算该矩阵的特征向量V，也就是数据的主成分（PC）。

        c）随机选择三个不同的试次X_A, X_B和X_C。

        d）在PC上投影前二者，即X_AV和X_BV，并沿着每个PC  Vⁱ（Vⁱ为V的第i列）计算信号功率p_Aⁱ和p_Bⁱ。

        e）通过将试次X_C变换成X_CVdiag(p_A^-1/2)diag(p_B^-1/2)V^T来生成人工试次X_D。

        f）返回步骤c)，并重复该过程，以产生更多的人工试次。

        整个处理过程如图3所示。

图3 基于类比推理的人工脑电数据生成原理

        2. 结合用户间迁移、集成方法和黎曼几何来减少校准时间

        同时，作者提出了使用黎曼几何来衡量其他用户的平均协方差矩阵与目标用户的平均协方差矩阵之间的差异，并使用此差异来评估应该使用哪些用户的数据。具体来说，黎曼距离能够在正则化项中强调与目标用户接近的协方差矩阵，以及弱化差异较大的协方差矩阵，然后将这些正则化协方差矩阵插入到CSP和LDA中，进而实现简单、快速和有效的用户间迁移。

        四、评估与分析

        1. EEG数据集

        数据集1，运动想象数据：BCI竞赛数据集2a。

        数据集2，工作负载数据：内部数据集，记录了21名用户执行两个涉及不同脑力负荷水平的任务。

        数据集3，心理想象数据：内部数据集，包括了20名用户执行心理想象任务的EEG数据。

        2. 方法分析与比较

        为了分析和理解能够有效减少或抑制BCI校准时间的信号处理工具，针对不同数量的训练数据，作者对其中几种工具进行了研究和比较。

        a）基线：标准的BCI设计，它可以简单地由训练CSP滤波器和LDA分类器组成。

        b）带有收缩的正则化方法：CSP和LDA结合自动协方差矩阵收缩方法。

        c）用户间的迁移：前面提出的多用户BCI设计方法。

        d）半监督学习：将半监督学习原理应用到基于CSP+LDA的BCI设计中。首先，在可用的训练试次上训练CSP滤波器和LDA分类器。然后，使用其对测试集中的前五个试次进行分类，根据CSP+LDA给出的估计对这五个试次进行标记，并将它们添加到训练集中，然后在此训练集上重新训练CSP+LDA。随后按照每五个试次重复上述过程，直到整个测试集完成分类。

        e）非用户依赖（UI）设计：基于CSP+LDA的池化非用户依赖方法和集成方法。

        f）人工数据生成：即第三节提出的三种实现ADG的方法。

        3. 结果

        论文研究了每种校准时间缩减方法对于使用不同数量的训练试次的性能；对于校准时间抑制方法，对于每个数据集，使用留一法进行交叉验证。

        图4展示了标准设计和不同ADG方法所获取的平均分类性能。结果显示，对于标准设计，对于所有数据集，用于训练的试次越少，性能越低，特别是对于小规模数据集而言。同时，可以观察到ADG方法通常会提高分类性能，特别是当可用的训练数据很少时。这些差异在数据集3上是显著的。在数据集2上，基于类比的ADG和时频域的ADG均显著优于基线。总体而言，基于时频域的ADG是最好的方法，显著优于基于类比法的ADG，平均优于基于时域的ADG，但不显著。总的来说，这些结果可以证明使用ADG方法可以减少BCI校准时间，因为它们可以用比基线方法更少的训练数据来达到设定的性能。

图4 人工数据生成方法（即时域ADG、时频域ADG和基于类比的ADG）和基线的平均分类性能

        然后，图5显示了基线和不同的非用户依赖BCI所获得的结果。当使用所有可用训练数据时，非用户依赖（UI）方法的性能低于用户特定的方法。然而，当可用的训练数据很少时，非用户依赖（UI）方法通常平均优于基线。总体而言，三种非用户依赖（UI）设计之间不存在显著的差异。

图5 非用户依赖BCI设计方法（池化UI设计、带收缩的池化UI设计和集成UI方法）和基线的平均分类性能

        最后，图6对每个类别的方法进行了比较，如果该类别包含多个方法，则只对该类别中最好的方法进行评价。特别地，对于ADG，论文只将基于时频信息的方法与其他类别进行了比较，因为这是最有效的ADG方法。并这种方法称为ADG - TF。对于ADG - TF，论文还使用了CSP + LDA的自动协方差矩阵收缩，因为这两种方法可以结合起来。对于UI方法，论文研究了收缩池化设计的性能。总体而言，图6中比较了基线设计、自动协方差矩阵收缩、有收缩和无收缩的ADG - TF、半监督学习、多用户设计和基于有收缩的混合数据的UI设计。比较结果显示，在所有数据集上，自动协方差矩阵收缩都显著优于基准。这种分类性能的提高在训练试次数很低的情况下尤为明显，但即使在使用最大训练试次数的情况下仍然存在。比较ADG-TF和收缩时，两种方法在数据集1和2上并无显著性差异，但在数据集3上，收缩显著优于ADG-TF。然而，将ADG-TF与收缩相结合，将使得ADG-TF的性能更好。

图6 每个类别的不同方法（收缩、半监督学习、多用户设计、ADG-TF、带收缩的ADG-TF、到收缩的池化UI设计）和基线的的平均分类性能

        五、总结

        从获得的结果中，关于使用何种工具来减少活抑制校准时间，论文总结了一些有用的指导方针。具体可总结为以下6点。

        a）自动协方差矩阵收缩始终都应该使用，因为它不仅可以减少校准时间，而且可以提升整体性能，由于这是一种简单、计算高效且无参数的方法，论文主张其应该成为BCI设计的标准工具。

        b）在其他用户数据可用的情况下，无论训练数据量大小，用户间迁移方法是进一步减少校准时间甚至提高分类性能的有效方法。

        c）如果没有其他用户的数据可用，可以考虑采用人工脑电数据生成结合收缩的方法进一步缩减校准时间。

        d）半监督学习方法不能直接与CSP和LDA一起使用，因为这两种算法不具有对错误标记的鲁棒性。

        e）目前还没有一个非用户依赖BCI设计的黄金标准，并没有哪种方法明显优于其他方法。

        f）尽管非用户依赖的BCI设计可能实现，但其性能效果并不理想，还需要进一步的研究来改善。

 

 

撰稿：张倩