本篇学习报告的内容为：使用混合视听脑机接口评估意识障碍患者的声源定位能力，所参考的文献是《Toward Assessment of Sound Localization in Disorders of Consciousness Using a Hybrid Audiovisual Brain–Computer Interface 》，这篇论文于2022年发表在期刊《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》上，基于以前的背景问题提出了一种新的脑机接口范式。

一、研究背景与内容

许多用于意识障碍（DOC）患者领域的脑机接口（BCI）系统都集中于患者的意识检测。BCI系统不依赖于DOC患者的行为，通过协助昏迷量表(CRS-R）对患者进行评估，可以减少临床检测的误诊率。但是许多范式需要患者拥有比CRS-R行为评估更高的语言理解。声源定位（sound-localization）作为CRS-R评估方法中的一部分，能够代表患者的恢复程度。不过之前集中于声源定位的BCI系统研究稀少。

论文通过模仿CRS-R中的声源定位测试方法，提出了一种视听双刺激的BCI系统。

二、范式方法及实验过程

图1 范式方法

如图1所示。听觉刺激由放置在患者左前方及右前方的扬声器传达，会播放录制好的铃声。而视觉刺激由放置在患者正前方的显示器传达，显示器左右半边各有一个铃铛图标。视觉刺激时铃铛图标会有明显闪烁，而听觉刺激仅会在目标刺激的方位出现。所以目标刺激为（以右目标刺激为例）：右边扬声器传出铃响，显示器右边的铃铛图标闪烁；非目标刺激为：显示器的铃铛图标闪烁，但是左右扬声器都不传出铃响。

图二 实验过程

实验分为两类。实验一面向健康受试者，包含了仅听觉和视听结合两种模式，主要用来验证提出的BCI系统的可用性。实验二面向DOC患者，仅视听刺激模式。

描述实验过程，以视听刺激结合模式举例，实验包括两个sessions，总共40个trials。每个session包含校准subsession及线上分析subsession。校准部分训练出分类器，而线上分析部分则用于评估受试者的声源定位能力。如图二所示：每一次trial中，①首先包含引导部分（7s），提醒受试者注意铃声方位并记录目标刺激的次数；②然后会随机出现目标方位的铃声（3s），引导受试者注意目标方位。③之后就进入刺激部分（35s），共10个rounds，每个round随机出现目标刺激与非目标刺激。同一个round内连续的刺激之间间隙时间不定，但是总能保持一个round持续3.5s，这种方法可以提升受试者的注意力及增强对目标刺激的脑电反应。④之后便是反馈部分（2s），如果受试者具有声源定位的能力，能够正确找到目标刺激，那么他会产生与目标刺激相关的ERPs，训练好的分类器会输出结果。

三、数据处理

在校准subsession及线上分析subsession获取到的EEG信号，首先都经过0.1-20Hz的带通滤波处理。根据刺激发生，将滤波后的数据分为多个600ms长的epochs， 以250hz的采样率记录下了30个通道的30*150的数据矩阵。每个epoch通过1/6的时间下采样，将其扁平化为750维的特征向量。每个特征向量由相同刺激在10个重复epochs构建而成，并经过平均产生最终特征向量。在校准训练部分，根据是否是目标刺激而标记特征向量。之后使用标记好的特征向量训练出支持向量机，于是在线上分析部分，就能够得出刺激是否是目标刺激。

论文提出的范式是二分类问题，所以用Jeffreys‘ Beta分布计算二项式计算在线准确率：

其中N和m指的是trials的总数及正确数，α为0.5（二分类）。论文集中于机会水平高于0.5的准确率，因此根据单边检验，z被认定为1.65（p<0.05)

计算每个受试者的ERP波形，分析在目标刺激和非目标刺激下波形的区别。并绘制对应头皮拓扑图。

在数据处理部分还包括时频分析，基线校准。

四、实验结果

面向健康受试者的一类实验，视听刺激的线上分类准确率高于仅听觉刺激模式。原因是视觉刺激产生了影响作用大的EPRs，这对分类的准确结果起到影响。面向健康受试者的实验一证明提出的BCI系统能够从EEG图中检测到受试者对声源定位的反应。

图三 意识障碍患者实验结果

面向DOC患者的二类实验，根据结果能够将患者分为“有反应型”、“无反应型”和“有变动型”。

图四 “有反应型”患者的实验结果

根据实验结果，将P15,P16,P17,P18认定为“有反应型”患者。他们在提出的BCI系统分类准确率及昏迷量表评估中（BCI交互实验之前）都有不错的结果。根据图三、图四得出，他们对于目标刺激和非目标刺激引发的脑电波区别明显，并且大多能检测到负向波MMN及正向波P300。其中一名患者P15虽然未检测到负向波，但是在BCI交互试验后的昏迷量表评估结果有所提升。其他人P16,P17,P18均无变动。

图五 “无反应型”患者的实验结果 

根据实验结果，将受试者P1,P3,P6,P8,P10,P11,P13认定为“无反应型”。他们在两种昏迷量表评估和脑机接口交互测试方式下都得到较差的结果。根据图三、图五得出，他们在BCI系统交互下分类准确率低，他们由目标刺激和非目标刺激引发的脑电波差别不明显，未检测到MMN，P300，且在BCI交互实验前与BCI交互实验后的昏迷量表评估无变化，分数仍低。

图六 “有变动型”患者的实验结果  

根据实验结果，将P2,P4,P5,P7,P9,P12,P14认定为“有变动型”，他们在BCI交互实验及昏迷量表评估结果有改善，在之前的昏迷量表评估中，他们被认定不具备声源定位能力，本来会被归类到“无反应型”，但在BCI交互实验中准确率不俗，这表明他们实际上具有声源定位的能力。根据图三、图六得出，他们的EEG图基本上仅检测到一个正向波峰值或一个负向波峰值，但是多名病人在之后的昏迷量表评估中分数有所改善。

五、总结与讨论

使用基于行为的方法评估意识障碍患者，经常因患者运动能力受损、病人应答过微被忽略等而导致高误诊率，上述的实验也表明有些本会被认为“无反应“的患者实际上具有认知能力。与之前许多用来检测患者注意力、评估交流能力及认知功能不同，本文提出的BCI系统主要用来评估病人的声源定位能力。且使用刺激的方式，目标刺激与非目标刺激的呈现都与之前已有的研究不同。在之后，如果将触觉刺激也结合到本文的范式，可能进一步提升对患者声源定位能力的评估准确度。此外，对生成的模型进行调参，不断更新，可能在不降低准确率的同时缩短校准时间，并提升系统可用性。

论文提出的范式，视听结合的目标刺激与非目标刺激方式有所不同。只有出现目标刺激时才会在对应位置出现铃铛声音且有视觉图标，而非目标刺激无铃铛声音但有视觉图标。这种方式有明显区别即是否有听觉刺激，这不需要受试者具有较好的语言理解能力，因为受试者仅需要注意听觉刺激的方位，而视觉刺激能够增强其ERP振幅，这是一种新颖的可取的方法。听觉头皮的活动对于VS患者的恢复来说非常重要，在之前的许多研究都集中于患者的状态评估，如果想要发展治疗功能，说不定可以将听觉的刺激作为核心。

撰稿人：易智伟

指导老师：王斐