本篇学习报告介绍一篇2022年发表的论文《Brain Region-Based Vigilance Assessment Using Electroencephalography and Eye Tracking Data Fusion》，这项研究融合脑电图（EEG）和眼动追踪数据来评估警惕水平，将基于典型相关分析（CCA）的特征级融合应用于每个大脑区域，以提高警戒级别评估的分类准确性。研究结果表明右侧大脑中央区域的EEG+眼动追踪融合实现了最高的分类准确率，为97.4±1.3%。

研究背景

长时间集中注意力的能力被称为警惕,心理学家和神经科学家将需要注意力的表现随着时间的推移而下降定义为警惕性下降。在生活中许多因素都可能导致警惕性下降带来或多或少的损失，研究人员对尽量减少错误和事故的可能性越来越感兴趣。

因此本研究提出了一种融合脑电图（EEG）和眼动追踪数据的警戒水平评估方法。使用规范相关分析（CCA）的特征级融合，作为基于EEG和眼睛跟踪数据的大脑区域评估警惕水平的标准化方法。该研究指出，这是首次使用CCA从瞳孔大小、注视时间、扫视时间、扫视幅度、眨眼时间和扫视速度六个方面融合不同头皮区域的脑电图特征和眼睛跟踪特征的研究。

研究方法

实验数据

自采数据集，9名健康学生，分别完成30分钟的颜色测试SCWT。SCWT任务被配置为显示六种基本颜色：红色、蓝色、青色、绿色、品红色和黄色，每次都会显示一个特定颜色的单词，然后是与该单词颜色匹配的随机答案序列。正确答案是单词的颜色（如果青色是用红色写的，那么红色是正确答案）。实验过程中记录被试者的反应时间（以确定每次实验允许的最长时间），以及她们的反应结果是正确的还是不正确的。如果在最长时间内都没有给出答案，会受到提示“时间到了”，SCWT实验方案如图1所示，时间窗口为45分钟：

                                                               图1 SCWT演示界面和时间窗口

使用64-Ag/AgCl头皮EEG电极以500Hz采样率采集EEG数据。EyeLink便携式Duo系统用于以500Hz的采样率获取眼睛跟踪数据。（使用红外相机无创地记录凝视位置和瞳孔直径）实验装置如图2所示：

                                                       图2 EEG+眼动追踪数据采集和实验设置

预处理
EEG数据: 0.1 Hz的高通滤波器来消除背景信号和DC偏移，通过独立分量分析（ICA）去除伪影，以及应用40 Hz的低通滤波器，带通滤波器提取四个不同的频带：Delta（<4 Hz）、Theta（4-8 Hz）、Alpha（8-13 Hz）和Beta（13-30 Hz）。

眼动追踪数据：基线调整–从记录中删除属于前两分钟的所有数据点；至少需要三个眨眼样本来建立眨眼事件等。

EEG特征提取：功率谱密度+傅里叶变换

眼动追踪数据特征提取：Data Viewer软件用于检索眼睛跟踪特征；眼睛跟踪特征的幅度随时间的变化可以用于确定警惕水平。收集的六个眼动追踪特征：瞳孔大小、注视持续时间、扫视持续时间、眨眼幅度和扫视速度。

分类器

本研究使用SVM来区分两个警戒级别：警戒和警戒递减，使用干净的EEG数据、眼动追踪和EEG+眼动追踪数据的融合。

EEG+眼动追踪特征级融合

对于每个频带（四个频带），每个试验中的脑电图提供了62个电极的62个特征。另一方面，对眼睛跟踪数据进行处理以产生前面提到的六个特征。将实验的前5分钟（反应快）定义为警戒状态，而最后5分钟（反应慢）则定义为警戒减弱状态。使用1s的滑动窗口从两种模态中提取特征（EEG和眼睛跟踪）。融合方法是在特征级别执行的。A和B分别为两个模态的特征矩阵。使用了CCA来获得规范方差A*和B*，规范变量提供了两个特征集之间的共享方差的最大相关性，如下公式：

融合模型是通过同时利用总共62个电极中的所有大脑区域来使用的。此外，融合模型被用于每个大脑区域，以研究大脑区域对警惕水平变化的敏感性。

图3为该研究的框架：

（1）通过从两个系统（脑电图和眼动追踪）执行Stroop颜色词任务来收集数据。

（2）从收集的EEG数据中提取PSD，并说明不同大脑区域的PSD变化。采用基于典型相关分析的数据融合方法，然后采用分类方法来确定警戒级别评估的准确性。

                                                                      图3   实验处理框架

研究结果

脑电警戒评估水平：
使用的是SVM分类器来确定四个EEG频带中每个频带的警惕性评估的分类准确性。采用了10倍交叉验证来估计分类的准确性。表1显示，不同频段警戒级别评估的准确性，Beta频段的准确率最高（92.0±7.3%）。

                                       表1 脑电频段分类用于警戒评估的准确性、特异性和敏感性

眼动追踪数据警戒水平评估：
下图表示描绘了警觉性和警惕性下降状态之间每个眼睛跟踪特征的平均变化以及所有眼睛跟踪特征中的平均变化。

通过向SVM分类器提供六个眼睛跟踪特征来确定水平。此外，采用交叉验证来衡量眼动追踪警戒级别的分类性能。SVM分类器用于使用针对六个眼睛跟踪特征获得的数据来确定警惕性评估的分类精度。表2显示，对于瞳孔大小，警戒水平评估的准确性最高（71.8±13.0%）。

                                            表2 眼动追踪具有分类的准确性、敏感性和特异性，可用于警戒评估                                      

EEG+眼动追踪数据融合警戒级别评估：

当将每个EEG频带的数据与六眼追踪数据融合以评估警惕水平时，使用SVM分类器获得分类的准确性、敏感性和特异性。如表3所示，通过融合所有大脑区域来获得分类准确性：

                                           表3 EEG眼动追踪融合分类的准确性、敏感性和特异性用于警戒评估                                               

右大脑中央区域是对警戒最敏感的区域，Beta的准确率为97.4±1.3%，其次是右额叶区域Beta和Alpha的接近分类准确率为96.9±1.1%：

总结

本研究的结果显示融合了两种模态（EEG+眼电数据）分类准确率会更高。当涉及所有大脑区域时，EEG中Delta波段的融合准确率最高，为96.8±0.6%。在Alpha带（97.4±1.3%）的右中央区域也获得了更高的融合精度。此外，Beta和Alpha活动在右额区的准确率高达96.9±1.1%。在未来的研究中，作者将考虑其他特征而不是PSD来进行警戒级别评估。

撰稿人：陈洁

指导老师：黄海云