本篇学习报告基于期刊IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS（中科院1区，IF:6.413）于2023年11月27日接收的文章《Multimodal Brain–Computer Interface for In-Vehicle Driver Cognitive Load Measurement: Dataset and Baselines》。这篇文章介绍了一个新的新的驾驶员认知负荷评估数据集CL - Drive，该数据集包含脑电信号( Electroencephalogram，EEG )和其他生理信号，如心电图( Electroencephalogram，ECG )和皮肤电活动( EDA )，以及眼动跟踪数据。在沉浸式车辆模拟器中，采集了21名受试者在各种驾驶条件下驾驶时的数据，以诱导受试者产生不同程度的认知负荷。

               

一、背景

为了减少高认知负荷导致的交通事故数量，近期集成到车辆中的智能技术应具备测量认知负荷的能力，并对用户检测到的高认知负荷进行危险报警。脑-机接口( Brain-Computer Interface，BCI )在提供人与机器之间的先进通信手段方面最近获得了牵引。特别地，头戴式脑电( EEG )设备允许非侵入性但精确的人机交互。为此，可以使用机器学习和深度学习技术从具有各种类型驾驶员相关信号(包括EEG )的数据集中进行学习。此外，这些数据集需要测量定量的认知负荷得分，并在频繁的时间间隔内提供，以便用于训练机器学习模型。最后，在该领域的大多数现有工作中，关注的焦点仅仅是认知负荷或与任务无关的活动引起的分心，而忽略了执行主要任务本身(在我们的案例中,驾驶)可能是高认知负荷的一个强大来源。

本文介绍了一种新颖的驾驶人认知负荷评估数据集，该数据集包含脑电信号( EEG )和其他生理信号，如心电图( ECG )和皮肤电活动( EDA )以及眼动跟踪数据。该数据集，被命名为CL - Drive，收集了21名受试者在沉浸式车辆模拟器中驾驶时的各种情况，能够诱导受试者产生不同程度的认知负荷。每名被试执行9个复杂度水每年在道路上发生的事故和碰撞数量巨大。而这些事故很多是由于驾驶人分心引起的，例如分心或昏昏欲睡。同时，分心可能是由一些个人或环境因素引起的，包括由于从事次要任务而导致的高认知负荷。在过去的几年中，已经进行了许多研究来调查认知负荷和认知疲劳的影响。研究表明，长时间参与认知要求的任务可能会导致认知疲劳，这种情况可能会带来风险。认知负荷是指工作记忆在一定时间内所能加工的信息量。换句话说，它是完成一项任务所需要的认知资源的数量。如果认知负荷增加超过某一点，个体的表现就会下降，这在驾驶的情况下可能会增加交通事故发生的可能性。

二、实验设置与数据采集

本文使用4种不同的传感器采集生理信号来测量认知负荷。图1显示了本文研究中使用的传感器，而图2显示了它们的详细传感器布置。

                 

                                                                                                   图1

               

                                                                                                  图2

1 ) EEG：采用Muse S1头带采集EEG信号，如图1（a）所示。该装置有4个通道，其中2个通道为额电极，位于AF7和AF8 (根据国际1020系统标准 )位置，2个通道为颞电极，位于TP9和TP10位置，位于耳后。图1（a）描述了Muse EEG设备，而在图2（a）中，我们给出了该EEG耳机的传感器位置。如图所示，参比电极位于前额正中位置FpZ处。脑电头带采样率为256 Hz。导电凝胶用于增强电极与皮肤之间的导电性。我们选择Muse S头带，以确保舒适度和与凝视设备的兼容性。

2 )心电信号：通过闪光2传感器采集心电信号，如图1（b）所示。如图2（b）所示，该可穿戴设备使用了来自胸部和腹部区域的5个标准预胶粘电极。4个电极中，右臂( Right Arm，RA )和左臂( Left Arm，LA )放置于胸骨柄左右两侧，右腿( Right Leg，RL )和左腿( Left Leg，LL )放置于肋缘下方正上方。参比电极用Vx表示，略置于胸骨右侧。采集的信号为LL - RA、LA - RA和Vx - RA，采样频率为512 Hz。闪光由参与者使用腰带和摇篮佩戴。

3 ) EDA：与ECG类似，EDA信号使用闪光可穿戴设备采集，如图1（c）所示。数据采集使用放置在腹部左侧的2个电极，如图2（c）所示。EDA闪光器件的采样频率为128 Hz

4 )注视：图1（d）显示了一个用于收集眼动数据的Tobii设备3。该装置由头部单元和记录单元组成。在设备内部，每只眼睛有2个摄像机以及一个广角场景摄像机。从眼动仪中我们记录了特定的眼动事件，如扫视、注视等。采样频率为50 Hz。图2（d）说明了眼动追踪装置与脑电耳机的放置位置。

为了模拟驾驶，并能够控制驾驶经验周围的参数，本文使用了如图3所示的驾驶模拟器。驾驶模拟器包括与实车相似的元素，包括方向盘、仪表盘、油门、制动器等。这些部件与运动系统相结合，为参与者提供了更加真实的驾驶感受。该运动系统可以模拟频率高达100 Hz的真实运动。这包括来自路面纹理、加速、制动、超速和转弯的振动以及其他基本运动，以提供用户参与的触觉反馈。此外，还有3块55英寸液晶屏，可提供前方180度视角，再加上2块额外的盲区屏幕，共同营造出身临其境的体验。每块前屏的显示分辨率为1920 × 1080像素。此外，使用环绕声系统将方向声合并。该声音旨在模仿驾驶时听到的典型声音，包括发动机的声音、超速和通过车辆的声音以及喇叭等。

                                                       

                                                                                               图3

除此之外，本文选择了9种不同的场景，每种复杂度等级各一个。这些场景包括日常驾驶过程中遇到的一系列常见挑战，例如在高速公路上、夜间和下雪条件下驾驶(场景1、2、3分别为)，保持/改变速度等级(情景4、5、6、7和9)，避免事故(情景4、5、6、7和9)，背靠背转弯(场景7 )，以及在狭窄的道路上使用3点转弯(场景8 )。该场景在参与者中诱发了不同程度的认知负荷，我们进行了多项先导测试，从较大的可能任务池中选择这9项。此外，这些场景的结构是逐步增加的难度，但对于一般驾驶员来说仍然是可以实现的。在图4中，我们描绘了每个驾驶场景的评分频率的热图。我们观察到，随着情景的进展，越来越多的参与者选择了更高的认知负荷分数，这表明任务复杂度确实随着情景的进展而增加，特别是对于情景8和9。

                               

                                                                                           图4

本文对数据采集方案和设备进行了清晰的描述。在仔细放置传感器后，参与者被要求坐在模拟器的驾驶座椅上，并通过蓝牙将传感器连接到数据收集站。首先，从每个参与者收集3分钟的基线数据，这些数据可用于未来信号的标准化。为了适应模拟驾驶环境，并确保参与者对"低"、"中"和"高"复杂度水平有清晰的了解，同时也为了降低SAS水平，参与者被要求执行表三中提到的定向场景。在每3分钟驾驶场景之后，给予被试2分钟的休息时间，让他们休息，降低SAS发生的可能性，回到相对较低的认知负荷状态。其次是静息期，在每个新情景之前采集2分钟的基线。实验流程如图5所示。在所有这些实验中，使用了第III - A节中讨论的可穿戴传感器来记录参与者的信号。图6本文展示了在高认知负荷和低认知负荷场景下从每个捕获的模态中获得的样本。

                     

                                                                                        图5

               

                                                                                         图6

本文将数据集公开在：https://github.com/ Prithila05 / CL – Drive

三、数据处理

A.预处理

1 ) EEG：为了去除EEG中的噪声和伪迹，使用了巴特沃斯二阶带通滤波器，通带频率为0.4至75Hz。采用品质因数为30的陷波滤波器去除频率为60 Hz的电力线噪声。

2 ) ECG：使用通带频率为5 ~ 15 Hz的巴特沃斯带通滤波器滤除高频噪声、肌电噪声、T噪声干扰等伪迹，同样可以获得最大的QRS能量。

3 ) EDA：使用截止频率为3Hz的低通巴特沃斯滤波器来去除不需要的噪声。使用截止频率为0.05 Hz的高通巴特沃斯滤波器将滤波后的EDA信号分解为紧张性皮肤电导水平和相位性皮肤电导响应，以分离信号中的缓慢变化水平和快速变化的峰值。考虑到EDA信号相对于ECG信号的简洁性，存在一些缺失值，作者采用采样保持策略进行替换。

4 )注视：该设备基于左右眼2D注视坐标( x , y像素在屏幕空间的坐标)、3D注视坐标( x , y , z在摄像机空间中的坐标为mm)、3D注视方向(矢量单位)、每秒度数的注视速度( o / s )和每秒度数平方的注视加速度( o / s2 )来测量眼跳、注视、瞳孔直径、眨眼次数和眨眼持续时间。

B.特征提取

1 )功率谱密度( Power Spectral Density，PSD )：PSD测量脑电信号的功率。为了计算这个特征，作者使用Welch的方法从0.5 Hz到75Hz频率，对于每个频段，Delta ( 0.5 ~ 4Hz)，Theta ( 4-8Hz )，Alpha ( 8 ~ 12Hz)，Beta ( 12 ~ 31Hz)和Gamma ( 31 ~ 75Hz)。然后测量测量PSD的绝对值、平均值、最大值、最小值和中值功率。

2 )谱熵：时间序列信号的谱熵( Spectral Entropy，SE )由归一化香农熵[ 75 ]推导而来，可以用来判断信号的复杂程度。SE的公式可由信号的归一化PSD或概率分布p ( i )导出

3 ) Hjorth迁移率和复杂度：时间序列信号的Hjorth迁移率和复杂度共同决定了信号复杂度的各个方面，其中信号频率和幅度的变化分别用Hjorth迁移率和复杂度来表示。这两种测量可以联合使用来捕捉信号的动态行为。Hjorth迁移率和复杂度分别计算为：

式中：y ( t )表示信号，σ 2为方差算子。

4 ) Lempel - Ziv复杂度：Lempel - Ziv复杂度( LZC )是一个衡量信号复杂度的指标。要将LZC算法应用于EEG信号，首先需要将信号用整个信号的中值或均值进行二值化。然后利用LZC算法对得到的二进制序列进行分析，找到任意的随机性。

5 ) Higuchi分形维数：Higuchi分形维数( Higuchi fractal dimension，HFD )是一种通过测量时间域上的复杂度来捕获时间序列信号变化的非线性方法。在过去的研究中，使用EEG信号的HFD取得了很好的结果。

6 )统计特征：除了上述更复杂的特征外，还从时域信号中提取了简单的统计特征，即均值、最小值、最大值和中位数。

C.规范化

为了减少记录这类数据时常见的被试间的变异性，将每个特征值与其基线对应的平均值相除。

D .分类器

为了评估数据集，并实验使用收集的数据构建自动化认知负荷检测系统的有效性，作者在提取的特征或原始数据上训练了几种经典的机器学习和深度学习分类器。对于深度学习网络，本文使用了两个深度卷积神经网络，一个如图7所示的VGG风格的网络，一个如图8所示的ResNet风格的网络。

         

                                                                                     图7

         

                                                                                     图8

E.培训方案

本文在10折交叉验证和更严格的Leave - One - Subject Out ( LOSO )方案中训练所有模型(经典机器学习和深度网络)，并且还探讨了认知负荷的二元分类和三元分类。某些个体可能无法将认知负荷分数区分到那个细节水平。

四、数据集比较与结论

本文展示了二元和三元分类在两种验证方案中的基准研究结果。具体结果如下。在这些表中，加粗表示最高，而下划线表示次高。

如表1所示，在二进制设置中进行10倍交叉验证，本文数据集在XGB分类器中获得了83.67 %的最高准确率。这种性能是在所有4种模态都使用时实现的。纵观所有模型的平均值，我们观察到XGB分类器通常优于其余其次是RF。在本文设置的4种不同的深度学习变体中，我们注意到使用所有4个模态的特征训练的VGG优于其他3种场景。

在表2中，对于二进制LOSO评估方案，我们观察到使用特征训练的VGG风格网络获得了76.17 %的最高准确率。这种准确性是通过3种模态获得的，即EEG，ECG和EDA。从每个模型的平均值可以推断，在特征上训练的VGG风格模型表现最好，其次是在特征上训练的ResNet风格模型。

 

在表3中给出了三元10 - fold设置的结果，并观察到机器学习分类器XGB取得了74.08 %的最佳结果。这一结果是在EEG与所有3种辅助模态一起训练时得到的。当EEG、EDA和Gaze同时使用时，在相同的分类器下获得了73.60 %的次优准确率。比较每个模态设置的平均结果，我们发现，正如预期的那样，使用所有4个模态都优于其余模态，而性能最好的平均结果是由XGB分类器实现的。在4种深度学习模型中，VGG - style模型在使用特征进行训练时性能优于其他3种。在这里，当使用3个模态的EEG，EDA和Gaze进行训练时，获得了67.12 %的最高准确率。

最后，表4给出了LOSO三元设定下的结果。当使用由EEG、ECG和Gaze 3种模态的原始数据训练的ResNet风格网络时，获得的最高结果为64.53 %。其次，在所有4个模态的原始数据上训练的VGGstyle网络获得了63.56 %的第二高准确率。各种模态设置的平均结果表明，所有4个模态的多模态设置达到了最高的准确性。在使用原始数据训练时，ResNet - style模型的平均准确率最高，其次是VGG - style模型。

总结上述发现，观察到经典的机器学习和深度学习模型都具有区分不同级别驾驶员认知负荷的能力。正如我们所预料的那样，我们发现三元分类比二元分类更具有挑战性，而LOSO则比二元分类困难10倍以上。在模态方面，多模态设置通常提供更多关于驾驶员认知负荷的信息，其中EEG、ECG、EDA和Gaze显示出最佳性能。

五、总结

本文提出了CL - Drive，一个在模拟驾驶过程中收集的新的多模态认知负荷数据集。该数据集包含了21名参与者在多种不同驾驶条件下的EEG、ECG、EDA和Gaze数据。在整个实验过程中，以10秒为间隔记录主观自我报告的认知负荷分数，使其成为一个在模态和标签方面都非常丰富和密集的数据集。作者通过评估本文的数据集在LOSO和k - fold评估方案中的二元和三元标签分布来提供基准。CL - Drive数据集可以在交通、驾驶员安全、人机交互等领域有多方面的应用。该数据集可用于评估驾驶员在各种驾驶场景中所经历的认知负荷，如高交通状况、恶劣天气或复杂机动过程中的认知负荷。总体而言，CL - Drive数据集具有提高道路安全性、增强驾驶员体验的潜力，有助于开发更加智能和以人为中心的交通系统。

 

撰稿人：熊浩峰

审稿：梁瑾