随着人工智能技术不断与现实生活的接轨，有关利用深度学习技术来保障安全驾驶相关的文章近些年来不断涌现。本文将汇报一篇2021年发表在Sensors上的论文《DRER: Deep Learning–Based Driver’s Real Emotion Recognizer》，这是一篇关于驾驶员实时情绪识别的文章。

一、背景

在智能汽车中，监控驾驶员的状态至关重要，然而识别驾驶员的情绪状态是最具挑战性和最重要的任务之一。以往的大多数研究都集中在面部表情识别上。但事实上在驾驶过程中，许多因素都会阻碍了驾驶员在脸上流露出真实情绪。为了解决这个问题，他们提出了一种基于深度学习的驾驶员真实情绪识别器（DRER），用于该方法可通过人脸表情以及皮肤电活动(electrodermal activity, EDA)来综合判断驾驶员真实情绪。

二、算法

他们所提出的算法可归纳为两个：

1. 人脸表情识别算法。文章提到他们分别使用了Vgg以及ResNet作为baseline来探索更好的性能。

2. 传感器融合情绪识别(sensor fusion emotion recognition, SFER)算法。将人脸表情识别状态与皮肤电活动(electrodermal activity, EDA)融合在一起，能够更好的识别驾驶员的真实情绪状态。该算法的执行流程：

三、实验与结果

人脸表情识别方法

他们基于Vgg与ResNet设计的深度神经网络如表1所示，输出为唤醒效价两个维度分数：

表1 设计的多个深度神经网络模型

并使用了最大的面部表情数据库之一 AffectNet来训练和评估提出的模型，结果如表2所示。

表2 在AffectNet上的实验结果

在所有提出的模型中，SE-ResNeXt34 在将面部表情识别为效价和觉醒状态方面表现出最佳性能（效价和唤醒的RMSE值分别为 0.408 和 0.373）

传感器融合情绪识别方法

在验证这个方法过程中，他们自采了数据并进行了验证。

他们配备了AV Simulation的SCANeR Studio 1.7(AVSimulation, Boulogne-Billancourt, France, https://www.avsimulation.com/, accessed on 18 March 2021)的具有六自由度运动底座的全尺寸驾驶模拟器。现代中型轿车 LF Sonata 被用作客舱。三通道投影仪和三个 2080 mm × 1600 mm 屏幕水平连接，以可视化驾驶场景。被试者的EDA是使用BioPac生物仪器（BIOPAC Systems, Inc. Goleta, CA, USA, https://www.biopac.com/，accessed on 18 March 2021）收集的。对于驾驶员的面部图像，我们使用了 720 × 720 像素和 30 fps 的 BRIO 4K（Logitech, Lausanne, Switzerland, https://www.logitech.com/, accessed on 18 March 2021）进行收集。整个模拟实验环境如图1所示。

图1 (a) 三通道投影仪和屏幕以及全尺寸驾驶模拟器的驾驶室。 (b) 摄像头安装在挡风玻璃和车顶内衬之间（红色框），生物医学仪器安装在驾驶员手腕上，用于 EDA（绿色框）。

在融合情绪识别方法中，他们将情绪分为8类: 中性、快乐、兴奋、恐惧、愤怒、沮丧、无聊和放松。同时也提出了多个SFER模型，如表3所示，模型的名称代表使用了哪些数据，E代表该模型使用了EDA，V代表使用了人脸表情的valence，A代表使用了人脸表情的Arousal，例如模型名称为VAE，包含V、A、E所以该模型是根据EDA以及人脸表情识别结果的唤醒效价值来判断的。

表3 提出的多个SFER模型

结果如表4所示

表4 SFER在线实验结果

实验结果证明了文章提出的融合方法高于仅使用人脸表情识别的方法，具有可行性。

撰稿人：方伟杰