2723
0
2022-10-16
2022-10-16
一、研究背景
微表情（ME）是一种不受思维控制的面部表情，具有持续时间短暂、变化顿度微弱、动作区域较少等明显区别于宏表情的特点。当人们出于某些原因试图隐藏自己的真实情感时，可能会出现这种表情。微表情是揭示人们真实情感的重要线索，但由于其非常短暂和微妙，普通人很难或不可能用肉眼捕捉到。
应用潜力：
微表情能够真实反映人们内心对外部世界的情感，可以应用在如刑侦、审讯、谈判、心理咨询（面试)、安全（司法)、医疗、教育等领域，有很大的发展潜力。
图1.电视剧《lie to me》
二、数据集介绍：
随着计算机模式识别技术的发展微表情相关研究取得了很多成果，但作为研究基础的微表情数据库由于微表情挑提困难、采集过程复杂、人工编码费时耗力和图像质量评价标准缺失等原因导致数据库样本数量不足，质量参差不齐，越来越无法满足微表情研究工作。
图2.经典微表情数据集的发展历程
目前的运动估计数据集不足，且大多只包含单一形式的2D彩色video 。虽然针对普通面部表情的四维数据的研究已经很活跃，但目前在微表情研究中还没有四维数据。
为了丰富微表情的数据集，以支持微表情研究的发展，芬兰奥卢大学的李晓白博士及其团队制作了4D的微表情数据集——4DME。该数据集含有56个样本，其中男女比例4:6，且跨人种，含亚裔与欧美裔。数据集提供（1）286个长片段（平均147.6帧）；（2）267个微表情短片段和123个宏表情断片段；（3）22个AU标签和5种情绪标签。
表1.微表情数据集的信息
表2.诱发情绪的电影片段
相比其它数据集，4DME有着更丰富的模态，包括DI4D视频、正面灰度视频、kinect彩色video和kinect深度视频。
图3.四种模态
表3中是MEs的情绪和AU统计(各模态)。P、N、S、R和OT分别代表正、负、惊讶、压抑和其他。他们代表了情感。
表3.情绪与AU统计
三、4DME评估：
为了比较4DME数据集中不同模态对ME识别任务的有效性，作者进行了单独的实验来评估2D正面灰度视频和重建的4D视频。
针对2D视频数据，作者采用三种方法进行检测分别为LBP-TOP、Res3D和Res3D+SCA。
在AU检测中三种测试方法的准确率和f1值都是Res3D+SCA > Res3D > LBP-TOP。使用Res3D+SCA得到的最佳平均准确率为82.48%，最佳平均f1值为0.6779。研究结果与先前的研究结果一致。
表4.2D数据的AU检测结果
对于情绪识别两种基于深度学习的方法(Res3D和Res3D+SCA)都优于传统的LBP-TOP方法。Res3D+SCA取得了最好的性能，在5个情感类别上的平均F1-score为0.6481，平均准确率为82.54%。在五种情绪中，如果我们同时考虑准确性和f1 -分数，似乎“惊讶”类别获得了最好的性能，而“压抑”和“其他”类别的评估由于样本量较小，则依赖于指标。
表5.2D数据的情绪识别结果
针对4D视频数据，作者采用一种基于4D的协同跨域动态图像网络(CCDN)[21]对普通面部表情图像进行识别，并与3种单视角和多视角融合的识别结果进行了比较。
在使用三视图即多视图协同识别AUs时，取得了0.7990的平均F1-score和86.55%的平均准确率，明显高于三个单视图中的任何一个。实验结果与我们的预期相吻合，当显示更多的面部区域(无遮挡)时，即多视角>额部>左、右部>时，AU检测性能会更好。4D数据承载更多信息，提高系统性能。
表6.4D数据的AU检测结果
对于情绪识别中，3种个体视图中，前视图表现最好，左视图次之，右视图表现最低。多视角优于3个个体视角，取得了0.7908的平均f1值和85.59%的平均准确率，再次证明了4D数据在ME识别任务中的优势。通过融合多视角来使用4D数据的优势在所有五种情感类别中都是一致的。
表7.4D数据的情绪识别结果
目前4DME数据集的公布正在着手进行中，预计十月份会发布第一版数据集。
参考来源：
IEEE Transactions on Affective Computing
1–18. doi: 10.1109/TAFFC.2022.3182342.
撰写：李雄彬
审稿：梁艳
