2021年7月24日，中国人工智能学会主办的“2021年CAAI情感智能专委会年度会议暨多模态情感计算研讨会”在北京中科院自动化所召开，来自全国各地高等院校、科研机构、国内人机交互相关企业的近百位专家、学者、业内人士前来参会。中国科学院自动化研究所研究员、模式识别国家重点实验室副主任、博士生导师陶建华教授就“多模态情感计算的现状与挑战”进行主题报告。报告内容从情感计算的历史、情感的组成成分和表示、多模态情感信息的融合与识别以及多模态情感识别的应用与挑战四个方面全方位地分析了多模态情感计算的现状与挑战。

陶建华教授首先指出了情感在日常生活的重要性，只有理解情感才能连接人类的悲喜。随后，陶建华教授详细的讲述了情感计算的历史。最早关于情感计算可以追溯到上世纪60年代，但是真正“情感计算”这个概念的提出者是上世纪90年代罗莎琳德皮卡德教授。情感计算的目标是赋予计算机感知、理解以及表达情感的能力。

图1 人工智能的重要性

       说到情感计算就不得不先提到情感这个概念。陶建华教授对情感的产生、情感的组成成分以及情感的分类方式进行了归纳。首先，陶建华教授指出情感是心理学的概念，情感产生的观点主要分为三种：外界刺激产生的心理反应；先有情感后有生理反应；生理反应加周围环境产生情感感觉与行动。目前为止，主流观点认为无论如何产生，情感主要由三个成分组成：主观体验、外部表现以及生理唤醒。主观体验是指个体对情感状态的自我感受；外部表现是指情感状态发生时身体各部分动作量化形式，如表情，姿态，语调等等；生理唤醒是指人的生理反应。

图2 情感的组成成分

从情感角度来说，人的情感可以有很多种分类方式，可以是离散的也可以是连续的，可以分类为基本情感和由不同基本情感组合派生出来的复杂情感。从情感计算的角度来说，大家普遍采用的是美国心理学家Paul Ekman提出的针对人脸表情的编码系统AU编码。除此之外，还有比较常用的情感矢量模型，如图4所示的近10年情感计算比较关注的维度情感表示模型。由于维度情感表示模型是连续的，在细微的情感变化过程能表达的更为准确，目前基于情感波动的应用如精神疾病的检查、测谎等常用该模型进行算法构建。

图3 情感的分类

图4 维度情感表模型

如何在连续的情感模型下构建多模态信息融合的情感识别的方式，是陶建华教授本次报告的重点。由于前面提到情感由三个组成成分组成可以知道：情感是通过多种模态的形式进行表达的。情感识别通过分析语言信号、视觉信号和生理信号来识别人的情感状态，利用不同通道情感信息之间的互补性能有效的提高情感识别的准确率。

图5 多模态信息融合

陶建华教授指出：目前多模态的情感识别系统主要通过脸部表情跟踪、手势跟踪、姿态跟踪、语音情感声学参数提取、生理信号提取这五个方式进行情感特征提取，进行综合的决策以获得情感状态。基于连续情感模型的多模态情感识别应用到的情感特征主要有音频、视频、文本以及更多生理信号通道（皮肤电，脑电，脉搏等等）。基于这些特征典型的特征提取工具如图6所示。

图6 情感特征提取工具

随后，陶建华教授从情感识别的角度总结了多模态情感识别模型。情感识别模型可以分为静态模型和动态模型，动态模型相较静态模型区别是其含有学习情感时序上下文的能力。陶建华教授认为情感的时序特征在情感识别中非常关键，因为情感本身具有时序变化特点 ，并且用于情感分析的情感特征如言语、面部、行为、生理等都具有时序性。

图7 情感识别的时序性

紧接着，陶建华教授基于情感的时序性举例了几个时序建模方法和多模态融合策略。陶建华教授从经典的循环神经网络方法，如HMM、LSTM到基于细粒度的时序建模，再到融合个体与时序信息的情感识别方法进行了简要介绍。

图8 基于细粒度时序建模的情感识别

从多模态的融合角度来说，陶建华教授总结了多模态融合的两个问题：如何融合与同步问题。其指出多模态融合策略主要分为特征层融合、模型层融合与决策层的融合。

图9 多模态融合策略

最后，陶建华教授基于多模态融合的现状指出目前情感的困难与挑战：情感识别存在着大量应用领域，但是如何提高情感识别的精度需要多模态信息的融合以及开放环境下情感识别具有大量噪声，难以有效提取高质量的情感区分性信息。同时，我们也可以从环境描述、情感特征、情感个性化这三个领域去进行情感识别的突破。

图10 情感识别可突破领域

报告人介绍：陶建华，男，汉族，中国科学院自动化研究所研究员。模式识别国家重点实验室副主任、博士生导师。国家杰出青年基金获得者，国家“万人计划”科技创新领军人才。中国计算机学会会士、常务理事，中国人工智能学会理事，中国中文信息学会理事，中国图象图形学会人机交互专委会主任。

撰写：温兴

审稿：梁艳