2022年1月23日，由中国科学院行为科学重点实验室主办，深圳绿房子心理咨询有限公司、心仪脑平台共同协办的首届情感与认知计算高端论坛在线上召开。此次论坛主题涵盖情感计算、具身认知、人工智能、共情发展与脑科学等。众多国内外著名心理学者参会并分享在心理学、脑科学与人工智能等领域的国际最新科研成果。中国科学院心理研究所所长、党委副书记、研究员、博士生导师傅小兰研究员作为嘉宾作了题为“心理学视角下的自动表情识别”的报告。

图1 首届情感与认知计算高端论坛在线召开

傅小兰研究员首先介绍了表情识别中的基本情绪理论。她指出，当身体产生（生理）变化时，我们感受到这些变化，这就是情绪。这样的生理变化往往是可以通过人眼以及一些传感器设备获取，但是如何利用这些表现去识别对象的情绪与状态仍然是一大困难。

随后，傅小兰研究员提到表情是情绪的外在表现，可以通过对表情的识别来达到对情绪状态的确认。同时傅小兰研究员指出，随着对表情识别与情绪判断的研究不断深入，以往的一些方法发生了巨大的改变，其中最为典型的就是从静态图片到动态视频、从单一的面部动作单元到多模态的表情信息的变化。根据一些心理学相关的研究表明，动态表情相较于离散出来的单一表情图片能提供更多重要的信息。因为单一的图片只能提供空间维度信息，而动态表情在其基础上还可以提供时间维度上的重要信息。同时为了获得更好的判断结果，当下有不少研究者将面部表情与其他信息，如脑电信号、声音以及头部运动等，融合起来完成情绪的判断。

图2 表情识别的研究进展

如何对收集到的情绪数据进行标注是傅小兰研究员此次报告中的重点，她将标注方法大致分为了四大类。第一类是体验者的自我评估，因为情绪本质是一种主观体验，所以该类方法往往更具直接性，可信度较高。第二类方法考虑到部分场景无法获得主观学习者自我评估结果，所以采用观察者的主观标注的方法。但考虑到无论是体验者还是观察者的评估都存在一定主观性，所以通过AU动作单元的基于行为的客观标注的这类方法就被一些专家学者提出。该类方法根据一些事先定义好的情绪动作单元组合去匹配获得到的人脸的面部特征信息，从而获得对应的情绪标签。这样获得的标签具有一定的客观性与普遍性，同时降低了人力物力的损耗。同时为了更好地表示情绪，不同于以往离散的情绪类型，引入效价-唤醒度的概念，使得标注的信息更为精准恰当。

傅小兰研究员还就当前自动表情识别遇到的主要问题进行一一例举及解释。首先，表情与真实情绪体验的一致性很难保证，因为不同个体存在差异性，即便相同的情绪状态，不同个体表现出的信息也会存在一定的差异。同时因为上述问题的存在，极易导致人工标注的结果存在一定误差，这也是需要解决的一个重要问题。傅小兰研究员还特意指出情绪与表情的变异性，即一个标签很难代表一类情绪或者表情。为此，她列举了几个例子，比如彩票中奖和只是单纯因为看电视得到的喜悦感是不一样的，用同样的标签代表这两个状态是不恰当的。

图3 表情识别研究存在的问题

报告最后，傅小兰研究员对上述问题提出了自己的一些建议与思路。她指出情绪并非一个静态的结构，而是一个动态的建构过程，在这里构建过程就是主客体的互动过程。在结合了个体与他人及环境的互动去理解情绪的表现，得到的结果可能会更为合理准确。

报告人介绍：傅小兰，女，汉族，现任中国科学院心理研究所所长，脑与认知科学国家重点实验室副主任，心理研究所学位评定委员会委员、学术委员会委员，中国心理学会常务理事、秘书长。

线上会议录屏回看视频链接：https://appc75jwmhz4298.h5.xiaoeknow.com/v1/course/video/v_61efa386e4b054255d99db21?type=2

撰写：周卓沂

审稿：梁艳