2021年7月24日，“2021年CAAI情感智能专委会年度会议暨多模态情感计算研讨会”在北京中科院自动化所智能化大厦报告厅召开。此次会议由中国人工智能学会主办，CAAI情感智能专委会与中科院自动化所承办。东南大学儿童发展与学习科学教育部重点实验室主任、东南大学教授、江苏杰青获得者郑文明教授在线上作了题为“多源情感识别及应用”的报告，主要围绕情感理论基础、多源情感识别方法、情感识别的应用等三个方面展开。 

图1 多源情感识别及应用报告现场

郑文明教授首先通过希波克拉底体液学说、达尔文的情绪进化理论、詹姆斯-兰格理论、坎农-巴德理论、沙赫特-辛格理论、拉扎勒斯的认知评价理论等，介绍了情感理论的发展历程。以这些理论为基础，现代情绪认知评价从情绪响应的三个成分出发，可分为主观体验、生理反应和行为表现。

图2 情绪理论发展历程

郑文明教授表示，情绪通常是一种相对短暂的、伴随比较强烈生理反应的状态，而情感是包括情绪、感觉、心情等广泛主题的概念。常见的情绪分类有按效价、唤醒、控制度维度分类方法，以及按6种或者10种基本情绪的分类方法。

图3 情绪与情感

郑文明教授认为情感识别的目标就是从情感信号中推断出情感语义信息，也就是要做好提取情感特征以及预测建模情感两部分工作。他指出情感计算就是与情感相关、来源于情感或能够对情感施加影响的计算。报告中，郑文明教授通过引用Marvin Minsky和李飞飞教授的观点，强调了情感计算在人工智能的重要地位。

图4 情感识别任务

随后，郑文明教授重点对生理信号中的脑电情感识别展开了讨论。他认为如何有效表征脑电电极间的拓扑结构关系，是进一步挖掘多通道脑电情感信息、提高脑电情感识别的关键。郑文明教授表示，可以采用图模型来进行表征并自动学习构建脑电电机连接不规则拓扑结构关系，通过对不同尺度感受野下的图卷积运算，构建图卷积神经网络模型，来提取脑电电极间的局部和全局情感特征，从而提高脑电情感识别的准确率。

郑文明教授介绍了东南大学脑机团队在脑电情感识别方面的最新研究成果。首先，为了减少脑电电极间干扰因素的影响，突出关键的功能连接关系的目的，该团队提出在神经网络损失部分附加给关于图邻接矩阵稀疏约束正则项的稀疏动态图卷积神经网络（DGCNN）方法。其次，为解决不同个体的脑电信号存在显著的个体差异，以及脑电电极信号间邻接关系建模易受噪声干扰，该团队提出变分样本自适应GCNN方法，采用两个额外的网络分支，一个用来构建样本自适应邻接矩阵，一个用来生成概率图邻接矩阵。在SEED和MPED脑电数据库上进行测试，3分类任务分别取得了88.38%和74.13%的准确率。

图5 变分样本自适应GCNN方法 

郑文明教授在报告中也介绍了表情和语音的非生理信号情感识别方法，同时也介绍了MPED、DFEW等多源情感数据库，这些数据库已受到许多国家和地区研究人员的广泛关注并用于算法研究。

在报告的尾声，郑文明教授指出，情感识别在医疗、教育、娱乐等领域已经具有广泛应用，例如孤独症风险筛查、儿童的情绪能力发展评估以及教育陪伴机器人等。东南大学脑机团队在儿童孤独症风险评估方面做了深入研究，今年4月份与华为公司合作，在小艺精灵机器人情感识别上进行了开发工作。郑文明教授指出，孤独症是严重的神经发育障碍，危害大，而通过静止脸实验范式，构建联合头动特征、语音和表情特征的孤独症风险量化评估的方法，可以很好地对幼儿孤独症患者进行早期干预。

图6 情感识别的应用 

报告人介绍：郑文明，二级教授，江苏省特聘教授，博士生导师，现任儿童发展与学习科学教育部重点实验室主任、IEEE高级会员、中国认知科学学会理事。2004年9月博士毕业于东南大学无线电工程系信号与信息处理专业。先后在微软亚洲研究院、香港中文大学、美国伊利诺伊大学香槟分校、剑桥大学从事访问研究。主要研究方向为多模态情感计算、神经信息处理、计算机视觉，机器学习。2005年入选教育部新世纪优秀人才支持计划，先后获首届微软青年教授奖、全国优秀博士学位论文提名奖、江苏省杰出青年基金等荣誉。担任IEEE Transactions on Affective Computing、Neurocomputing、The Visual Computer、《图学学报》等国内外期刊编委。主持了科技部973课题、国家自然科学基金重点项目、江苏省杰出青年基金项目等，获国家技术发明二等奖1项、教育部自然科学二等奖2项和江苏省科技进步二等奖1项。

撰稿：黄伟聪

审核：梁艳