近日，由本团队硕士研究生何志鹏同学在潘家辉副教授、梁艳老师、邱丽娜老师的共同指导下完成的综述论文《多模态情绪识别研究综述》，在学术期刊《智能系统学报》作为第4期的卷首文章发表。《智能系统学报》是中国人工智能学会会刊，被中国科学引文数据库（CSCD）来源期刊、中国科技核心期刊等重要数据库收录。论文作者包括有：潘家辉、何志鹏、李自娜、梁艳、邱丽娜。该论文成果主要来源于团队项目广东省自然科学基金面上项目“基于多模态脑机接口的情绪识别及其在意识障碍患者中的应用研究” 以及何志鹏同学研究生期间的研究生创新创业训练计划项目“基于脑电信号和眼动信号的情绪识别研究与应用”。

图1  多模态情绪识别研究框架

本论文总结了近年来的多模态情绪识别研究，首次从外部表现模态（肢体动作、脸部表情、语音信号等）、神经生理模态（神经生理电信号、眼球运动、呼吸心理等）以及神经生理与外部表现模态混合三个类型来综述多模态情绪识别的代表性研究。同时，文章归纳了数据级融合、特征级融合、决策级融合以及模型级融合四种融合层次下的不同模态融合策略，分析不同融合策略的优点和适用性。通过与单模态情绪识别研究进行对比，文章论证了多模态融合技术可以极大提高情绪识别的效果。最后，针对当前多模态情绪识别研究现状，文章讨论了多模态情绪识别未来的研究方向，并提出了相关方向的研究策略。本论文力图帮助情绪识别研究者建立完整的多模态情绪识别知识体系，提供一定的学术参考。    

图2  知网首发的论文截图

智能系统学报是CSCD核心期刊(即中国科学引文数据库来源期刊核心版)、统计源核心期刊(即中国科技论文核心期刊)、北大核心期刊。其主要刊登神经网络与神经计算、智能信息处理、机器感知与虚拟现实、智能控制与智能管理、人工智能基础等智能科学领域具有自主创新理论和技术研究的科研成果和高水平学术论文，反映国内外智能科学学科的前沿和发展，促进智能科学理论和技术的传播与交流。

文章网络首发地址：https://kns.cnki.net/KCMS/detail/23.1538.TP.20200822.1412.002.html