团队成员李瑞新等本科生在SCI期刊Frontiers in Human Neuroscience发表研究成果

 

近日,华南师范大学软件学院软件工程专业本科生李瑞新、刘晓剑、王冰冰、黄文鑫、蔡兆信和叶耀光,在潘家辉、梁艳、邱丽娜老师的共同指导下,以第一作者在SCI期刊Frontiers in Human Neuroscience上发表研究成果《MindLink-Eumpy: An Open-Source Python Toolbox for Multimodal Emotion Recognition》。该论文于2020年10月投稿,于2021年2月录用并在线发表。其中,Frontiers in Human Neuroscience是中科院3区的SCI学术期刊(IF: 2.673),属于“神经科学”学科。

情绪(Emotion)是人对客观事物的态度体验和相应的行为反映,是一种由感觉、思想与行为综合而成的复杂的心理和生理状态,它与大脑许多内部和外部活动相关联,在生活中的各个方面都起重要作用。本文提出一款多模态情绪识别开源工具箱MindLink-Eumpy,用于使用人脸图像和脑电信号进行情绪识别。在人脸图像处理方面,MindLink-Eumpy能够利用迁移学习技术训练卷积神经网络以识别人脸表情;在脑电信号处理方面,MindLink-Eumpy能够对脑电信号进行处理,并提取特征值,再利用SVM进行情绪分类。本文还提出一种基于长短时记忆网络识别情绪的方法,利用长短时记忆网络对处理后的脑电信息进行情绪识别,能够初步达到一定程度上的跨被试情绪识别效果。本文从效价(valence)和唤醒度(arousal)两个维度对情绪进行高(high)和低(low)的二分类。国际公共数据集DEAP和MAHNOB-HCI的相关实验表明,情绪识别准确率在效价维度 能够达到78.56%,在唤醒度维度能够达到77.22%,证明了本文方法的有效性和可用性。此外,MindLink-Eumpy工具箱能提供人脸图像和脑电信号两个模态的数据处理、情绪识别和数据融合等功能,并提供一系列可扩展的可视化操作,填补了现有国产情绪识别开源工具箱的空白。该研究成果主要来源于广东大学生科技创新培育专项资金(攀登计划专项资金)重点项目“MindLink-Explorer开放平台——实时测量情绪与注意力的多模态工具箱”。 

论文《MindLink-Eumpy: An Open-Source Python Toolbox for Multimodal Emotion Recognition》的下载地址如下:https://www.frontiersin.org/articles/10.3389/fnhum.2021.621493/full


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: