由多媒体国际顶级会议ACM Multimedia举办的第二届多模态情感分析挑战赛（The 2nd Multimodal Sentiment Analysis Challenge, MuSe 2021）于今年4月1日正式发布，目前该挑战赛处于征集作品阶段。MeSe 2021期望能够通过更加全面地整合视听、语言和生物信号的模式，来实现生理情绪和基于情绪的压力识别。MuSe 2021将多个不同的学科领域（例如视听情感识别、情绪分析、健康信息分析等）融合在一起，实现了面向现实生活中的多模态融合情绪分析。

图1. 2021年多模态情感分析挑战赛

本届的挑战赛相较于去年有了很多的改进，其中最为突出的就是在数据中加入了生理信号的融合，并应用了一种全新的连续注释融合技术Rater Aligned Annotation Weighting(RAAW)，在挑战任务上也从去年的三个扩展为四个，而且这四个挑战也与我们当今的时代特性有着紧密的联系，四个子挑战的主要内容如下：

1、Multimodal Continuous Emotions in-the-Wild Sub-challenge（在自然条件下的多模态连续情绪识别子挑战）。该子挑战继承于MuSe 2020，要求参赛者必须从视听数据中连续地预测情绪维度，包含唤醒度和效价度，但是与以往不同的是该方向在本次比赛中是基于RAAW为前提进行的。

2、Multimodal Sentiment Sub-challenge（多模态情感识别子挑战）。将连续的情感注释映射到离散的类别一直被认为是一项非常具有挑战性的任务，并且迄今为止几乎没有以时间连续的方式成功计算过。在该任务方向下，参赛者被要求根据视听记录和MuSe-CaR数据集的转录语音，在片段级别上的效价和唤醒去预测五个情绪类别。

3、Multimodal Emotional Stress Sub-challenge（多模态情绪压力子挑战）。这一挑战是今年提出来的一个全新的方向，它根据当代社会人群面临高度压力的环境背景下，要求参赛者对人所处于的压力倾向进行预测。比赛为参赛者提供了TSST数据库，数据库中收录了受试者在高压诱导下所做出的自由发言，主要包含音频、视频、文本以及生理信号（心电图、RESP和BPM），参赛者可以利用这些数据来实现压力预测。

    4、Multimodal Physiological-Arousal Sub-challenge（多模态生理唤醒子挑战）。该挑战也是今年提出的一个新的方向，而这一方向也是最贴近我们日常生活的。为什么这么说呢？由于在我们的日常生活中，智能穿戴设备成本降低并在人群中逐渐普及起来，而这些设备可以记录人的生物信号以及跟踪健康状况。该方向所涉及到的生理信号指的是皮肤电反应信号（EDA），参赛者要求预测唤醒度和EDA的组合信号。

综合这次比赛所设置的挑战我们可以发现，MuSe 2021在多模态融合的方法上首次将生物信号纳入其中，并在三个不同方向上进行了多次介绍和推荐。可见，情绪识别领域除了面向视频、音频和文本的融合，目前在应对这个时代特性发展上也正在做出巨大的努力与改进。MuSe 2021比赛推动了情绪识别领域研究的探索。

参考网站

MuSe2021官网： https://www.muse-challenge.org/muse2021

Muse2020简介：https:// www.scholat.com/teamwork/showPostMessage.html?id=8870

参考文献

Stappen L, Baird A, Christ L, et al. The MuSe 2021 Multimodal Sentiment Analysis Challenge: Sentiment, Emotion, Physiological-Emotion, and Stress[J]. arXiv preprint arXiv:2104.07123, 2021.

撰稿人：郝岩

审稿人：梁艳