本篇学习报告基于《TNTC: TWO-STREAM NETWORK WITH TRANSFORMER-BASED COMPLEMENTARITY FOR GAIT-BASED EMOTION RECOGNITION》，第一作者是Chuanfei Hu 。该文献发表在ICASSP2022上，由东南大学、南京应用数学中心以及浙江大学合作完成。该工作提出了一个新的基于步态的人类情感识别的新方法，从骨骼关节和情感特征编码的图像中学习深层特征。

1.研究背景

基于视觉线索的人类情绪识别已广泛应用于各种应用场景，如视频监控、行为预测、机器人导航和人机交互。面部表情是最主要的可用于识别人类情绪的途径，通过人类的面部表情可以识别出愤怒、厌恶、快乐、悲伤、恐惧等情绪。然而，面部表情可能在复杂情况下不可靠，例如当人伪装自己的表情来掩盖内心的真实情绪时，对其进行面部情绪识别就将会得出错误的输出。因此，最近的研究逐渐关注人类表达情绪的其他特征，例如人类行走的步态 。

2.作者贡献/创新点

前人对于步态的情绪识别的研究，存在两个不足之处。一个是骨骼关节和情感特征无法很好的结合在一起，导致信息的利用不足。另一个则是现有研究忽略了空间域和时间域的长时间的依赖关系，这对于描述关节之间的暗含的相互作用关系十分重要。

作者在该论文的两个主要创新点：一是提出了一种基于步态的人类情感识别的新方法，从骨骼关节和情感特征编码的图像中学习深层特征。作者是最早将情感特征表示为基于步态的人类情感识别图像的人之一。二是提出了TCM (Transformer-based complementarity module)模块，被用来通过捕获远程依赖性来有效地补充骨骼关节和情感特征之间的信息。

3.模型总体框架

作者针对前人研究的不足之处，加强了关节特征和情感特征的结合，以及利用率空间域和时间域的长时间依赖关系，提出了一种基于图像的用于识别人类情绪的Transformer新型双流网络，称为TNTC (two-stream network with transformer-based complementarity)。作者认为骨架序列的空间和时间信息可以通过CNN在图像域中有效地提取。同时，Transformer 可以通过自注意力机制处理捕获长时间依赖关系，其注意力机制的有效性已在许多计算机视觉任务中得到验证。

图1.TNTC网络结构

如图1所示，首先生成骨骼关节图像SJI (Skeleton joint image)。将骨架序列编码为图像是因为CNN能利用这些图像迅速地提取局部时空特征，作者将关节的3D坐标编码为图像的三个通道。

图2.三个平面的关节投影角度

而情感特征则通过一种新颖的编码方法转换成情感特征图像AFI（Affective feature image）。情感特征，如姿势和运动，在人的步态当中传递情感信息，这对于预测主体的情感状态至关重要。本文仅将关节角度视为情感特征，并丢弃其他特征，例如关节的距离和速度，原因是这些特征隐含在关节流和情感特征流的卷积运算中。为了构建可靠的 AFI，我们利用关节在三个平面上的投影角度来避免由不同视点引起的不一致。如图2所示，关节在三个平面上的投影角度明显不随任意视点而变化。

图3.TCM内部细节

下一步通过TCM来捕获骨骼关节流和情感特征流之间的依赖关系，TCM内部细节如图3所示，P、C、S、U分别表示平均池化操作、连接操作、分裂操作和上采样操作。逐元素求和表示为“+”。骨架特征F_J和情感特征F_A作为TCM的输入，每一个序列由一个特征向量进行表示，TCM则可以捕获特征向量之间的长时间依赖性。首先将原本大小为H×W×C通过平均池化操作减小F_J和F_A的大小为H′×W′×C′，其中 H′ = H/l，W'= W/l，F_J和F_A缩小的尺度相同，尺度参数 l 被设置为不同的值以修改每个级别中具有固定大小的特征，接着连接两个特征F_A,F_J变为F_AJ作为Transformer的输入，经过Transformer的处理后变为F^'_AJ，再将其分为两个互补信息和分别用于关节流和情感流中。

在TNTC的最后处理环节，关节特征和情感特征被池化为1×1×512，即512维的特征向量，该特征向量输入进分类模块MCM(multi-layer perceptron (MLP)-based classification module)预测人类的情绪。

4.实验结果

作者在Emotion-Gait数据集上进行了验证，该数据集由 2177 个真实步态序列组成，分别注释为四种情绪类别之一，包括快乐、悲伤、愤怒或中性。

表1.各模型在Emotion-Gait准确度对比

        根据表1，作者的方法使得TNTC实现了最高的准确率，这比目前的最高准确度的方法提升了4.08%。为了进行公平比较，作者通过公共代码重现这些方法，并使用相同的评估方法对比实验结果。

表2.消融实验

        为了验证双流架构的有效性，作者分别尝试了只训练关节和只训练情感特征，以没有TCM作为基线来进行对比，如表二所示，没有训练关节的准确率只有79.52%，没有训练情感特征的准确率为80.71%，而基线的准确率为81.53%，从实验结果证明了双流架构的有效性。

为了验证TCM 的有效性，作者逐渐增加TCM的数量，可以观察到，准确性随着 TCM 数量的增加而提高，在插入了4个TCM后准确率提高到了85.97%，这表示TCM可以关注两个流之间的互补信息来提高模型的准确率。

5.总结

在这篇论文中，作者提出了一种基于步态的人类情感识别的新方法，构建了TNTC双流网络模型，使用了骨骼关节和情感特征作为双流模型的输入。结果表明，所提出的TNTC双流网络模型能可靠的从步态识别人类情绪，并在广泛使用的Emotion-Gait数据集上取得了最先进的结果。

从实验结果来看，模型的输入以及对输入信息的处理十分重要。作者在该论文选择了关节以及情感特征(关节角度) 作为TNTC模型的输入，以及使用了TCM捕获骨骼关节流和情感特征流之间的依赖关系。

综上，后续的研究可以从以下角度出发。从输入的角度考虑，一方面可以从增加输入的个数从双流增加为三流，例如以关节+关节角度+关节速度作为模型输入可能会达到更好的效果。另一方面可以尝试更改双流的输入，例如考虑关节的运动速度作为情感特征，以骨骼关节+关节运动速度作为双流的输入。从对输入信息的处理的角度考虑，本论文已经验证了Transformer对捕捉双流的互补信息的有效性，因此可以尝试增加TCM在TNTC中的数量以及对TCM的结构进行优化。

论文：TNTC: Two-Stream Network with Transformer-Based Complementarity for Gait-Based Emotion Recognition | IEEE Conference Publication | IEEE Xplore

撰稿人：卢亮宇

指导老师：周成菊