团队成员黄彬源、罗咏东和周成菊老师的研究成果《Watch Where You Move: Region-aware Dynamic Aggregation and Excitation for Gait Recognition》已被《IEEE Transactions on Multimedia》期刊(中科院一区 top,IF 8.4,华师代表性期刊推荐目录一类成果)接收。该工作解决了传统步态识别方法通常使用预定义的区域和固定的时间尺度建模,限制了模型对动态变化的运动区域的适应性的问题。此外,现有方法对静态区域(易受服装和视角变化的影响)的关注度较高,而对运动区域的关注不足,导致在实际应用中性能下降。针对上述问题,研究提出了 Region-aware Dynamic Aggregation and Excitation (GaitRDAE) 框架解决,如图1所示,其包含以下两个核心模块:
该模块通过动态搜索每个区域的最佳时间感受野,并根据输入样本更新区域感知的时间尺度。具体来说,RDA 模块使用空间 - 时间卷积核对输入特征进行预测,以确定每个区域所需的时间感受野,并通过学习到的时间偏移值来聚合特征。
该模块旨在通过空间和通道维度同时自适应地激发运动区域特征,突出运动区域中的稳定行为模式,同时抑制静态区域中易变的模式。RDE 模块包括两个子模块:空间运动激发(Spatial-wise Motion Excitation, SME)和通道运动激发(Channel-wise Motion Excitation, CME)。SME 通过计算相邻帧之间的响应差异来分配空间注意力,而 CME 则通过计算输入特征与其低频滤波版本之间的差异来增强与运动相关的通道。
实验结果表明,该方法在多个关键数据集(GREW、Gait3D、CASIA-B 和 OU-MVLP)上均取得了最先进的性能,证明了其可自动搜索运动区域、分配自适应时间尺度并应用相应注意力,有效地提高了步态识别的准确性和鲁棒性。
图1 GaitRDAE框架
研究背景
步态识别作为一种重要的生物识别技术,在视频监控、智能安防等领域有着广泛的应用前景。然而,实际场景中步态识别面临着诸多挑战,如拍摄角度变化、服装变化、携带物品等,这些因素会对步态特征造成干扰,影响识别的准确性和鲁棒性。
研究方法创新点
区域感知与动态建模:传统方法使用预定义的区域和固定时间尺度建模,难以适应运动区域的动态变化。GaitRDAE 框架则引入区域感知的动态聚合与激发机制,能够根据不同输入样本,动态地确定每个区域的时间感受野,并进行特征聚合与激发,更好地捕捉步态序列中的动态信息。
运动区域与静态区域的平衡关注:现有方法对静态区域关注度较高,而该研究提出的方法通过 RDE 模块,突出运动区域中的稳定行为模式,抑制静态区域中易变的模式,使得模型能够更加关注具有区分性的运动特征,从而提高模型的鲁棒性和准确性。
研究意义
该研究成果不仅为步态识别领域提供了新的技术思路和方法,而且对于提高步态识别在实际应用中的性能具有重要意义。通过自动搜索运动区域、分配自适应时间尺度并应用相应注意力,GaitRDAE 框架能够更好地应对实际场景中的各种变化和干扰,为步态识别技术在智能安防、智能监控等领域的广泛应用提供了有力的技术支持。