近日，团队成员蔡洪华和金家瑞等在潘家辉教授的指导下，在SCI期刊Pattern Recognition Letters（SCI, JCR Q2, IF=5.1）发表研究成果“AITST–Affective EEG-based Person Identification via Interrelated Temporal-Spatial Transformer”。本论文于2023年4月10日投稿，2023年8月23日录用。

与容易被规避的传统识别方法，如证书识别、签名识别和密码识别，或其他生物识别方法，如指纹、人脸和虹膜相比，基于脑电（electroencephalography, EEG）的身份识别（Person Identification）因其更高的准确性、安全性和稳健性而受到广泛关注。目前相关研究已经证实每个人的脑电信号是独特的，因此它们可以作为独特的生物特征用于身份识别。大多数现有方法只是单独从单一领域提取特征，或者将它们进一步组合在一起，这并没有考虑这三个领域之间的相互关系。此外，基于Transformer的方法是否具有适用于脑电身份识别并克服情绪状态影响的能力，仍然不清楚。

为了解决上述问题，我们提出了一种基于情感相关的时空注意力机制的Transformer的脑电身份识别方法（AITST），以克服不同情绪状态的影响。该方法包含了相关联的时空注意机制，旨在提取时空特征的同时保留时域和空间域的相互关系。我们在DEAP数据库上对AITST进行了评估，实验结果表明，AITST在情感脑电身份识别任务中实现了SOTA性能，并克服了不同情绪状态的影响。此外，我们还研究了哪种类型的特征和情绪状态对于身份识别更有帮助，旨在为后续的身份识别研究提供特征选择和情绪状态关注的指导。本文贡献如下：

1）我们提出了一种基于情感相关的时空注意力机制的Transformer的脑电身份识别方法（AITST）用于情感脑电身份识别，可以克服不同情绪状态的影响；

2）我们设计了一种时空相互关注机制，用于在从脑电的时空领域提取特征时保持时域和空间域之间的相互关系；

3）我们探索了不同情绪状态、不同频带以及不同特征对脑电身份识别的贡献，发现γ频带、高唤醒状态和功率谱密度（Power Spectral Density, PSD）特征更有助于情感脑电身份识别。

图 1 本文提出的AITST框架

AITST的架构概述如图1所示。AITST包括空间编码器、时域编码器、图块划分和位置嵌入，以及跟随在Transformer编码器之后的多层感知器（MLP）。由于脑电图中不同电极的信号存在显著差异，因此专注于不同电极之间的空间信息至关重要。在空间注意子模块中，我们使用两个卷积层进行空间信息融合，以便聚焦于不同电极之间的空间信息。我们使用大小为7×7卷积核对每个图块进行下采样，并使用反卷积将特征图上采样至原始大小。

本研究可以在提取脑电数据中的时空特征的同时，重构空间和时域之间的相互关系。我们在DEAP情感数据库上对AITST进行了评估，实验结果显示AITST实现了SOTA性能，而Transformer结构有助于克服不同情绪状态和不同频带的影响。消融研究显示，我们的相关联的时空注意力机制可以提升AITST的性能，空间和时域信息对情感脑电身份识别都是不可或缺的。此外，功率谱密度、高唤醒状态和脑电图信号的γ频带更有助于情感脑电图身份识别。