该论文发表于 Pattern Recognition（中科院1区，IF：9.1），题目为《3D spatiotemporal attention for cross-subject inner speech recognition》。

北京科技大学博士研究生吴凌宇和加州大学圣地亚哥分校钟子平( Tzyy-Ping Jung) 教授为本文共同第一作者，北京科技大学文冬教授为本文通讯作者。

论文链接：https://doi.org/10.1016/j.patcog.2026.114134

论文概要

内隐言语是指人在不发声的情况下于脑中默念的语言，从脑电（EEG）中解码它，有望为失语、渐冻症等言语功能受损人群提供一种无需发声、无需动作的通信方式。但 EEG 具有复杂的非线性时空动态特性、被试之间差异显著，且可用数据集规模有限，使得这一任务在模式识别层面困难重重。

本文提出一套融合三维时空注意力的解码框架：先依据电极的物理位置，把二维 EEG 数据（通道×时间）重排成三维张量，以同时刻画时间演化与空间拓扑；再用卷积网络沿不同轴提取特征，并由三个三维 Transformer 编码器分别处理空间与时间维度，实现多视角融合与分类；最后引入基于 KL 散度的迁移学习，对齐源域与目标域的特征分布，并通过“冻结两个空间编码器、只微调时间编码器”降低跨被试适配的开销。

在公开数据集“Thinking Out Loud”上对四个方向词（上、下、左、右）分类，该模型被试内准确率达 64.69%，较现有基线提升约 10%；跨被试准确率最高可达 45%，优于多种非迁移与迁移方法。

研究背景

内隐言语相关的神经响应幅度小、空间分布弥散，如何从中提取具有判别力的时间与空间特征，是该方向的核心难题。早期研究多依赖传统特征与分类器，例如用试次间相干特征结合 SVM、KNN，被试内准确率约 50%；也有工作把 ResNet50 用于四个想象方向的分类，取得 45% 的跨被试准确率，并发现微调可进一步提升性能。

另一方面，被试间差异与 EEG 的非平稳性是实现“被试无关”脑机接口的主要障碍，数据不平衡与数据量有限又进一步放大了这一问题。迁移学习提供了解决思路，但用于内隐言语识别的研究仍然不多，且多数只关注解码精度，难以在不同被试之间有效对齐特征分布。

方法

整体框架

本文方法可概括为“三维重构—双卷积提取—三编码器融合—KL 对齐”。作者先把 128 通道的 EEG 信号按电极位置排布到 12×12 的空间网格上，与 512 个时间点共同构成三维张量，使卷积能够利用电极之间的空间邻接关系；接着用时间卷积与空间卷积分别提取短时动态与空间依赖，经批归一化与最大池化压缩为 10×10×10×64 的特征图；随后加入三维正弦位置嵌入，交给三个 Transformer 编码器先对各轴的其余两个维度平均，再分别沿 ax、ay、td 三个轴独立建模后再融合分类；最后用 KL 散度对齐源域与目标域的特征分布，完成跨被试迁移，整体流程如图1、图2 所示。

图1 EEG 信号与三维张量重构：(a) 来自 128 个通道的 EEG 信号；(b) 128 个通道位置；(c) 维度为 (ax, ay, td) 的三维张量

图2 时空特征提取流程

图3 内隐言语模型架构

关键步骤

数据预处理：使用公开的“Thinking Out Loud”数据集，10 名被试在身体静止的同时默念四个方向词。流程包括 0.5–50 Hz 带通滤波（去低频漂移与 50 Hz 工频干扰）、基线校正、独立成分分析（ICA）剔除眼动与肌电伪迹，最后按被试作零均值、单位方差标准化。连续信号被切分为 1 秒片段（512 Hz 下 512 个采样点），每名被试每类约 200 个试次并保持均衡。

三维数据重构：128 个通道被映射到 12×12 的空间网格（共 144 个位置），缺失位置用线性插值填补。该变换使卷积能够利用电极的空间邻接性，而传统二维方法只能把各通道独立看待。作者用 SVM 基线对比：原始二维数据准确率 25.8%，三维张量表示 28.1%，说明变换确实带来增益。

时空特征提取与编码：时间卷积用 32 个 (1,1,3) 滤波器匹配 EEG 潜伏期特性，空间卷积用 64 个 (3,3,1) 滤波器捕捉电极间的局部交互，最终张量维度为 10×10×10×64，相较输入实现约 10 倍维度缩减。三个编码器各自包含 2 层、4 个注意力头与 256 维前馈网络，总参数量约 250 万；消融实验显示，省略维度平均会使准确率下降约 3%，而与单一统一编码器相比，多维编码器设计带来约 10% 的准确率提升。

迁移学习：在归一化直方图上计算 KL 散度损失，与分类交叉熵加权求和（平衡系数 λ=0.1，分箱数 64）。微调阶段考虑各被试电极布局一致，冻结两个空间编码器、只更新时间编码器，使可训练参数量从 750 万降到 250 万，在 NVIDIA RTX 3090 上将微调时间缩短 60%；消融显示若不冻结，准确率会下降约 15%。迁移学习的具体做法如图 4 所示。

图4 迁移学习策略：源域与目标域特征共同约束 KL 损失，空间编码器被冻结

实验结果

特征质量与编码器贡献

把变换后的 EEG 重塑为 (10,10,10) 的紧凑张量并用 t-SNE 投影到二维空间，可以看到类别形成了边界较清晰的聚类，其中“右”类分离度最好，“左”与“下”之间存在轻微重叠。若绕过 Transformer 编码器、直接在特征后接一个全连接层，10 名被试的平均准确率为 30.5%，明显超过四分类 25% 的随机水平，说明所提取特征本身已具备判别信息。

图5 特征的二维 t-SNE 分布：不同方向词形成较清晰的聚类

三个编码器带来了 16.81% 的平均提升（配对 t 检验 p=4.57×10⁻⁸）：各被试准确率由基线的 27.92%–34.09% 提升到 55.42%–73.5%。训练曲线上 td 编码器波动明显更大，原因是时间维度从 512 被压缩到 10，压缩非常激进；而 ax 与 ay 因空间维度仅从 12 降到 10，收敛更为平稳。在全部被试上做“一对多”ROC 分析，宏平均 AUC 为 0.650。

图6 使用三个编码器前后的各被试准确率对比

跨被试迁移性能

作者设计两种迁移范式：均衡的“五对五”与不均衡的“九对一”。“五对五”方案表现更好，用 S1–S5 训练并迁移到 S6–S10 得到 45.82% 的准确率，反向迁移为 43.91%。“九对一”方案中各目标被试的准确率多在 24%–41% 之间，反映出个体分布差异带来的波动。所有实验均使用目标域 50% 的数据微调，其余用于测试。

与基线相比，本文方法优势明显：传统分类器 SVM、XGBoost 分别为 26.20% 和 27.90%，神经网络方法 EEGNet、LSTM、Bist 分别为 29.67%、30.40% 和 31.30%，Conv1D+Transformer 为 40.80%，而本文方法达到 64.69%。在迁移场景中，本文方法也以 45.82% 优于基于相位的大脑功能连接（20.18%）、自蒸馏（24.53%）与域自适应（43.98%）。

混淆矩阵显示类别间难度差异较大：以 S10 为目标时“右”类准确率最高（58.15%），而“下”（20.6%）与“左”（22.39%）明显偏低，且有 40.98% 的“左”被误判为“右”，说明这两类时空模式接近、存在双向重叠，仍有细化的空间。（此处数值沿用原文正文表述，部分与图中标注有所出入。）

图7 两种学习场景下的混淆矩阵

讨论与结论

本文的核心贡献在于把三维时空表征学习与跨被试特征对齐统一在一个框架内：一方面按电极拓扑组织 EEG 信号并借助三编码器架构提取与融合时空模式，另一方面用基于 KL 散度的分布对齐与选择性微调，使模型以较低计算代价适应新被试。

但该工作仍有局限：实验仅在包含 10 名被试的单一数据集上完成，泛化能力有待更大规模数据检验；增益在不同被试和类别之间并不均匀，部分方向仍难以区分；多编码器与注意力模块带来较高计算成本，可能限制其在资源受限场景中的实时部署。此外，作者尝试结合大规模预训练模型时发现，LaBraM 的训练准确率虽可达 78%，验证准确率却降至 28%，说明域不匹配仍是主要障碍。未来工作将聚焦于多中心数据验证、提升跨被试自适应的稳定性、通过轻量化设计降低计算复杂度，并探索与眼动、肌电信号的多模态融合。

参考文献：

Nieto, N. et al. (2022) Thinking out loud, an open-access EEG-based BCI dataset for inner speech recognition. Sci. Data 9, 52

Dhananjaya, P. et al. (2024) EEG based brain-computer interface for inner speech classification. In: 2024 Moratuwa Engineering Research Conference (MERCon), 388–393

Lopez-Bernal, D. et al. (2024) Exploring inter-trial coherence for inner speech classification in EEG-based brain–computer interface. J. Neural Eng. 21, 026048

Li, Z. et al. (2026) Decoding multilingual imagined speech from scalp EEG via dynamic differentiable graph hierarchical fusion network. Inf. Fusion 133, 104262

Lawhern, V.J. et al. (2018) EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces. J. Neural Eng. 15, 056013

Gallo, I. and Corchs, S. (2024) Thinking is like processing a sequence of spatial and temporal words. In: 2024 International Joint Conference on Neural Networks (IJCNN), 1–8

——END——

撰稿人：滑云鹏

审核人：高炜

脑机接口与混合智能研究团队