随着科技的逐渐发展，脑机接口方向发展迅猛，而脑机接口和元宇宙技术、深度学习的融合也开始逐渐发展。本文将汇报一篇2022年发表在Computers in Biology and Medicine上的论文《A CNN-based multi-target fast classification method for AR-SSVEP》，这是一篇关于使用CNN网络处理SSVEP信号的论文，并且使用了新颖的AR技术。

背景

基于稳态视觉诱发电位的脑计算机接口（SSVEP BCI）因其可靠性、可用性和高信息传输率（ITR）而受到了广泛的研究。基于增强现实的稳态视觉诱发电位（AR-SSVEP）是增强现实（AR）与SSVEP-BCI融合的一种新模式，增强了用户与周围环境或远程设备之间的人机交互。AR（OST-AR）可穿戴头盔（HoloLens）将虚拟场景集成到真实环境中，并根据用户当前的视野或环境状态动态调整SSVEP刺激信号的位置和功能。OST-AR和SSVEP的结合提供了适应性和个性化的交互，并已应用于机器人导航、智能家电；以及其他类似领域。然而，与计算机屏幕（PC）或虚拟现实（VR）视觉显示设备相比，真实空间中全息图像的叠加影响了人脑对刺激的识别，使得AR-SSVEP的实时目标分类困难，传统的脑电图（EEG）分类算法无法满足对大量刺激目标或真实环境的实时处理要求。本文提出了一种基于卷积神经网络（CNN）的增强现实稳态视觉诱发电位（AR-SSVEP）多目标快速分类方法。

CNN模型

如图1所示为本文所设计使用的CNN模型。该模型由四个卷积层、三个池化层和一个全连接层组成。输入分段的EEG信号，输入数据的大小为Nch×Nfc，其中Nch是通道数，Nfc是截获数据的长度。本文选择九个EEG通道（Oz、O1、O2、Pz、POz、PO3、PO4、PO7和PO8作为数据源）。Nfc以当前采样率表示特定时间的样本。例如，当时间窗口为0.5 s且采样率为1000 Hz时，Nfc=500。网络所需的参数根据输入数据的长度而不同。参数说明见表1。第一卷积层用于扩展空间信息，并对时间信息进行特征提取。其他卷积层使用不同长度的有限脉冲响应滤波器再次提取扩展的空间信息，同时丢弃冗余。该模型提取的特征作为全连接层的输入，用于预测输入数据的标签。在卷积层的中间使用ReLU激活函数，以节省计算量并减轻过拟合。卷积核是可学习的参数，通过训练迭代更新并收敛。模型可以学习的规则和特征随着层数的增加而增加，分类结果也变得更加准确。增加Pooling层以最大限度地提取前一层输出的特征。当输入数据长度为 1 s 时，使用第一层和第三层之间的 dropout来解决训练过程中的过拟合问题。

图1 CNN模型的架构

表1 模型的参数说明

实验及结果

实验中使用的设备包括一台计算机、一台OST-HMD设备和脑电图采样设备（SynAmps2和Quik-Cap64电极帽）。EEG信号的采样率为1000 Hz，电极帽按照国际标准10–20系统放置，参比电极为Cz，所有电极的阻抗均小于10KΩ。在AR-SSVEP实验环境中使用了全息透镜和EEG采集设备，可穿戴全息透镜全息透镜将虚拟信息集成到真实环境中，为BCI系统提供便携式真实刺激接口。实验的整体流程图如图2所示。

图2 实验的整体流程

本文设计了九种频率的类似视觉刺激布局，用于在OST-AR和PC上显示。SSVEP目标的识别作为一项多分类任务处理，EEG信号的分类使用CNN完成。每个受试者被要求参与刺激界面的实验。实验中，每个受试者都需要按照从上到下、从左到右的顺序注视这九个视觉刺激，并重复五次，共五个区块，每个区块包含九次试验。试验持续时间为6秒。黑屏时间为1秒后，出现提示，要求受试者注意并停留2秒，然后九个刺激同时闪烁3秒。刺激块设计如图3所示。

图3 所设计的SSVEP刺激块

表2显示了模型中1秒时AR-SSVEP离线数据分类的结果。每个受试者的数据用于进行五重交叉验证。对于1-s数据段，AR-SSVEP分类结果达到100%。由于受试者的个体差异，在受试者9身上观察到的效果与其他受试者有所不同，这可能是由于戴全息镜和脑电图帽时间过长造成的挤压。其他受试者的平均分类结果超过80%。与传统方法分类效果最好的FBCCA相比，模型在处理1s数据段中的EEG数据时表现出了改进。实验结果表明，该模型在短时间内对多目标分类是有效的。

表2 AR-SSVEP分类的结果

总结

本文设计的一个基于CNN的分类模型，验证了在AR-SSVEP多分类任务中对OST-AR进行快速分类的可行性。与传统的EEG分类方法相比，该模型可以在短时间内准确完成九个分类任务，而无需对原始数据进行过多预处理。AR-SSVEP模型的多目标分类结果优于其他方法。虽然AR-SSVEP目标的分类通常是理想的，但当刺激目标频率为中等时，分类精度几乎没有提高的空间。作者在未来将研究刺激目标频率对AR-SSVEP的影响，并设计一个频率差异较大的刺激目标，以获得更适合AR-SSVEP的刺激频率。通过这些改进，AR-BCI系统可以表现得更好，在实际应用中显示出更大的价值。

撰稿人：班念铭