在贯彻实施《“十四五”数字经济发展规划》和《虚拟现实与行业应用融合发展行动计划（2022-2026 年）》的背景下，为提升我国虚拟现实产业核心技术创新能力，加快虚拟现实与行业应用的融合发展，构建完善虚拟现实产业创新发展生态，由四位知名院士：费爱国、赵沁平、徐宗本、毛军发院士共同担任大会主席的全国虚实融合交互大会于7月28日-30日在广州举行。

        本次大会旨在聚焦虚拟现实与人机交互发展的关键共性问题，探讨虚拟现实和交互技术产业发展趋势和解决之道，推动行业应用和消费普及，通过展示前沿技术、最新成果和高科技产品，为全国的虚实融合交互领域打造一个创新合作、交流和展示的平台。在本次大会中，各领域知名专家为大会带来丰富的知识和深入的见解，引导领域热点话题讨论，提供权威指导和解读。

        7月30日上午，华南理工大学俞祝良教授就近期研究：基于贝叶斯不确定性估计的深度学习技术及在脑机交互中的应用，做了简要报告。该报告从研究背景、基于贝叶斯不确定性估计的深度学习、基于贝叶斯卷积神经网络的P300检测等三个大方面展开讲解，并着重介绍了基于贝叶斯不确定性估计的神经网络设计及其在脑机接口中的应用与优化。

图表 1报告主题

        报告开始，俞祝良教授简单介绍了当前脑机接口的研究现状：脑机接口在硬件、算法、设备、应用等取得巨大进步，特别是深度学习的方法在脑机接口算法开发中取得了良好应用效果。并列举了Li等人[1]提出的一种时空判别限制玻尔兹曼机来提取ERP的空间和时间特征，取得了最先进的ERP检测性能的示例。同时，俞教授也指出脑机接口目前存在的挑战：1.脑机接口数据存在严重的非平稳性。测试使用的数据可能与训练数据的分布存在较大的差异。2. EEG数据通常是高维的，且存在数据稀疏区域。位于这些区域的输入的分类将导致更高的不确定性。目前大多数模型都是基于点估计来计算预测。这些模型无法评估预测的不确定性，并倾向于对位于数据稀疏区域的样本做出过度自信的决策。

图表 2研究背景

图表 3研究背景

        紧接着，俞祝良教授简单介绍了贝叶斯神经网络。与传统点估计网络不同，贝叶斯神经网络的每个权值都是一个分布，且其输出也是一个分布。它通过概率分布的形式来捕获模型的不确定性。在预测阶段，贝叶斯神经网络通过采样，可以得到一组神经网络。对这些网络的预测进行集成可以获得比点估计网络更可靠的预测结果。

图表 4贝叶斯神经网络

        因此，考虑到贝叶斯神经网络的优点与卷积神经网络在P300检测中的应用，俞祝良教授团队提出了贝叶斯卷积神经网络（BCNN）。在BCNN中，所有的点估计权被概率分布取代，以捕获模型的不确定性。

        BCNN架构如图五所示。其输入是一个大小为64 × 78的单trial信号样本。该网络第一层为空间卷积层，包含10个大小为64 × 1，stride为1的卷积核。第二层为时间卷积层，包含50个大小为1 × 13，stride为13的卷积核。第三层是全连接层，包含100个神经元。输出层也是一个全连接层。该层包含两个神经元，其输出目标样本和非目标样本的概率。

图表 5 贝叶斯卷积神经网络架构图

        接下来，俞教授向我们介绍了BCNN的反向传播算法及预测算法。由于BCNN中的权值是分布的，因此传统的反向传播不能直接应用。俞祝良教授团队提出的贝叶斯卷积神经网络采用变分推理（VI）来近似权值的后验分布。也就是用一个可处理的后验变分分布q(w|θ)逼近真正的后验P(w|D)（D为数据，θ为变分参数）。为使变分后验近似于真实后验，需要最小化q(w|θ)与P(w |d)之间的Kullback-Leibler (KL)散度（KL散度可以衡量两个概率分布之间的差异）。通过变分推导，可以得到BCNN网络的损失函数。

        BCNN网络反向传播流程为：从标准正态分布中采样噪声；再从变分后验中采样权值；然后通过损失函数，计算损失、损失关于均值的梯度、损失关于标准差参数的梯度；最后更新变分参数。

        网络训练完毕后，用变分后验代替真后验进行预测。从预测公式的定义（图9）可以看出，BCNN相当于无限网络的集合。这不仅提高了网络的泛化性能，还避免了过度自信的预测。这些网络的预测之间的差异可以解释为预测不确定性。但由于计算公式中的积分难以处理，俞 教授团队采用蒙特卡洛方法来近似估计。

图表 6 变分推理

图表 7 BCNN损失函数

图表 8 反向传播

图表 9 BCNN预测

        紧接着，俞教授介绍了贝叶斯卷积神经网络在P300检测中的应用情况。BCNN对P300二分类准确率在所有比较的网络方法中，获得了最高的Reco.和F1得分。在字符识别实验中，BCNN对两个测试数据集分别正确识别了99%和97%的字符，在所有方法中识别准确率最高（当重复次数达到15次时 ） 。

图表 10 BCNN P300检测

图表 11 BCNN P300检测

        最后，俞教授介绍了BCNN的优化手段，并通过相关实验证明了BCNN的鲁棒性。在训练的网络中，可能存在冗余权值。这不仅不能提高网络的性能，还可能增加过拟合风险。俞教授团队通过测量权重的不确定性找到冗余权重，并通过剪枝进一步研究网络中的冗余程度：先计算每个权重分布的信噪比，再用常数零替换掉信噪比最低的权值。实验结果显示，当75%的权值被去除时，BCNN仍能识别99%的字符。

        BNN的优点是可以度量预测的不确定性。因此，从理论上讲，对于不确定性太高的预测，网络应该可以拒绝分类，从而提高预测的可靠性。俞教授团队通过Kwon等人[2]和Shridhar等人[3]的方法来度量测试样本的预测不确定性。实验结果表明，当拒绝比例增大时，准确率大幅提高。这也从侧面证明了，模型不确定性高的样本往往是错误分类的样本。

图表 12 剪枝

图表 13 剪枝

图表 14 拒绝分类实验

图表 15 拒绝分类实验

        俞祝良，华南理工大学自动化科学与工程学院教授，博士生导师，脑机接口与脑信息处理研究中心副主任，华南理工大学“百人计划”之“杰出青年教师”。俞祝良分别于1995年和1998年从南京航空航天大学电子工程系获得本科和硕士学位。2006年从新加坡南洋理工大学获得博士学位。2000年至2008年在新加坡南洋理工大学信号处理中心从事科研工作，任研究组组长。2008年加入华南理工大学自动化科学与工程学院，现主要从事信号处理、模式识别、机器学习基础理论及在脑信号处理及智能机器人中的应用研究工作。迄今为止，已在国际期刊及会议上发表论文80余篇。出版英文著作（章节）四部。拥有三项美国专利。

        本会议新闻介绍的研究发表于：Ma R, Zhang H, Zhang J, et al. Bayesian uncertainty modeling for P300-based brain-computer interface[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2023.   

参考文献：

[1] J. Li, Z. L. Yu, Z. Gu, W. Wu, Y. Li, and L. Jin, “A hybrid network for ERP detection and analysis based on restricted Boltzmann machine,” IEEE Trans. Neural Syst. Rehabil. Eng., vol. 26, no. 3, pp. 563–572, Mar. 2018. 

[2] Y. Kwon, J.-H. Won, B. J. Kim, and M. C. Paik, “Uncertainty quantification using Bayesian neural networks in classification: Application to biomedical image segmentation,” Comput. Statist. Data Anal., vol. 142, Feb. 2020, Art. no. 106816.  

[3] K. Shridhar, F. Laumann, and M. Liwicki, “Uncertainty estimations by softplus normalization in Bayesian convolutional neural networks with variational inference,” 2018, arXiv:1806.05978. 

撰稿人：易子怡

指导老师：潘家辉