近日，华南理工大学生物医学科学与工程学院吴凯教授团队在《Advanced Science》上发表创新研究成果，提出支持多模态脑机接口（BCI）与脑体交互研究的软件框架BrainFusion。该框架以“低代码、可重复、可部署”为核心，通过系统性整合数据标准化、跨模态分析、智能建模与快速应用生成等功能，为脑科学及神经工程领域的研究者提供了一站式解决方案。

传统脑机接口研究依赖单一脑电信号（EEG），复杂场景下信号易受干扰且信息维度有限。随着EEG与近红外（fNIRS）、心电（ECG）、肌电（EMG）等多模态信号的融合成为趋势，分析流程碎片化、跨模态数据对齐复杂、算法部署门槛高等问题日益凸显。BrainFusion通过构建标准化数据容器，实现EEG、fNIRS、ECG和EMG信号的自动化预处理与跨模态特征对齐，并创新性开发神经血管耦合、心脑交互等动态分析模块，为探索脑与外周系统的复杂关联提供统一平台。研究团队进一步推出“拖拽式”低代码工作流设计界面，用户无需编程即可构建从数据清洗、特征提取到机器学习建模的全流程，显著降低多模态信号分析的技术门槛。

图1. BrainFusion的主要功能和特点

为揭示脑与躯体信号的动态关联，BrainFusion开发了多模态耦合分析模块，涵盖神经血管耦合（NVC）、心脑交互（HBI）和皮质肌肉相干性（CMC）等经典范式。例如，在运动想象任务中，系统可将EEG的C3电极功率谱与对应fNIRS通道的血氧响应进行卷积建模，动态追踪任务相关的神经-血流耦合强度，并通过统计检验量化不同脑区的协同机制。这一功能为探索脑卒中康复、情绪调控等复杂生理机制提供了新工具。

图2. BrainFusion的多模态生理信号处理工作流程

脑电图、fNIRS、肌电图和心电图等信号的原始数据被组织在一个标准化的数据容器中。信号经过特定模态预处理，然后通过时域(TDA)、频域(FDA)和时频(TFDA)分析以及网络和非线性方法在多个分析域进行特征提取。通过多模态动态耦合分析引擎(MDCAE)，NVC、CMC和HBI等动态耦合指标得以计算和可视化。

针对传统多模态分析对编程能力的依赖，BrainFusion设计了可视化流程构建系统。研究者可通过拖拽8类功能节点，以“搭积木”方式自由组合分析流程。系统底层通过有向无环图（DAG）规则自动校验节点逻辑，防止循环依赖与接口冲突。

BrainFusion的应用生成器模块是其走向产业转化的关键。研究者在验证算法后，可通过配置输入输出参数，将完整分析流程编译为独立可执行程序（.exe）。该程序封装了所有依赖库，并配备GUI界面实现数据导入、结果可视化与历史记录管理。

图3. BrainFusion三个主要功能模块

(A)一键式工作流设计器包括用于拖放工作流配置的用户界面层、用于确保符合DAG结构和节点连接验证的连接层，以及由模块化功能节点组成的执行层。(B)机器学习扩展框架支持基于AutoML的传统模型选择、深度学习基准测试以及通过外部模型接口集成用户自定义模型。(C)应用程序生成器可将工作流转换为带有图形用户界面的独立可执行应用程序，从而实现快速部署和演示。

在应用验证中，BrainFusion展现出卓越性能。通过融合EEG与近红外信号的运动想象分类任务，研究团队在29名受试者中实现95.5%的被试内分类准确率，较单一模态提升超30%；在睡眠分期分析中，基于EEG与心电信号的深度学习模型准确率达80.2%，并通过内置“应用生成器”快速部署为可执行临床工具，为睡眠障碍实时监测提供新路径。这些案例证实了该框架在快速复现以及加速科研转化方面的价值。

图4. 睡眠分期分类结果及生成的应用

(A)四种深度学习模型在HMC数据集上的性能比较，显示了总体准确率、宏观平均F1分数（mF1）和各睡眠阶段（Wake、N1、N2、N3、REM）的单个F1分数的平均值±标准差（SD）。所有指标均为5倍交叉验证的平均值。误差条表示平均值的一个SD值。(B)生成的应用原型的用户界面，支持睡眠阶段预测、概率得分可视化和历史推理跟踪。

BrainFusion的诞生源于团队对脑科学领域技术需求的长期观察。当前多数分析工具局限于单一模态或依赖编程实现，而临床场景亟需兼顾多维度生理信息解读与易用性的解决方案。BrainFusion通过将复杂算法封装为可视化模块，既满足前沿研究的灵活性需求，又为医生、康复师等非技术背景用户提供“开箱即用”的支持。目前，研究团队正与多家医院合作，探索该框架在卒中康复、情绪障碍评估等场景的临床应用，并计划扩展呼吸、皮肤电等新模态支持，深化对脑体交互机制的理解。

华南理工大学生物医学科学与工程学院的吴凯教授为论文通讯作者，华南理工大学生物医学工程专业博士研究生李文豪为论文第一作者。本研究得到了国家重点研发计划（2023YFC2414500，2023YFC2414504）、国家自然科学基金（81971585，72174082，82271953，82301688）及广东省自然科学基金杰出青年基金（2021B1515020064）等项目的资助。

近年来，吴凯教授团队聚焦于多模态脑机接口技术、脑疾病神经影像分析以及智能辅助诊断算法领域展开了一系列创新研究，涵盖脑-体交互软件框架开发、精神疾病生物标志物挖掘、神经血管功能适应性机制解析、心电信号智能诊断等核心方向，相关成果发表于Advanced Science、Journal of Affective Disorders、IEEE Transactions on Neural Systems and Rehabilitation Engineering、Biomedical Signal Processing and Control等国际知名学术期刊。

课题组前期相关论文：

[1] Wenhao Li , Chenyang Gao, Zhaobo Li, Yunheng Diao, Jiaxin Li, Jiayi Zhou, Jing Zhou, Ying Peng, Guanchu Chen, Xuechen Wu, Kai Wu*. BrainFusion: A Low-Code, Reproducible, and Deployable Software Framework for Multimodal Brain‒Computer Interface and Brain‒Body Interaction Research. Advanced Science, In Press.

[2] Jiaxin Li, Dongsheng Xiong, Chenyang Gao, Yuanyuan Huang, Zhaobo Li, Jing Zhou, Yuping Ning, Fengchun Wu*, Kai Wu*. Individualized Spectral Features in First-episode and Drug-naïve Major Depressive Disorder: Insights from Periodic and Aperiodic EEG Analysis. Biological Psychiatry: Cognitive Neuroscience and Neuroimaging,2025, In Press.

[3] Chenyang Gao△, Haishun Huang△, Jinan Zhan, Wenhao Li, Yi Li, Jiaxin Li, Jing Zhou, Yuxin Wang, Zhile Jiang, Wenrui Chen, Yingting Zhu*, Yehong Zhuo*, Kai Wu*.Adaptive Changes in Neurovascular Properties With Binocular Accommodation Functions in Myopic Participants by 3D Visual Training: An EEG and fNIRS Study. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024(32): 2749-2758.

[4] Yunheng Diao△, Huiying Wang△, Xinyu Wang△, Chen Qiu, Zitian Wang, Ziyang Ji, Chao Wang, Jingyang Gu, Cong Liu, Kai Wu*, Changhong Wang*. Discriminative analysis of schizophrenia and major depressive disorder using fNIRS. Journal of Affective Disorders, 2024(361): 256-267. 

[5] Guixiang Li, Dequn Huang, Lei Wang, Jing Zhou, Jun Chen*, Kai Wu*, Weikang Xu*. A new method of detecting the characteristic waves and their onset and end in electrocardiogram signals. Biomedical Signal Processing and Control, 2022, 75:103607.

[6] Bingye Lei, Fengchun Wu, Jing Zhou, Dongsheng Xiong, Kaixi Wang, Lingyin Kong, Pengfei Ke, Jun Chen, Yuping Ning, Xiaobo Li, Zhiming Xiang, Kai Wu*. NEURO-LEARN: A Solution for Collaborative Pattern Analysis of Neuroimaging Data. Neuroinformatics, 2021(19):79-91.