【研究进展】MINILAB实验室“多模态脑机接口体系BrainFusion”两项成果在国际知名期刊发表

一、BrainFusion研究生态

MINILAB 实验室面向脑电EEG与功能性近红外光谱fNIRS多模态脑机接口研究，提出 BrainFusion研究生态，着力改善数据资源分散、处理规范不一、方法比较条件不一致和研究成果复现困难等问题。BrainFusion 研究生态，包括多模态脑机接口的“数据-软件-评测-智能体”一体化体系：（1）BrainFusion Data 汇集并规范开放多任务同步数据；（2）BrainFusion Software 提供信号预处理、神经血流耦合分析和多模态建模工具；（3）BrainFusion Benchmark 在统一的数据划分与评价指标下比较不同方法；（4）BrainFusion Agent 面向文献整理、方法选择、分析执行和结果汇总等科研任务。目前，BrainFusiom Data已覆盖晕车、伪迹基准、音乐想象、运动想象和情感识别等任务。本次发表的两项成果进一步充实了情感与运动想象数据资源，其中 FEEL 研究同时完善了 Benchmark 板块的多模态评测能力。

图1 BrainFusion研究生态

二、FEEL情感数据集与基准库

博士生李文豪以第一作者身份完成的论文《FEEL: A fNIRS-EEG Emotion Dataset and Benchmark Library》在 IEEE Transactions on Affective Computing (IF 11.3/Q1) 发表，吴凯教授为通讯作者。研究构建了面向音乐诱发情感识别的 FEEL 数据集，记录 34 名参与者聆听 38 段情感音乐时的同步脑电和功能性近红外光谱信号。数据同时提供快乐、愤怒、恐惧、悲伤和温柔等离散标签，以及效价、唤醒度、支配度和喜爱度评分。质量控制后保留 1286 个试次。团队进一步将 FEEL 接入 LibEER 基准库，扩展其对功能性近红外光谱与脑电融合模型的支持，并在被试内、跨被试和跨音乐三类设置下比较信号层、特征层和决策层融合方法。结果表明，不同融合策略在不同评测条件下各有特点，为多模态情感识别研究提供了公开数据和可复现的比较依据。

(FEEL数据集下载地址: https://doi.org/10.57760/sciencedb.30661)

图2 FEEL基准库对脑电、功能性近红外光谱及其融合模型的统一支持

三、SEFMID运动执行和运动想象数据集

吴学成和李文豪作为共同第一作者完成的论文《A Synchronous EEG-fNIRS Motor Execution and Imagery Dataset》在 Scientific Data (IF 7.2/Q1) 发表，李凯博士后和吴凯教授为共同通讯作者。研究发布 SEFMID 同步脑电与功能性近红外光谱数据集，涵盖 50 名健康参与者的左右手运动执行、运动想象和静息任务。实验同步采集 32 通道脑电与40 通道近红外信号，两种信号的时间同步误差小于 1 毫秒。每名参与者完成 50 个完整试次，整理后形成5000 个长度为 8 秒的同步片段。发布内容包括原始数据、预处理数据、分段数据、基本人口学信息和处理代码。团队通过脑电频谱、近红外皮层激活和神经血流耦合特征检验数据质量，并使用传统机器学习与深度学习模型开展分类验证。深度学习结果中，多模态方法的平均准确率达到 81.4%，高于两种单模态结果。该数据集为运动意图解码、神经血流耦合研究和康复应用提供了可复用的数据基础。

(SEFMID数据集下载地址: https://doi.org/10.57760/sciencedb.30795)

图3 SEFMID同步脑电与功能性近红外光谱数据采集场景