2024年3月24日，一场集结了人工智能和神经科学前沿的盛会——第一届人工智能大脑编码与解码研讨会，在学术界引起了广泛关注。本次研讨会聚集了全球在此领域内的杰出科学家，共同探讨大脑活动的编码与解码技术及其应用。在此次会议中，比利时鲁汶大学孙静远博士的报告《思维遇见机器：在语言理解及其拓展领域揭示大脑-人工智能的对齐》揭示了人工智能在解码和模仿人类大脑处理语言的能力。

孙博士的团队使用先进的功能性磁共振成像（fMRI）技术，捕捉大脑在语言刺激下的活动模式，并将这些模式与从复杂的语言模型中提取的计算表征进行精确对齐。他介绍了一种创新的神经编码框架，这种框架能够在训练阶段优化大脑活动与语言模型之间的映射函数，并在测试阶段通过皮尔逊相关系数等统计方法，验证模型预测的准确性。

大脑与监督人工语言表征相连接

通过多项实验论证，孙博士的研究显示了不同语言处理任务在大脑中的独特表征。这些任务包括情感分类、语义角色标注、词义消歧、以及更复杂的命名实体识别和问答系统。研究结果指出，在这些任务中，大脑编码的语言信息远比浅层语法结构更为复杂和深刻。值得注意的是，孙博士还展示了他的团队如何将连续语言从大脑活动中解码出来，并重建被观看图像的高分辨率版本，以展示大脑活动解码技术的潜力。这项技术的突破性进展不仅预示着未来脑机接口技术的新篇章，也可能改变我们对神经语言学理论的现有认识。

从fmri记录的大脑活动中解码连续语言

孙博士的研究展示了一种新方法，能够从fMRI数据中解码和重建连续的语言表达，以及如何利用文本生成模型（如GPT）和一系列高级算法，将脑波活动转换为连贯的语言。深刻阐释大脑如何处理语言对于改善现有的人工智能系统至关重要。

图中分为两组，每组包含两行图片。对于每个测试主体（CSI 1-4），上面一行显示的是原始的真实图像（ground truth），而下面一行展示的是通过所述方法重建的图像。

汇报结束后，与会者就从大脑活动重建高分辨率观察图像的信息来源是根据label信息还是自身大脑活动展开提问讨论，孙博士给予详尽解释，深入探讨了fMRI编码器的工作流程，即fMRI脑活动编码与解码连续语言的两个阶段。

随着人工智能和大脑科学的进一步结合，我们可以预见一个新时代的到来——在这个时代，深层次的大脑活动理解和表征将为机器赋予更接近人类的认知能力。

撰写：李泽远

审稿：何乐为

参考文献

[1] https://mp.weixin.qq.com/s/NU9lLKaIWuDwJp7jdgDEwA

[2] Liu X , Ji K , Fu Y ,et al.P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks[J]. 2021.DOI:10.48550/arXiv.2110.07602.

[3] Sun J, Li M, Chen Z, et al. Contrast, attend and diffuse to decode high-resolution images from brain activities[J]. Advances in Neural Information Processing Systems, 2024, 36.