新闻:根据大脑活动重建音乐的脑机接口

       音乐是跨越所有年龄和文化的普遍体验,是我们情感、认知和社会生活的核心部分。音乐拥有着独特的魅力,它能够抚慰受伤的心灵,让人忘却心中的悲痛;它能吹响前进的号角,为人带来前进的动力。然而大脑对充满魅力的音乐是如何处理的,当人们听到自己喜欢的曲目时,大脑又会是什么样的反应呢?这些困扰人们已久的音乐感知和认知的神经基础方面的问题终于在最近的研究中取得了重大进展。

        本新闻中的研究来自于2023年8月15日发表在《PLoS biology》的论文《Music can be reconstructed from human auditory cortex activity using nonlinear decoding models》。作者是来自加州大学伯克利分校奈特实验室人类认知神经科学博士后研究员Ludovic Bellier等人,本篇论文的内容大致可分为两项研究。

 

研究一:根据大脑活动重建音乐

        在先前的研究中已经证明,音乐涉及广泛的大脑网络,从听觉皮层延伸到与情感相关的区域,这些区域在情感音乐中同步。此外,音乐会刺激记忆区域,还会触发运动系统。可以说,大脑中几乎所有最重要的区域都会对音乐做出反应。加州大学伯克利分校的科学家们利用计算机建模技术,通过对人类听觉皮层活动的直接神经记录,成功重建了平克·弗洛伊德(Pink Floyd)的代表作"Another Brick in the Wall, Part 1"。你可以简单地理解为,当你在听歌的时候扫描你的大脑,科学家可以通过你大脑的神经反应,逆向工程回到你听的那首歌。

图片

图1 重建平克·弗洛伊德的歌 

 

        本研究中邀请了29例治疗癫痫的患者接受颅内脑电图(iEEG)。在手术过程中,患者听着平克·弗洛伊德的流行歌曲,记录下他们此时的神经活动。然后,研究人员使用了一种所谓的刺激重建方法,看看他们能否仅通过神经活动就能重放原来的歌曲。研究人员还专门训练了一种机器学习算法,用来识别与歌曲的不同方面(如旋律、节奏和歌词)相对应的神经活动模式。重建后的歌曲并不是原版歌曲的完美复制品,但可以清晰辨认,并包含歌曲的许多关键元素,如旋律、节奏和歌词。

         尽管这项研究让我们对未来有着无限的遐想,但这并不意味着只需用脑电图(EEG)帽扫描大脑就能播放出你最喜欢的歌曲,该项研究中的患者被直接植入了电极,而脑电图是非侵入式的,其精确度也要低得多。因此对基于脑电图(EEG)帽的研究来说还任重道远。图片

图2 协议、数据准备和编码模型拟合

 

研究二:大脑对音乐的参与度

       本研究为我们提供了一些关于人类大脑如何感知音乐的有趣见解。在本次研究中,每位患者的大脑中都植入了2,668个电极,其中347个电极捕捉到了与音乐特别相关的神经活动。这些电极位于大脑的三个区域:颞上回(STG)、感觉运动皮层(SMC)和额下回(IFG),如图3所示。

图片

图3 歌唱响应电极的解剖位置

 

       在这项研究中可以观察到,当右侧 STG 的电极被移除时,重建歌曲的质量大打折扣。此外,移除与声音起始或节奏有关的电极也会导致重建准确性明显下降,这突出了它们在音乐感知中的重要性。从这个研究中我们可以知道支持音乐解码的大脑区域的精确细节,得出结论音乐解码存在右半球偏向。

 

撰稿人:郑泽昆

指导老师:王斐

参考文献:

  1. https://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3002176
  2. https://mp.weixin.qq.com/s/RXF9VRVodXQYiUu0Q9RkoQ

登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: