对一个人的脑电信号进行分析，能读取他所看到的东西吗？这项计算机视觉任务的难度可能比大多数人想象的要大得多。

最近，一篇发表在CVPR的论文[1]声称，将观看ImageNet（ImageNet项目是一个大型视觉数据库，旨在用于视觉对象识别软件研究）图像刺激的受试者脑电信号输入到CNN或RNN神经网络训练，可以对EEG脑电信号进行分类，进而判断受试者看到的图像类别，并采用这个方法构建一种新型的视觉目标分类器。该论文以及一系列后续论文利用脑电图测量的脑源表征生成描述人类感知和思想的图像，并声称在各种计算机视觉任务取得了成功的结果。

图1 论文[1]使用的模型示意图

普渡大学(Purdue University)的研究团队对这些论文成果提出质疑并设计了新的实验，对实验结果进行分析发现，这些论文的结果很大程度上取决于他们采用了组块设计(the block design)，即同一类型的刺激组合成一个组块，然后交替向被试呈现实验任务和控制任务。组块设计不能随机化呈现刺激，而是将相同类型的刺激以组块的方式呈现。因而在组块设计中，被试可能会根据组块呈现的序列位置而产生期望效应和习惯化效应。因此，研究人员认为组块设计的实验数据存在时间相关性，而不是基于刺激相关的脑电活动。研究人员表示，用随机码本(codebook)构造的分类器的性能与用从EEG数据中提取的表征构造的分类器的性能一样好，甚至更好。他们的结果说明了神经影像数据的时间自相关对分类实验的深远影响。此外，他们提醒通过EEG信号读取人的视觉潜在难度比较大，提醒人们不要过于乐观。

图2 左图是被质疑论文基于脑电波编码的GAN模型生成的样本图像，右图是ImageNet源图像，两者对应的图像几乎一致

普渡大学从事人工智能和神经科学交叉研究的研究人员表示，一个著名数据集被错误使用会导致很多基于该数据集并得到广泛认可的成果都是错误的。

普渡大学工程学院教授JeffreyMark Siskind说：“这种脑电图(EEG)识别技术，可以辨别大脑神经活动的信息，这些信息的确可以用来读取思想。”“问题在于他们的实验是在不随机化图像类别顺序进行的，这会污染EEG数据，因此研究人员仅通过分析包含的时间和顺序信息就能够分辨出正在观看的图像，而不是解决解码脑电信号中的视觉感知的真正问题。”

普渡大学助理教授Hari Bharadwaj表示：“这是跨学科研究领域工作的挑战之一，重要的科学问题经常需要跨学科的研究。问题是，有时在一个领域受过训练的研究人员并不了解将其思想应用于另一个领域时可能会遇到的常见陷阱。在这种情况下，之前的工作似乎受到了人工智能/机器学习科学家与神经科学家众所周知的陷阱的影响。”

普渡大学教授Ronnie Wilbur表示，人类是否可以通过脑电活动来读取他人的思想这个问题，可能需要一种更好的方法。

图3 普渡大学的研究人员戴着带有电极的脑电图帽

撰写人：潘伟健

指导老师：李景聪

参考资料

[1] Spampinato C, Palazzo S, Kavasidis I, et al. Deep learning human mind for automated visual classification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 6809-6817.

[2]https://zhuanlan.zhihu.com/p/46934767

[3]https://en.wikipedia.org/wiki/ImageNet

[4]https://en.wikipedia.org/wiki/Block_design