1445
1
0
2020-10-16 13:19:57
2020-10-16
10月12日，第三届数字中国建设峰会如期召开，由天津大学和中电云脑联合研发的大指令集高速无创脑机接口打字系统引起广泛关注。工作人员只需要戴脑电帽，双眼紧盯电脑屏幕，无需双手协助即可通过“意念”“隔空打字”。目前这套脑机接口是世界范围内指令集最大的，创造了世界纪录。
“意念打字”最常见的有两种：非植入式实验范式SSVEP和P300。二者皆可做到用脑电信号操控打字程序，但这只是将特定脑电信号转化为有限指令从系统中得到输出而已，并非是“意识打字”。
基于SSVEP的“意念打字”
SSVEP也就是稳态视觉诱发电位，是BCI系统经常使用的一种信号。它当人眼受到固定频率超过4Hz的视觉刺激时，大脑皮质活动将被调节，导致类似于刺激的周期性节律。通常SSVEP是通过固定频率的闪烁刺激诱发的，而诱发产生SSVEP信号的视觉刺激源通常包括光刺激源、图形刺激源以及模式翻转刺激源。
光刺激源 主要是用受到一定频率调制的LED、荧光灯、氙灯等光源作为视觉刺激。光源刺激器一般都包含一个精确的电路控制系统，通过控制可以产生各种不同频率的闪烁模式。光源的参数我们用一个调制深度来描述，它与所诱发的SSVEP信号幅度有关。
图1：用于引起短暂性VEP或SSVEP反应的刺激物示例
图形刺激源 主要是利用计算机显示屏幕闪烁刺激，即制作单一的简单方块、复杂的多个方块、不同颜色的图片等图形，且该图形以一定的频率闪烁刺激。
图2：图形刺激
模式翻转刺激源 也是产生于显示器屏幕，不同的是模式翻转刺激源主要是利用两个图形以一定的翻转速率交替出现来展现视觉刺激。目前，常用的图形模式有黑白棋盘格和栅格。
图3：黑白棋盘格和栅格
基于P300的“意念打字”
在基于P300的oddball刺激范式 BCI 系统研究中，最经典的应用是Farwell和Donchin在 1988年提出并设计的字符拼写器简称为P300 Speller。如下图所示，使用26个英文字母和 1-9个数字以及下划线排列成 6 x 6 的虚拟键盘矩阵。随机高亮字符矩阵的某一行或某一列，一次实验中6 x 6列均被高亮亮一次，一共12次高亮刺激。受试者必须将注意力集中在矩阵中的字符上，以此来选择组成单词的每个字母。
图4：P300 Speller 打字界面（左图为一行高亮的界面图 右图为打字界面的行列编号）
比如要打字符“V”，12次刺激当中，理论上只有编号为10的行和编号为4的列加强才可以诱发出P300脑电波形图。根据这个特性利用识别算法找到12次中2次的 P300波形，就可以确定一个字符。
图5：字符“V”的行和列高亮
1.P300的SD范式
2004年，Guan等人首先提出单项显示（Single Display, SD）刺激范式，并将该范式应用到 P300字符拼写实验中，该系统的刺激界面如下图所示，36个字符，其中26个英文字符，10个阿拉伯数字字符，整个界面排列成6 x 6行列矩阵。每个字符随机的闪烁，与经典的刺激范式不同，不是按照行列闪烁，即当某个字符闪烁结束一段时间后，下一个字符才开始闪烁。完成一个字符输入，需要36次字符的闪烁。
图6：P300 SD范式
2.棋盘格刺激范式（checkerboard paradigm, CBP）
在CBP中，标准的8x9矩阵实际上是叠加在棋盘上的(下图a)，将8x9矩阵的白色单元格中的项目分隔成白色的6x6矩阵，将黑色单元格中的项目分隔成黑色的6x6矩阵。在每个闪烁序列之前，图a中的项目分别随机填充白色或黑色矩阵，如图b所示。虚拟棋盘布局控制邻接分散错误，因为相邻的项目不能包含在同一个flash组中。最终的结果是，由于图b所示的虚拟行和列，参与者看到6个项目组成的随机组在闪烁(与行和列相反)。
图7：棋盘格刺激范式（checkerboard paradigm, CBP）
图8：从棋盘格派生的两个虚拟6*6矩阵
3.基于区域的刺激范式（region based paradigm, RBP）
这个范例的思想原理是让几个区域闪烁，而不是使用行和列。字符识别是在两个层次上进行的。在第一个层次，字符被放置在屏幕的不同部分的七个组，当一组字符随机增强时，用户被要求关注组中的特定字符。通过对P300的检测，经过多次增强后，可以发现包含目标字符的组。在第二层，被检测组的特征被分布到另外七个区域。在对其中一个区域的P300进行检测之后，就可以识别出最终的目标字符。
图9：目标字符的识别
4.基于子矩阵的刺激范式（submatrix based paradigm, SBP）
具有四个3×3子矩阵的基于子矩阵的范例（SBP）。两条虚线将整个6×6键盘矩阵划分为四个3×3子矩阵。每个子矩阵都以单像元范例（SCP）模式闪烁，并且独立于其他子矩阵。在实验过程中，虚线是不可见的。
图10：SBP
图11:识别字符“E”
四位数的数字“代码”表示SBP试验，并且SBP序列中有9个试验。黑匣子中的“代码”可以引出P300。6×6矩阵中的数字表示P300的分布。（a）P300与前两个序列合在一起。（b）具有300个序列的P300合奏。
撰稿人：黄珂
图片来源于：基于P300的脑机接口指令识别
A Comparison of P300 speller Stimuli
