脑-机接口(Brain-computer interface,BCI)系统通过采集、分析大脑信号,将其转换为输出指令,从而跨越外周神经系统,实现由大脑信号对外部设备的直接控制,进而用于替代、修复、增强、补充或改善中枢神经系统的正常输出。非侵入式脑-机接口由于具有安全性以及便携性等优点,得到了广泛关注和持续不断地研究。近年来,研究人员对脑信号编码方法的不断探索扩展了BCI系统的应用场景和适用范围;同时,脑信号解码方法的不断研发,极大地克服了脑电信号信噪比低的缺点,提高了系统性能,这都为构建高性能脑-机接口系统奠定了基础。本文综述了非侵入式脑-机接口编解码技术以及系统应用的最新研究进展,展望其未来发展前景,以期促进BCI系统的深入研究与广泛应用。
脑-机接口(brain-computer interface,BCI)是
脑科学与信息科学交叉产生的新兴学科领域,研究
如何在大脑与外部设备之间建立直接的通讯和控制
通道,实现脑与设备的信息交换(Volosyak 等,
2017)。20 世纪 70 年代,Vidal(1973)首次提出
了 BCI 的概念,并提出了基于视觉诱发电位(visual
evoked potential,VEP)的 BCI 系统框架,自此开
启了人类对 BCI 技术的研究。之后,随着 BCI 技术
的不断发展,BCI 技术在医疗、智能生活等领域的
应用价值及其在神经科学和人脑机制研究等方面的
科学价值逐渐凸显出来(Wolpaw 等,2002;Bermudez
等,2013;Meng 等,2018;Shih 等,2012)。近十
年来,BCI 逐步发展成一个研究热点,在医疗康复、
养老助残和军事科学等领域具有良好的应用前景
(张丹等,2017;曹洪涛等,2022)。自 2013 年起,世界上许多国家和地区都在战略
层面对 BCI 技术进行了顶层设计。美国、欧盟、日
本相继开启了各自的“脑计划”,我国也于 2013-2014
年开始酝酿“中国脑计划”。2021 年,科技创新
2030—“脑科学与类脑研究”重大项目的发布标志
着酝酿多年的中国脑计划正式启动实施。中国脑计
划围绕“一体两翼”,即以研究脑认知的神经原理
为“主体”,研发脑重大疾病诊治新技术和类脑计
算与脑机智能为“两翼”,以抢占全球脑科学前沿
研究制高点。图 1 典型的脑-机接口系统
Fig.1 Typical brain-computer interface system. 图 1 为典型的 BCI 系统基本结构。BCI 主要由
三部分组成:1)信号采集,2)信号处理,3)设备
控制(伏云发等,2017;Mcfarland 和 Wolpaw,2017;Allison 等,2007)。在通过自发或诱发的方式对大
脑信号编码后,首先是信号采集阶段,采集设备直
接与大脑连接,以记录神经活动产生的生理信号,
并将信号进行放大等处理,转化为数字信号。信号
处理阶段包括特征提取和特征分类,特征提取是从
脑信号中提取与任务相关且可辨识的特征,并构造
特征向量,特征分类则利用特征向量对大脑信号进
行区分,实现脑电信号解码,从而破译用户意图。设备控制阶段则将特征分类后的结果转换为对外部
设备的输出指令(例如:文字处理程序,轮椅等辅
助器具或神经假体等),以实现用户意愿(Ortner
等,2011;Sellers 等,2006)。按照信号采集方式的不同,BCI 可分为侵入式
(invasive)和非侵入式(non-invasive)两大类。侵
入式 BCI 是通过手术将电极阵列植入颅内,直接记
录或刺激大脑神经元,以实现与外界的交流,由于
侵入式 BCI 要做手术,因此目前仅应用在动物实验
或者是严重瘫痪的病人上(Joseph,1985)。相较
于侵入式 BCI,非侵入式 BCI 的应用更加广泛,但
是通过非侵入式采集设备记录到信号的信噪比较
低,研究人员在编码实验范式以及解码方法上不断
深入研究,以提高 BCI 的应用能力(Gao 等,2021)。目前,已经有多家跨国技术公司研发并推出了
多款商用脑电采集设备,美国 EGI 公司、西班牙 NE
公司相继研发了脑电采集-电刺激调控一体机。美国
杜克大学等高校与科研院所也相继研发了植入式电
极(Yin 等,2018;Dzirasa 等,2011;Dzirasa 等,
2011;Pandarinath 等,2017)。这些硬件设备的进
步大大加速了 BCI 领域的发展。2015 年,Chen 等
人(2015)提出了滤波器组典型相关分析方法解码
稳态视觉诱发信号,构建的稳态视觉诱发电位
(steady-state visual evoked potential,SSVEP)BCI
系统突破性的实现了 151.18±20.34 bits/min 的高信
息传输速率,用户用该系统可以平均每分钟输出 33
个字符。2017 年,Pandarinath 等人(2017)报告了
一种高性能的皮质内 BCI 系统,成功让三名瘫痪受
试者通过简单的想象精准地控制电脑屏幕的光标,
并在电脑屏幕上输入了他们想说的话,其中一名患
者可以在 1 分钟之内平均输入 39 个字母,这标志着
侵入式 BCI 的一大进步。2019 年,Anumanchipalli
等人(2019)提出了一种新型 BCI 范式,当参与者
无声地模仿句子发音时,该系统可以将人脑神经信
号转化为语句并合成语音以实现发声交流。同年,
Edelman 等人(2019)利用脑电信号实现了连续的
二维机械臂控制,用户使用该 BCI 系统可以流畅地
控制机械臂追踪光标的位置。2021 年 6 月,Willett
等人(2021)利用植入式 BCI 成功解码脊椎损伤患者的手写意图并实现了每分钟输出 90 个字符,其错
误率只有 5.4%,再次突破性的提升了 BCI 系统的传
输速度。2022 年,美国 Meta 公司通过脑电图和脑
磁图以及深度神经网络模型首次实现了非侵入式
BCI 对人所听到的语音的解码,其中,脑磁图的
TOP-10 解码正确率可达到 72.5%(Défossez 等,
2022)。与侵入式 BCI 相比,非侵入式 BCI 系统具有更
高的安全性和广泛性,可采用的信号种类更加丰富,
形成了基于脑电、脑磁、功能性近红外和功能性磁
共振成像的 BCI 系统。其中,基于脑电的 BCI 系统
因其在使用成本、使用便携性、信号时间分辨率等
方面的优势,得到了广泛关注和持续不断地研究。在非侵入 BCI 中,面向不同领域的应用场景,研究
人员对脑信号编解码方法进行了广泛且深入的探
索,形成了主动式、反应式以及被动式 BCI 交互方
式。主动式 BCI 指输出的控制信号反映大脑的主动
性活动,不依赖于外部事件,其典型代表为运动想
象(motor imagery,MI)BCI;反应式 BCI 指由外
部刺激引发出大脑活动,系统再根据大脑的反应而
产生输出,其主要包括稳态视觉诱发电位 BCI 和事
件相关电位(event-related potential,ERP)BCI;被
动式 BCI 不以控制为目的,在人机交互过程中为计
算机提供大脑的隐性状态,从而利于计算机及时作
出调整,实现人性化的交互,其主要包括情感 BCI、
脑力负荷 BCI 等。这些 BCI 系统在医疗康复、生活
娱乐、科学研究、航空航天和军事等领域均有不同
的应用。在不同范式下,研究人员不断研发新的编码方
法,以期拓宽 BCI 系统的应用场景,与此同时,由
于不同范式下脑响应的机制不同,脑信号特征差异
大,因此针对不同范式下,BCI 解码技术也在不断
创新,以实现更高的解码准确率,从传统的机器学习方法到近年来的神经网络以及迁移学习方法等都
取得快速进步,展现了优秀的解码性能。BCI 编解
码技术的不断发展进一步推动了 BCI 系统的实际应用。本年度报告围绕非侵入式 BCI,聚焦于四大类
BCI 系统:运动想象 BCI 系统、稳态视觉诱发电位
BCI 系统、事件诱发电位 BCI 系统和情感 BCI 系统,
分别介绍其在编码范式和信号解码方面最新的研
究,以及相应的系统研发及应用的进展。
MI 表征的是一种运动意图,即想象肢体或肌肉
运动,无实际动作输出(Lotze 和 Halsband,2006)。MI-BCI 系统是一种不需要外界刺激,能够反映使用
者自主运动意识的 BCI 系统,可对外设实现主动意
愿驱动下的运动操控,并且,MI 表征的是使用者对
于肢体运动的主观意图,其诱发的脑电振荡模式最
接近于人体原有的运动激活模型,可促进受损脑区
和神经通路的重组(Shih 等,2012)。MI-BCI 范式通常采用的是空间尺度上较好区
分的运动模式,常见的运动想象部位为左手,右手,
双脚和舌头(Shih 等,2012;Tangermann 等,2012;Yu 等,2015;Khan 等,2020;Coyle 等,2011)。2021 年和 2022 年的“世界机器人大赛锦标赛—BCI
脑控机器人大赛”技能赛中 MI 赛题仍然采用的是
左手,右手和双脚传统三类动作的 MI。然而,基于
不同肢体单一动作的 MI-BCI 指令集数量有限,难
以满足实际应用需求。此外,通过想象不同肢体的
运动来控制外设,常常会导致运动意图与实际外设
执行指令的不一致,称为认知失联(Edelman 等,
2015),其会增加患者的认知负荷,严重影响了 BCI
系统的使用效果。因此,设计单肢体多类别的 MI
范式并将其有效解码出来是未来 MI-BCI 发展的重
要研究方向之一,已有很多研究者开始探索单关节
多个动作以及单肢体多个关节的精细 MI 范式(邱
爽等,2022)。2020 年,Jeong 等人(2020)设计了
单侧肢体的 MI 范式,构建了 11 种不同上肢 MI 数
据库,实验任务包括三个主要的上肢运动:伸臂、
抓握和扭转手腕,其中,手臂伸展包含六个方向:向前、向后、向左、向右、向上和向下,如图 2(a)
所示;抓握动作中,参与者被要求想象抓握动作以
抓取 3 种日常使用的物体(卡片、球和杯子),分
别对应于侧向、球形和圆柱形抓握,如图 2(b)所
示;扭腕中,参与者想象手腕向左(旋前)和向右
(旋后)旋转,如图 2(c)所示。之后,其团队设
计了右手的伸展运动(reaching movement),包括
上下左右前后六个方向的 MI 任务,在线抓取物品
任务成功率达 60%(Jeong 等,2020)。图 2 11 个上肢运动任务(Jeong 等,2020)
Fig.2 Eleven motor tasks of the same upper limb (Jeong 等,2020)
2020 年,Ma 等人(2020)设计了单侧肢体多
关节 MI 任务,包括想象右侧腕关节运动和肘关节
运动,并进行了数据采集、数据标准化和数据集整
理,发布了首个精细运动现象数据集。2022 年,该
团队进一步设计了单肢体多关节五分类(包括手,
手腕,手肘,肩以及静息)的运动想象任务,并实现了五分类任务46.8%的识别正确率(Ma等,2022)。同年,Yang 等人(2022)设计了单侧肢体四类
任务,包括抓握、搬运、按键和旋转,如图 3 所示,
受试者在想象抓握动作时需要完成打开和关闭手
掌;搬运过程中,想象手拿起一个苹果,并移动一
段距离;按键任务,受试者的手和手臂需要向前伸
展,并按下按钮;旋转任务则表示手腕顺时针和逆
时针旋转,并设计了卷积神经网络解码模型实现了
47.0%的识别精度。 图 3 单侧上肢四类任务(Yang 等,2022)
Fig.3 Four tasks of the unilateral limb (Yang 等,2022)
MI 脑电解码主要分为特征提取和模式识别两
个步骤,最为常用且有效的特征提取方法是共空间
模式(common spatial pattern,CSP)及其衍生算法、
黎曼几何以及溯源分析等(Edelman 等,2015;Ramoser 等,2000;Ang 等,2008;Barachant 等,
2012)。之后,配合线性判别分析(linear discriminant
analysis,LDA)、支持向量机(support vector machine,
SVM)等模式识别算法完成对不同任务的识别(Ang
等,2008;Ang 等,2012)。然而机器学习方法需
要寻找良好的特征提取和分类算法,以及两者的最
优匹配,是传统脑电解码中的难点。深度学习作为
一种端到端的算法很好的解决了上述问题,并在脑
电信号的分析解码上有更出色的表现。基于卷积神
经网络的浅层卷积神经网络(shallow CNN),参数
量较少的 EEGNet,利用滤波器组共空间模式(filter
bank common spatial pattern,FBCSP)特征的时间卷
积-通道融合网络(channel-wise convolution with
channel mixing,C2CM)模型以及镜卷积神经网络
相继问世并取得了优于传统方法的解码正确率
(Schirrmeister 等,2017;Lawhern 等,2018;Sakhavi
等,2018;罗靖 等,2021)。2021 年,Zhang 等人
(2021)基于 Deep ConvNets 框架,引入自适应学
习方法,在大数据构建的基准模型上,使用少量被
试数据参与训练,对模型部分参数重新优化,使得
跨被试模型性能获得提升。同年,该团队的 Mane
等人(2020)提出 FBCNet 架构,以 FBCSP 结构为
参考,利用滤波器组对脑电数据进行带通滤波,使
用空间卷积层学习每个视图的空间判别模式。最后,
使用方差层对时间信息进行聚合,在解释和泛化判
别特征上具有优异表现。2021 年,Zhang 等人(2021)
提出了时频压缩激活特征融合网络模型,该模型利
用小波变换提取脑电信号多频段信息并利用注意力
模块对多频带信息进行压缩融合。同年,Liu 等人
(2021)提出了多尺度、多任务时空频特征卷积神
经网络模型,分别提取脑电信号的时空、时频特征,
并利用多视图、多任务的方式优化模型特征提取能
力。2022 年,Ma 等人(2022)提出了基于时空分
布注意力网络的单侧肢体 MI 解码模型,设计了时
间分布注意力网络用于解码,首次引入了注意力机
制对多频带 CSP 特征进行特征权值再分配,并通过
滑窗保留了样本的时序信息,并用长短期记忆网络
进行学习,在单侧肢体五分类(手、腕、肘、肩、
静息)解码任务上相较已有模型进一步提升了解码
正确率。同年,Li 等人(2022)提出了通过脉冲神
经网络对 MI 脑电信号进行识别,只使用十分之一
的参数就可以实现与卷积神经网络相当的识别正确
率。Wang 等人(2022)提出变分样本长短期记忆网
络,将脑电信号分解为六个频带并通过样本熵筛选
频带,最后使用长短期记忆网络进行分类,在 7 分
类MI公开数据集上实现了76.2%的识别正确率。Liu
等人(2022)提出基于 SincNet 的神经网络模型,
将脑电信号划分为多个时段并提取 CSP 特征,再利
用所提出的网络自动对信号进行滤波,最后提取稀
疏表征并分类。该方法在 4 分类公开数据集上实现
了 74.26%的识别正确率。深度学习模型获得性能优异往往需要大量训练
数据,脑电数据的获取难度和采集周期,往往难以
满足模型训练需求的训练数据量。迁移学习等方法
被引入至脑电信号解码中,以缓解模型对训练数据量的需求(Wang 等,2015)。2021 年,Hong 等人
(2021)创新地融合了生成对抗的思想,提出了一
种基于联合域自适应的方法,并使用梯度翻转层,
使得模型更新权重时既考虑最终的分类正确率,又
保证学习的特征是源域和目标域之间共有的特征,
该方法在 4 分类运动想象任务中实现了 81.52%的识
别正确率。该团队还将注意力机制与迁移学习融合
在一起,通过多注意力层捕捉大脑中与任务相关的
区域并使用鉴别器缩小域之间的差异性,该方法在
4 分类 MI 任务中实现了 81.48%的识别正确率(Chen
等,2022)。2021 年,Chen 等人(2021)提出基于
空间注意力机制的跨被试自适应建模,该方法首先
将脑电信号转换成不同频带下的时频图,然后学习
源域和目标域数据之间的共有特征,之后通过最大
均值差异缩小源域和目标域的特征差异,节约学习
成本的同时保留目标被试的特征,该方法在跨被试
工作记忆负荷识别任务中实现了 63.6%的识别正确
率。2022 年,Chen 等人提出了对齐同类别源域与目
标域样本分布、同实验组源域与目标域分布以实现
源域到目标域的领域自适应,并利用源域类别标签
训练分类器,该方法在两分类运动想象任务中实现
了 82.61%的识别正确率。同年,Xia 等人(2022)
提出了一种隐私安全的 MI 领域自适应方法,只利
用源域数据的模型参数而不使用源域脑电数据来进
行迁移,该方法在二分类 MI 中达到了 74.62%识别
正确率。当前的 MI-BCI 系统旨在为使用者搭建一条神
经通路,通过脑电信号判断患者运动意图,进而触
发机械外设进行辅助工作,以实现闭环训练和主动
康复。2021 年,Cao 等人(2021)提出一种混合 BCI
方案,将 SSVEP 和 MI 结合应用于多维度机械臂控
制上,11 名被试完成在三维空间不同位置的五个物
体的拾取任务,平均成功率达到 85%。2022 年,Tang
等人(2022)针对卒中后偏瘫患者上肢运动障碍,
采用基于 MI 和目标检测的混合控制方法,开发了
一种可穿戴多肢机器人系统,所有受试者通过控制
该系统都能在 23 秒内完成目标物体的抓取任务,其
中抓取袋子任务的平均成功率最高,达到 90.67%。该系统可以通过自然的人机交互,有效帮助上肢运
动障碍患者完成日常生活中的上肢任务,提高其自
理能力,增强对生活的信心(Tang 等,2022)。MI-BCI 在卒中后康复方面也具有很好的应用,
通过对脑卒中患者脑电信号的实时监测和反馈,促
使患者主动参与训练,进而达到神经功能重塑、肢
体运动功能康复的目的。2019 年,Caria 等人(2019)
对 30 名重度卒中后患者实施 MI 结合机械手康复治
疗,通过治疗前后的 fMRI 影像以及多种量表评估
综合分析,表明了 MI-BCI 加强了同侧大脑活动,
增强了患侧手的感觉功能,实现了大脑对侧和同侧
的体感和运动组合,及传入和传出连接相关的运动
回路的重组。2020 年,Ren 等人(2020)提出了一
种基于功能电刺激和虚拟现实的增强型 MI-BCI,通
过功能电刺激和虚拟现实结合用来降低执行 MI 任
务的难度,12 名受试者的实验结果表明所提方法在
分类性能上得到了有效提高。总体而言,非侵入式 MI-BCI 已经在外部设备
控制和脑卒中康复方面取得了很大进展,但目前仍
局限于实验室环境。随着非侵入式 BCI 技术向着小
型化、便携及可穿戴化等方向的发展,以及神经科
学和深度学习技术的进步,MI-BCI 有望实现更多更
实用化的成果。
进展
SSVEP 是受试者注视周期性的视觉刺激时诱发
的视觉皮层神经元群响应(Cheng 和 Gao,1999;Cheng 等,2002;Gao 等,2003),其以信息传输速
率高、稳定性强、适用性广等特点而受到广泛的关
注,在视野损伤检测、身份识别、脑控打字界面等
方面都得到了广泛的应用(Nakanishi 等,2017;Phothisonothai,2015;Chen 等,2014)。设计有效的视觉刺激使用户的脑电信号可以区分不
同的目标,对实现 SSVEP-BCI 至关重要。目前,最
为广泛使用的编码范式为相位频率联合范式,即混
合频率和相位编码(joint frequency-phase modulation,JFPM)(Chen 等,2015;Chen 等,2022)方
法,其由于高效的编码方式在 SSVEP-BCI 中占据了
主流的地位,研究人员近年来基于该范式开发出新
型编码策略,扩大了编码指令集。Chen 等人(2021)
将不同频率按照时间顺序进行排列,使用 8 个刺激
频率,每个目标使用 4 种频率组合成编码序列,实
现了 160 目标编码。Chen 等人(2022)使用 12-23.9
Hz 的频率范围、0.1 Hz 的频率间隔以及 0.35π 的相
位间隔,实现了 120 目标编码,如图 4。
图 4 120 目标 SSVEP 型 BCI 系统的字符拼写器,蓝色表示每个刺激编码的频率,红色代表初始相位(Chen 等,2022)
Fig.4 The 120-target SSVEP-BCI speller. Frequency(blue) and initial phase(red) encoded for each stimulus (Chen 等,2022)
传统 SSVEP-BCI 系统一般采用高对比度的强
刺激提供视觉呈现,但易引起视觉疲劳,不利于系
统的长期使用。为提高用户的舒适性,研究人员从
外周刺激呈现的方式进行研究。2021 年,Chen 等人
(2021)使用 4 个不同频率的刺激区域,利用每个
目标与 4 个刺激区域的位置关系,实现了 13 目标编
码。同年,Zhao 等人(2021)把刺激区域之间的间
隔视作目标,实现了 40 目标的编码。2022 年,Jiang
等人(2022)利用 SSVEP 的锁时锁相特性,使用
60 Hz 的无闪烁感视觉刺激结合相位编码实现了 4
目标的 SSVEP-BCI 系统,在在线测试中该系统实现
了 87.75%的识别精度,证明了无闪烁感视觉刺激实
现 SSVEP-BCI 的可行性。为了进一步提升编码目标数量,研究人员利用
SSVEP 和其他脑电范式或其他生理信号,构建了混
合 BCI 范式。2020 年,Zhou 等人(2020)将 SSVEP
与眼电信号相结合,利用识别眨眼信号与 SSVEP 搭
建异步 12 目标 BCI 系统。2022 年,Jiang 等人(2022)
开发了低频视觉刺激下(0.8~2.12 Hz)脑电响应和
瞳孔响应融合范式,为缓解“BCI 盲”问题提供了
一个很好的解决方案。为了准确、高效地识别出被淹没在背景脑电噪声中的 SSVEP,可以根据不同应用场景下可用训练
数据量的由多到少,将近期的研究成果划分为有训
练解码、迁移学习解码和零校准解码三类。早期的有训练算法多从 CCA 算法中衍生而出
(Pan 等,2011;Bin 等,2011;Zhang 等,2014;Zhang 等,2013)。2018 年,研究人员将任务相关
成分分析(task-related component analysis,TRCA)
引入 SSVEP 解码中(Nakanishi 等,2018),用于
提取脑电中的任务相关成分,显著提升了有训练算
法的性能。近些年研究者通过引入相邻频率信息
(Wong 等,2020)、时域信息(Zhang 等,2017;Yang 等,2018;Liu 等,2021)等方式,进一步提
升了解码算法的性能。在 2021 年,Liu 等人(2021)
提出的任务判别成分分析(task-discriminant component analysis,TDCA)算法,利用判别模型对所
有频率求出共有的空域滤波器,获得了优于集成任
务相关成分分析(ensemble task-related component
analysis,eTRCA)算法的解码算法性能。深度学习
由于其强大的特征提取能力,在有训练解码方面同
样表现出了优异的性能,研究者利用基于卷积神经
网络的网络分别在不同层提取空域和时域特征。2020 年,Li 等人(2020)提出了卷积相关分析模型
(convolutional correlation analysis,Conv-CA),解
码精度超过了 eTRCA。同年,Guney 等人(2020)
提出了深度卷积神经网络模型(Deep neural network,
DNN),将 SSVEP 的解码精度进一步提高。2022 年,
Zhang 等人(2022)考虑到脑电信号的时序特性,
提出了双向孪生相关分析(bidirectional Siamese
correlation analysis,bi-SiamCA)模型,如图 5,利
用递归神经网络构建分类模型,显著提升了深度模
型的解码性能。长校准时间限制了 BCI 系统的推广应用,因此,
研究者利用迁移学习方法构建跨天、跨设备、跨被
试的解码模型,实现少校准情况下的解码。2022 年,
Liu 等人(2022)使用对齐池化域适应(align and pool
for EEG headset domain adaptation,ALPHA),从特
征层面分析源域和目标域的关系,对子空间进行分
解、对齐和池化操作,在被试内提升了跨设备(Liu
等,2022)及跨天(Liu 等,2022)迁移学习解码性
能。2021 年,Zhu 等人(2021)利用集成学习技术
提升了跨天任务上的解码性能。
图 5 高效解码模型 bi-SiamCA 原理框图(Zhang 等,2022)
Fig.5 The framework of the bi-SiamCA(Zhang 等,2022)
长校准时间限制了 BCI 系统的推广应用,因此,
研究者利用迁移学习方法构建跨天、跨设备、跨被
试的解码模型,实现少校准情况下的解码。2022 年,
Liu 等人(2022)使用对齐池化域适应(align and pool
for EEG headset domain adaptation,ALPHA),从特
征层面分析源域和目标域的关系,对子空间进行分
解、对齐和池化操作,在被试内提升了跨设备(Liu
等,2022)及跨天(Liu 等,2022)迁移学习解码性
能。2021 年,Zhu 等人(2021)利用集成学习技术
提升了跨天任务上的解码性能。为了使解码方法具备直接应用在新被试上的能
力,研究人员开发了零校准的解码方法。2021 年,
Ding 等人(2021)提出了滤波器组卷积神经网络
( filter bank convolutional neural network,
Fb-tCNN),在零校准情况下的解码精度显著高于
传统的零训练方法 CCA。2022 年,Chen 等人(2022)
将 Transformer 结构应用在 SSVEP 分类任务上,进
一步提升了零校准情况下 SSVEP 的识别精度。同
年,Yan 等人(2022)通过改进了跨被试空间滤波
器迁移方法(cross-subject spatial filter transfer,
CSSFT)的叠加平均方式,进一步提高了跨被试的
SSVEP 识别精度。此外,SSVEP 还可被用于人的身
份识别。2022 年,Zhang 等人(2022)通过计算 SSVEP
谱相关矩阵得到大脑功能连接,在 15 名被试下实现
了 98%的个体识别正确率。SSVEP-BCI 主要被应用于三个方向:通讯、控
制、状态监测。在通讯方面,SSVEP-BCI 主要用于
电话拨号(Cheng 等,2002;Hwang 等,2013)、
文字拼写(Chen 等,2014)等;在控制方面,
SSVEP-BCI 主要应用于家居(Gao 等,2003)、神
经假肢(Müller-Putz 和 Pfurtscheller,2008)以及设
备控制(Ortner 等,2011;Gergondet 等,2011;Kwak
等,2015)等;在状态检测方面,由于 SSVEP 信号
的时域、频域以及空域特征能反应大脑状态,因此
被用于被动式 BCI 中,实现隐性注意程度监测(Lee
等,2016)、注视位置监测(Chien 等,2017)、疲
劳监测(Mun 等,2012)、视野损伤检查(Nakanishi
等,2017)、个体身份识别(Phothisonothai,2015)
等功能。针对实际应用需求,国内外研究者从解码
控制策略、混合 BCI、移动式 BCI 等方向对
SSVEP-BCI 系统进行了优化。为提升实用性,国内外研究者从解码控制策略
方面开展了一系列研究。2020 年,Shi 等人(2020)
利用时空均衡动态窗算法,让渐冻症患者实现了与
外界的异步中文交流。异步交流在实际应用中更自
然、实用性更强,研究人员开展了异步控制方法研
究。2021 年,Yang 等人(2021)提出了基于空时均
衡的多窗异步检测策略,提升了 SSVEP-BCI 键盘的
异步控制性能。最后,考虑到训练校准时间长、易
引起疲劳的问题,可以设置在线适应策略,通过在
线机器学习提升系统在少训练或无训练条件下的性
能。2022 年,Wong 等人(2022)提出在线自适应
的 CCA(online adaptive CCA,OACCA),通过在
线数据对算法模型进行不断地迭代更新,获得了比
动态停止策略更优的性能。除了从控制策略方面提升实用性,研究人员也
从穿戴设备角度进行了改进。为方便信号采集,研
究人员提出了耳后信号采集方法。2020 年,Marinou
等人(2020)利用单耳后采集 SSVEP 响应进行目标检测,验证了耳后 SSVEP-BCI 的可行性。2021 年,
Liang 等人(2021)提出了一套快速有效的左、右视
野耳后叠合延迟差的估计方法,有效提升了耳后
SSVEP-BCI 的系统性能。为加速刺激范式和控制场
景切换,2020 年,Chen 等人(2020)使用移动式
BCI 和增强现实技术,通过 4 目标 SSVEP-BCI 系统
控制机械臂,实现了 14.21bits/min 的信息传输速率,
2021 年,Chen 等人(2021)将控制指令提升至 12
目标,实现了 67.37bits/min 的信息传输速率。
ERP 是一种特殊的脑诱发电位,通过有意地赋
予刺激以特殊的心理意义,利用多个或多样的刺激
引起认知过程中大脑的神经电生理改变(Donchin
和 Lindsley,1969),常被作为 BCI 的控制信号。目前常用的 ERP-BCI 编码范式有快速序列视觉
呈现范式(rapid serial visual presentation,RSVP),
和 P300 范式等(Lees 等,2020;Chen 等,2022)。但是,P300 范式诱发的 ERP 信号信噪比低,而传统
RSVP 范式只针对单个目标的识别,只能应用于单
一固定目标场景下的目标检测。基于上述局限性,
开始有研究人员将 ERP-BCI 的不同范式组合一起,
开发混合 BCI 范式,来提升系统性能(迟新一等,
2022)。2020 年,Xu 等人(2020)开发了一个基于
P300 和 SSVEP 的高速混合 BCI 范式,该范式采用
时间编码和频率相位组合编码的方式分别对 SSVEP
和 P300 信号进行编码,将 BCI 指令集扩展到高达
108 个,信息传输速率最高可达 238 bits/min。2021
年,Ko 等人(2021)提出了一种基于 SSVEP 和 RSVP
的混合 BCI 范式,在这种范式中,SSVEP 刺激用于
识别用户的焦点位置,RSVP 刺激区分目标和非目
标物体,提升了多目标场景中目标/非目标对象的分
类性能。随着 BCI 系统在多个领域的应用推广,人
们开始尝试开发更舒适的 BCI 控制系统。近几年,
研究人员开展了对周围视野刺激的研究,以提升系
统的舒适性和交互友好性。2021 年,Zhou 等人
(2021)提出了一种基于视野弱刺激的新范式,该
范式采用一簇极小的圆点做视觉刺激,并在中央视
野周围选择了 16 个不同的位置进行分析,该研究实
现了对极微弱脑电的编解码,同时证明了周围弱刺
激的可行性,并提供了一种潜在的方法来扩大 BCI
的应用范围。2022 年,Zhang 等人(2022)提出了
一种具有三个视觉空间模式的 RSVP 刺激的新范
式,该研究提供了视野不均匀性与脑电图特征之间
关系的见解,并为实现 RSVP-BCI 中目标空间方向
的精确定位提供可能。近两年,针对 BCI 范式,研究人员不仅在编码
方式进行改进,还在交互方式和刺激效果上进行了
新的尝试。2022 年,Gehrke 等人(2022)设计了一
个用于评估视触觉匹配与否的范式,该范式设置了
匹配/不匹配两组实验,其中,匹配与否指被试触摸
到物体是否会收到反馈刺激,该研究可为虚拟现实
中视触觉感觉整合冲突的自动检测提供一种新思
路。Korkmaz 等人(2022)提出了一种基于 3D 刺
激的新型 P300 范式,该研究证实了 3D 刺激的可行
性,并发现了 3D 刺激可获得更好的 ERP 响应。
图 6 混合 BCI 拼写器系统。左图是 108 个字符由红色虚线区分为 12 个子拼写区,右图是每个子拼写区的频率和初始相位 (Xu 等,2020) Fig.6 The hybrid BCI speller. (Left) Distribution of 108 characters on the screen was divided into 12 sub-spellers by the red dash lines. (Right) The selected frequency and initial phase of stimulation squares were displayed for each sub-speller(Xu 等,2020)
本文调研了近几年来 ERP-BCI 的解码算法,并
根据这些方法的功能将之归纳为四类:信号降噪算法,特征提取算法,数据迁移算法以及零校准算法。 脑电信号具有幅值低、信噪比低的特点,如何
从各种噪声中将 ERPs 提取出来,是 ERP-BCI 研究
中的一个重要问题。2020 年,Yang 等人(2020)设
计了一种时空均衡方法,有效提高了 ERP 信号的信
噪比。2021 年,Sosulski 等人(2021)通过将噪声
与时间解耦,增强了 LDA 的分类性能。2022 年,
Yadav 等人(2022)设计了一种基于海洋捕食者算
法的自适应滤波器,实现了对 ERP 信号的去噪。除
了脑电背景噪声的滤除外,研究者们通过剔除混杂
在脑电中的其他生理信号(如眼电,肌电等)同样
增强了 ERP-BCI 的性能(Ouyang 等,2022;Liu 等,
2022)。在 ERP 信号的特征提取过程中,可以从时域、
空域等多个维度挖掘潜在的信号特征。针对时域特
征,2021 年,Tan 等人(2021)提出了一种多窗口
时空特征分析的卷积网络,以缓解 RSVP 中单试次
脑电数据的时间变异性。同年,Rocco 等人(2021)
提出了一种可以从单试次中提取 ERP 成分的方法,
实现了试次数量的扩增。2021 年 Zhou 等人(2021)
开发了一种多类 DCPM 分类器(Multi-DCPM),
实现了对多模式 ERP 信号的检测和识别。针对空域
特征,Xiao 等人(2021)提出了一种 DCPM 空间滤
波算法,显著增强了 aVEP 的信噪比并在同年证明
了 DCPM 在 ERP 模式识别上的鲁棒性。2021 年,
Tang 等人(2021)将矩阵映射到不同空间,也实现
了 ERP 空间特征的提取。针对时-空混合特征,2021
年,Li 等人(2021)同时对数据进行空间滤波和时
间加权,实现了在小样本条件下的性能提升。Xiao
等人(2021)在对 P300 拼写器的研究中,考虑到
ERP 模式随时间变化的特点,提出了多窗口 DCPM
(multi-window DCPM,MWDCPM),构造了一系
列与时间相关的DSP滤波器来微调空间ERP特征的
提取。2022 年崔玉洁等人(2022)分别在时域和空
域采用主成分分析和共空间模式对脑电信号进行特
征提取。传统的 BCI 分类器往往依靠用户的个人校准数
据作为训练模板,而脑电信号的变异性导致用户个
体的校准数据在面对跨被试,跨时间的情况下变得
不再适用,不得不重新采集校准数据。这导致了
ERP-BCI 系统在使用时训练过程繁琐,冗长,限制
了其实际应用。针对这一问题,研究者们提出了多
种基于迁移学习的算法,实现了训练样本的跨时间、
跨被试迁移,有助于降低 ERP-BCI 的训练负担,增
强其实用性和交互友好性。2020 年,Wei 等人(2020)
提出了一种多源条件对抗域自适应与相关度量学习
框架,该框架利用来自其他被试的数据,以减少来
自新被试的训练数据需求。2022 年,Li 等人(2022)
提出了一种基于三维 CNN(3D-CNN)的 ERP 动态
解码模型,利用三维卷积核捕捉空间特征在多个时
间点的动态特征来提高模型在不同被试间的泛化性
能。同年,Abibullaev 等人(2022)提出了一种模
型选择方法,通过使用留一被试法,利用跨被试交
叉验证选择 CNN 超参数。目前 ERP-BCI 解码算法在每个用户使用 BCI
系统前需要进行校准,采集用户带标签的脑电数据
用来训练用户特异的脑电解码模型。数据迁移算法
虽然能够利用已有被试数据来降低对当前被试数据
的依赖,但仍然需要采集当前被试数据。零校准是
让新被试可以使用大量其他被试数据提前训练好的
模型直接工作,不用再采集被试自己数据训练自己
特定的分类器。这不仅节省了使用前的等待时间也
提高了 BCI 模型的通用性。2020 年,Lee 等人(2020)
使用55名受试者的脑电数据联合训练一个EEG-Net
模型,该模型可直接用于新被试的脑电解码且零校
准模型的性能与被试依赖模型的性能无显著性差
异。2022 年,Wei 等人(2022)提出了一种基于元
学习的原型匹配网络,通过在大量已有被试的数据
上学习到 P300 目标与非目标的原型,测试被试的脑
电数据在网络的特征空间中直接与原型计算相似度
即可实现分类;同年 Li 等人(2022)提出了一种脑
电时频融合模型 TFF-Former,利用 Transformer 表
征能力强的特点,提取被试的时频共性特征,提升
零校准场景下的模型性能,实验结果表明所提出模
型的零校准性能与有校准模型利用四个 block 校准
数据训练的性能相当。P300 拼写器是 ERP-BCI 最经典的应用,利用
P300 的潜伏期和振幅对注意力和认知程度的反映,
可以实现控制命令的选择和字符的拼写。2016 年,
Townsend 等人(2016)基于 P300 开发的异步拼写
器通过动态调整刺激时间,实现了最高 120 bits/min
的信息传输速率。在 P300 拼写器的基础上,
P300-BCI系统还被应用于智能手机的电子邮件发送
(Velasco-Álvarez 等,2021),无人机控制(Kim
等,2021),导航框架内决策(Vařeka 和 Ladouce,
2021)和智能病房协作系统(Cai 和 Pan,2022)等。2020 年,Chang 等人(2020)根据 P300 提供的隐藏信息开发了隐藏信息测试方法用于测谎。P300 因其
特征明显、不过于依赖用户训练等优势,也被用于
游戏设计(Feng 等,2022)。ERP-BCI 不仅可以帮助健康人群实现外设控
制,也可以为行动不便患者提供辅助和支持,例如
帮助患者进行轮椅或鼠标控制,帮助肌萎缩侧索硬
化症患者控制 BCI 家庭自动化系统(Velasco-Álvarez
等,2022),帮助残疾人对假肢装置进行意志控制
(Hasan 等,2021)等。除此之外 ERP-BCI 在研究
感官信息处理、心理病理状况以及高阶认知等方面
也很有应用价值(Habelt 等,2021)。在意识状态
检测方面,Ji 等人(2022)通过 N300 延迟诊断学习
障碍儿童,Kool 等人(2022)通过 P3a、P3b 和失
匹配负波测量精神障碍的注意缺陷,Xiao 等人
(2022)根据定向听觉刺激诱发 P300 和失匹配负波
诊断意识障碍患者。2022 年,Pan 等人(2022)设
计了一种利用 P300 电位与情绪模式的混合 BCI 系
统应用于检测意识障碍患者的意识。在治疗情绪相
关疾病方面,P300、晚正电位和反馈相关负波等用
于监测情绪调节障碍,减少自闭症谱系障碍患者的
症状(Eldeeb 等,2021);通过测量患者识别自我
和他人面孔的 P3 差异,表明自闭症谱系障碍患者对
自己面孔的注意力偏向受损(Cygan 等,2022),
此外,奖赏积极性和晚正电位可以用于抑郁症的诊
断(Klawohn 等,2021)。在帮助患者功能康复方
面,通过 N1 和 P2 分析视听感知,补偿人工耳蜗输
入,进而改善患者的听觉康复(Layer 等,2022;Radecke 等,2022),通过对脑震荡后运动员 P3B 的
测量,提供运动员康复的心理情感、认知和神经生
理学特征(Sicard 等,2021)。在高级认知检测方面,
体感 P300 用于测量冥想者的注意力资源(Bokk 和
Forster,2022),晚正电位用于研究工作记忆负荷对
情绪调节的影响(Adamczyk 等,2022),N/P150、
N250 和 N400 等用于探索音韵学在视觉单词处理中
的作用(Shetty 等,2022),P300 和失匹配负波用于
研究音频流向用户提供可理解的内容是否可以帮助
用户更好地关注于目标音频流,从而更好地关注目
标刺激且忽略非目标刺激(Velasco-Álvarez 等,
2021)。
目前,情绪诱发范式采用的素材大致可分为图
片、文本、音频、视频以及游戏等。图片诱发范式
中,刺激素材包括国际情感图片系统(international
affective picture system,IAPS)(Lang 等,1997)、
中国情感图片系统(Chinese affective picture system,
CAPS)(Lu 等,2005)和中国面部情感图片系统
(Chinese facial affective picture system, CFAPS)
(Gong 等,2011)等。文本诱发范式则是让被试朗
读情感词汇、朗读诱发不同情绪的文章(Guo 等,
2021)、看图叙述故事(Valstar 等,2013),描述正
向或负向情绪的事件(Alghowinem,2013)等。音
频实验范式是指利用音乐作为辅助的刺激手段,要
求被试在聆听音乐的同时回忆悲伤的经历
(Steidtmann 等,2010)。而视频片段诱发范式同
时结合了视觉和听觉,相较于图片、文本与音频,
其诱发强度更高,是目前最为常用的实验范式。许
多情绪脑电数据库采用了视频片段诱发的范式。例
如,在 DEAP 数据库中(Koelstra 等,2011),32
名受试者分别观看了 40 段一分钟长的音乐视频。SEED 系列数据集包含了多个不同被试数量的子集,
分别诱发被试的 3 类、4 类与 5 类离散情绪。其中 3
类情绪也根据被试国籍区分出了中国、法国与德国
3 个国家被试的数据子集(Liu 等,2022)。DREAMER
数据集(Katsigiannis 等,2018)使用了 18 个电影
片段来诱发 23 名被试的情绪,并采用了连续情感标
签。近期,研究者们对于视频诱发素材和数据标签
划分等进行了创新。2022 年,Luo 等人(2022)将
油画作为了一种新型的图片诱发素材,相较于人像
或风景照片,油画获取更为简便,并包含丰富情绪
情景。同年,Hu 等人(2022)基于视频片段诱发范
式,采集了 80 位被试,9 类情绪类别的 THU-EP 数
据集,其类别精细度大大超越了传统正面/中性/负面
的三分类,或效价/唤醒度维度上的二分类。近年来,研究者提出了多种新型脑电情感解码
模型来提升情感 BCI 的分类性能。2022 年 Li 等人
(2022)提出了一种新型的层级化时空特征提取模
型,分别提取了区域和全局的时空特征,提高了模
型的分类能力。同年 Li 等人(2022)提出了一种基
于多目标进化算法的框架,自动搜索最适合脑电分
类任务的 Transformer 结构。相较于单模态信号,多模态信号能够从不同方
面反映人的情绪,能够更全面、客观和准确地对人
的情绪进行表征。因此,基于多模态信息融合的情
绪识别研究得到了学术界越来越多的关注(Zheng
等,2019)。构建多模态情感 BCI 的关键问题是如何
有效地融合多模态信号,从而最大限度地利用这些
信号中的信息。2021 年,Liu 等人(2021)提出用
加权融合和基于注意力融合的两种方法来扩展深度
典型相关分析模型,使融合后的多模态特征在情绪
上更具有同质性和辨别性,从而提升了多模态情绪
识别模型的性能和鲁棒性。2021 年 Zhang 等人
(2021)提出了一种分层融合卷积神经网络模型,通过构造不同的网络层次结构,提取多尺度特征,
并将网络特征与人工统计特征进行特征级融合,形成最终的特征向量,挖掘了多模态数据中的潜在信
息。2022 年 Saffaryazdi 等人(2022)利用面部微表
情、脑电、皮肤电及光体积描记信号的组合,在特
征层面融合皮肤电和光体积描记信号,作为生理特
征,在策略层面融合面部微表情、脑电和生理特征,
从而更可靠地检测潜在的情绪。
图 7 油画作为情绪诱发素材的数据集(Luo 等,2022)。(a)实验流程图。(b)诱发素材的效价分布。Fig.7 A emotion dataset with oil paintings stimulus(Luo 等,2022). (a) The experimental protocol. (b) Illutration of 114 oil
paintings that are annotated as positive, neutral, and negative.
当被试的脑电信号或其他生理信号之间存在较
大的个体差异时,直接使用传统的分类器通常难以
构建准确的跨被试情绪识别模型(Morioka 等,
2015)。对于个体差异问题,目前主流的解决方案
是通过迁移学习构建更通用的情绪识别模型(Lin
和 Jung,2017;Wu 等,2020)。脑电信号的非平
稳性以及不同采集环境等差异导致每个被试的脑电
数据分布不同,称为域偏移问题。迁移学习的核心
思想是减少源域和目标域的域差异,使在源域上训
练的模型可以泛化到目标域。其中比较经典的算法
包括迁移成分分析(transfer component analysis,
TCA)算法和直推式参数迁移(transductive parametertransfer,TPT)等方法(Zheng 和 Lu,2016)。随
着深度学习的发展,基于深度网络的迁移学习算法
逐渐应用于跨被试情感 BCI 中,2018 年 Li 等人
(2018)和 Luo 等人(2018)先后提出了用于脑电
情绪解码的域对抗神经网络和生成对抗域适应网络
等。这些网络一般包含域判别器,判断样本是来自
于源域还是目标域,在训练过程中通过反转域判别
器分类损失的梯度,来起到拉近源域和目标域边缘
分布的作用。2021 年 Wang 等人(2021)提出的深
度多源自适应迁移网络(deep multi-source adaptation
transfer network,DMATN),则是通过拉近源域和目
标域数据在模型特定层的表征来实现领域自适应。与单源域单目标域算法相比,多源域适应算法
假设不同源域具有不同的边缘分布。在情感 BCI 问
题中,这个假设比单源域假设更合理。不同受试者
的脑电数据具有不同的边缘分布,但在单源域模型
中,一般假设源域中的所有受试者属于同一个分布,
而目标域是另一个分布。通过多源域适应算法,可以有效解决源域内不同主体边缘分布差异较大的问
题,并在一定程度上降低负迁移的可能性。2019 年
Li 等人(2019)使用风格迁移映射(style transfer
mapping,STM),实现了多个源域的迁移学习。2020
年 Yucel 等人(2020)利用在多被试脑电原始数据
上预先训练好的 Inception ResNet 模型,实现了较高
的跨被试分类性能。上述迁移学习方法虽然不需要目标域样本的标
签,但需要目标域的特征数据,被称为域适应算法。迁移学习的另一个重要分支是域泛化算法,与域适
应不同,它不需要目标域中的数据。域泛化算法的
主要优点是它们可以预测未知的目标域数据并且具
有很强的泛化性能(Ma 等,2019)。2022 年 Shen
等人(2022)通过对比学习(contrastive learning)
算法,使得训练集内不同被试对同一刺激的脑电信
号表征尽可能相似,以此实现完全的域泛化模型。由于域泛化算法不利用任何目标域信息进行学习,
因此性能通常低于域适应算法。2021 年 Zhao 等人
(2021)结合域泛化和域适应的思想,通过利用少
量目标域数据而不是所有目标域特征数据来实现校
准时间和模型性能之间的权衡。多模态情感识别相较于单模态,能显著提高性
能,但在实际场景中却受限于多模态信号采集的高
成本和不便性。为了在不影响性能的前提下提高情
感解码的泛化能力,跨模态情绪识别应运而生。脑
电可与眼动等生理信号或图像等蕴含情感信息的外
界信号共同使用,以训练跨模态模型。2019 年,Jiang
等人(2019)提出了一种从眼动信号生成多模态特
征的方法。他们建立了一个双模态深度自编码器,
将脑电和眼动作为输入,并将其转化为多模态表征。然后训练了一个深度回归神经网络来将眼动特征映
射到多模态特征。考虑到从眼动到多模态特征的映
射可能不是一个简单的回归,2021 年 Yan 等人
(2021)采用条件生成对抗网络改进了这种方法。他们发现,由条件生成对抗网络生成的多模态特征
在不同的情绪中更容易区分,因此取得了更好的性
能。另外,2022 年 Zhang 等人(2022)使用知识蒸
馏方法将图像中的情绪知识迁移到基于脑电的情绪
识别网络中,取得了良好的效果,如图 8 所示。
图 8 利用知识蒸馏将情绪信息从图像迁移到脑电中(Zhang
等,2022)。Fig.8 Visual-to-EEG cross-modal knowledge distillation for
continuous emotion recognition(Zhang 等,2022)
考虑到脑电数据收集成本较高,一些研究人员
专注于研究情感 BCI 的数据增强技术,即从现有的
数据集中生成新的训练样本,使模型对实际应用中
可能遇到的数据噪声具有鲁棒性。此外,增加训练
集的规模有利于训练具有许多参数的更复杂的模
型,并减少过拟合。2020 年,Lashgari 等人(2020)
探究了噪声添加、生成对抗网络、滑动窗口、傅里
叶变换、分割重组等方法在脑电数据增强中的应用,
并发现噪声添加和生成对抗网络比其他数据增强技
术更能提高情感 BCI 的分类精度。近年来,基于深
度生成学习的数据增强方法引起了广泛的关注,包
括基于生成对抗网络和基于变分自编码器的方法。2020 年,Luo 等人(2020)使用变分自编码器和生
成对抗网络,以功率谱密度和微分熵两种形式,生
成类似真实的脑电数据,如图 9 所示,并选择高质
量的生成数据添加到训练数据集中,显著提高了基
于脑电的情绪识别模型的性能。2022 年,Bethge 等
人(2022)利用条件变分自编码器,学习与被试和
情绪相关的脑电数据表示。其生成的脑电信号序列
与真实脑电信号数据相似,尤其能重构低频信号成
分。
图 9 使用变分自编码器和生成对抗网络增强脑电数据(Luo 等,2020)
Fig.9 EEG data augmentation with variational autoencoder and generative adversarial network(Luo 等,2020)
在医疗领域,随着精神疾病的患病率持续升高,
迫切需要开发新的诊疗方法。由于多模态情感 BCI
技术可以实现对人的情绪进行客观评估,因此情感
BCI 技术被认为是一种非常有发展前景的、可应用
于情感障碍疾病诊疗的新技术。目前国内外情感
BCI 在医疗方面的应用处于快速研发阶段。谷歌公
司 Alphabet 实验性研发 Amber 项目,旨在通过 BCI
设备获取并分析脑电信号,开发针对抑郁和焦虑的
客观测量方法,帮助医疗保健专业人员更容易、更
客观地诊断抑郁症。在国内,上海瑞金医院成立了
脑机接口及神经调控中心,启动了临床 BCI 研究项
目“难治性抑郁症脑机接口神经调控治疗临床研
究”,旨在通过多模态情感 BCI 和脑深部电刺激方法
治疗难治性抑郁症。上海交通大学仿脑计算与机器
智能研究中心与米哈游与 2021 年 12 月联合成立了
上海零唯一思科技有限公司,致力于开发情绪“X”
机,一种基于多模态情感脑机接口的抑郁症客观评
估系统。清华大学心理学系团队设计并实现了国际
上首个基于脑电情绪响应的人格量化测评方法,并
与博睿康科技有限公司合作,已经初步形成面向个
体心理健康测评的软硬件一体化应用系统,并在北
京、青岛等地展开了应用(Li 等,2022)。在可穿戴设备应用上,国内外出现了许多有关
情感 BCI 的新兴产品。日本 Neurowear 公司开发的
耳机可以根据佩戴者的心情选择音乐,其公司还生
产了可穿戴相机,可以检测用户的情绪,并在用户
情绪投入时自动抓拍。加拿大的 InteraXon 公司研发
了脑波检测头环 Muse,可通过实时音频反馈来帮助
用户冥想、放松。HTC 旗下品牌威爱教育基于“情
感云”推出了心理评估与调节脑电虚拟现实设备,
配备到了国内七百多所中小学的心理教室,实现对
孩子的心理进行评估和干预。近十年我国也涌现了
越来越多的公司如强脑科技、回车科技、脑陆科技
等。这些公司的可穿戴脑电产品中,主要以智能头
环为主,产品以脑电为基础,结合心率、皮肤电导
率等多维传感器,用于用户的认知和情绪训练,实
现对人体健康的监测以及对专注度、疲劳度、情绪
等状态的识别。
近年来,随着认知神经科学、信息科学和工程
技术的发展和融合,BCI 进入了一个快速发展的新
阶段,在范式、算法、系统等方面均取得了诸多突
破性进展。在系统范式方面,诸多新编码方法相继
涌现并日益成熟,SSVEP-BCI 和编码调制视觉诱发
电位 BCI 均已实现对百余目标进行编码。将其他生
理信号加入到传统的 BCI 中进而形成的混合 BCI 范
式在 BCI 的性能和系统灵活性方面均显现出优势;在解码算法研究方面,机器学习、黎曼几何、深度
学习等算法被应用于 BCI 研究,并取得了显著的性
能提升,直接的表现是先前持久的受试训练时间已
大大缩短;在系统应用方面,各种 BCI 的应用不断
涌现,大大拓展了 BCI 的应用范围。专为交流和运
动康复设计的辅助型/康复型 BCI 已被广泛应用于
实验研究和临床试验,并验证了这些系统适用于肌
萎缩侧索硬化症、脑卒中和脊髓损伤患者。虽然 BCI 研究取得了可喜的成果,但目前 BCI
仍处在发展的初级阶段,绝大多数系统仍处于实验
室研究阶段。在推进 BCI 实用化进程中,仍面临诸
多问题与挑战。首先,BCI 实验范式友好性差。尽
管目前已经开发了许多 BCI 范式,但还没有哪一种
实验范式是称得上完美的。即使是目前比较成熟的
三类无创技术(运动想象、稳态视觉诱发电位和事
件相关电位),也还不令人满意。MI-BCI 需要较长
时间的训练,且对于动作控制比较慢;SSVEP-BCI
提供了无创 BCI 系统的最高信息传输率,但长时间
注视闪烁的屏幕会导致视觉疲劳。此外,一些其他范式,包括 ERP-BCI,在操作中都要求使用者高度
集中注意力,这也会造成使用者疲劳。在实验范式
方面,需要开发具有高效编码能力且用户友好的系
统范式。其次,系统通讯速率低。低通讯速率是影
响 BCI 推广应用的主要障碍之一。目前,无创 BCI
系统的信息传输率还不到 6 比特/秒,离正常的语音
通讯速率(~39 比特/秒)还相差甚远。考虑深度融
合人类智能和人工智能,使人类和人工智能能够自
适应和高效地学习和协作,开发更加优秀的解码算
法,有望大幅提高 BCI 系统的通讯速率。最后,现
有的 BCI 系统大多只在实验室进行了演示,离实际
应用还很远。从研究系统到日常生活可用的辅助和
康复设备的转换需要神经科学、计算机科学、临床
康复等多学科努力与配合。一方面,更全面地了解
大脑的功能和工作机制有助于优化 BCI 系统设计;另一方面,超高速宽带无线信号传输(5G 及以上)、
云平台的超强数据处理能力等技术有望提高 BCI 系
统的便携性。同时,还需要提高系统的可靠性和可
及性,使 BCI 成为残障人士和健康受试者日常生活
中不可或缺的工具。随着科技的进步和研究的深入,大脑与外部设
备的联系将越来越紧密,它们之间的信息交流已经
从感觉和知觉发展至认知,未来将导致无缝连接和
认知协作。人类智能与人工智能的深度融合,展现
了 BCI 未来发展的新趋势。随着 BCI 技术的研究和发展,BCI 产业规模跟
随技术进步而增长。根据麦肯锡的预测,全球 BCI
医疗应用的潜在市场规模在 2030-2040 年有望达到
400 亿-1450 亿美元,其中严肃医疗应用潜在规模在
150 亿-850 亿美元,消费医疗应用潜在规模在 250
亿-600 亿美元(范科峰等,2021)。2019 年全球
BCI 市场规模达 11.8 亿美元,预计到 2027 年将达到
36.9 亿美元,预期年复合增长率为 15.5%
(2021-2027)。据麦肯锡《The Bio Revolution
Report》研究显示,未来 10 到 20 年,BCI 产业在全
球范围内每年直接产生的经济规模可达 700-2000 亿
美元。另外,根据华兴医疗的预测,中国严肃医疗
领域 BCI 潜在市场规模未来有望超过 1000 亿,其中
脑卒中康复和难治性癫痫是最大的市场。由于 BCI
技术的潜在市场规模十分巨大,国内外很多公司都
纷纷涌入了 BCI 赛道。目前,全球提供 BCI 产品和
业务的公司有两百多家,主要集中在中国和美国。其中,国外具有代表性的公司包括 Neuralink、
NeuroSky 和 BrainGate 等,国内具有代表性的公司
包括博睿康、脑陆科技、中电云脑和脑虎科技等。此外,还有很多包括 Meta 在内的公司都进行了 BCI
技术的布局。相关公司的产品类型主要包括 BCI 芯
片硬件、BCI 软件系统、BCI 方案和专业应用等。从产品的成熟度来看,BCI 技术处于初级阶段,产
品上市的制度和标准尚不完善,产品的安全性、有
效性的认证制度同样不完善。所以,和 AI 辅助诊断、
智能医疗机器人等领域相比,BCI 产品通过相关机
构认证的数量屈指可数。总体来看,BCI 产业化目
前仍处于探索阶段,实现产业化仍需较长周期。致 谢
本文由中国图像图形学学会机器视觉专委会组织撰写。