【论文】Neural Network发表本团队脑机接口迁移学习成果

Sun B, Wu Z, Hu Y, et al. Golden subject is everyone: A subject transfer neural network for motor imagery-based brain computer interfaces[J]. Neural Networks 151, 111-120, 2022.

代码已开源，见此链接。

脑机接口（Brain-computer Interface，BCI）的目的是对包含用户意图的脑信号进行测量和定量的特性分析，并把测量结果实时转化为设备意图指令，同时为用户提供反馈。BCI系统首先收集到人脑或其他动物产生的脑电信号，随后对脑电信号进行处理，收集到的信号特性称为信号特征（简称为特征）。特征提取是从无关内容中辨识相关信号特性，并把其表达为有意义的形式的过程，这样研究人员便可对特征进行辨识并剔除其无用的特征，并对特征进行算法训练产生控制信号。产生的控制信号将作用于外部的设备当中，除此之外，各个环节的作用仍可对之前的环节产生反馈信号以调节系统整体稳定性，一些瘫痪人士难以做出常规的肢体运动，然而脑机接口技术的出现使得瘫痪人士能够通过脑部活动产生的电信号识别用户的意图并通过脑控外部设备实现与外界的交流，这也为残疾人士带来了康复的曙光。

本文针对的问题是脑机接口中“因人而异”的特点，即不同被试的对脑机接口中支持运动行为的皮层活动的脑电图测量存在差异，这限制了基于运动想象的脑机接口的应用。如何处理这种差异，从而提高BCI分类的准确性仍然是一个关键问题。本文提出了一种基于深度学习的方法，将数据分布从对BCI友好的“黄金被试”转移到更典型的BCI文盲被试的数据上。本文首先利用连续小波变换提取脑电信号的频域特征，并将其按照通道维度拼接从而获得等宽高的幅频图以便用于后续深度神经网络的分类运算。

随后，本研究利用感知损失将降维的BCI文盲数据与低维的黄金被试数据进行对齐，并据此提出了一种被试迁移神经网络（subject transfer neural network，STNN）。该网络由两部分组成：1）基于自注意力与反卷积的生成器用于生成转移的BCI文盲特征，2）基于卷积神经网络的分类器。

输入到STNN中的BCI文盲数据会通过生成器改变数据分布，并通过分类器中的感知损失使之分布与黄金被试数据对齐，并进一步通过分类器的全连接层输出类别，从而改善BCI文盲被试的分类效果。为了验证本研究所提出的STNN的效果，研究者在TJU数据集以及BCI Competition dataset IV 2b数据集上进行了验证，实验结果证明STNN优于现有算法。