一种基于知识蒸馏的脑电信号隐私保护方法

1.本发明涉及脑电信号分类领域，具体的说是一种基于知识蒸馏从深度学习模型中删除特定受试者脑电信号信息的隐私保护方法。


背景技术：

2.脑电(eeg)是一种用于记录大脑生理电信号的生理学技术。从头皮和颅内脑电图中观察到的神经活动模式来识别和预测生理和心理状态被广泛应用于情绪识别、运动想象、医疗健康等脑机接口领域。使用传统的机器学习方法手动提取的线性或非线性特征，例如自回归系数和李亚普诺指数等，这些传统的方法在严格控制的实验环境下取得了一定的成功。然而，这些手动提取的特征往往需要研究人员具备丰富的专业知识和进行大量的实验尝试。此外，在被各种伪迹影响的真实的脑电记录中，手动提取的特征往往只涵盖部分脑电信息，导致系统的鲁棒性差。
3.深度学习算法因其出色的泛化能力和强大的自动学习高效特征的能力，使得它在脑电信号分类预测中被广泛应用。目前，大多数用于脑电信号分类的深度学习方法都会先进行特征的预处理，如短时傅里叶变换、公共空间模式等。这些对原始脑电进行的预处理操作虽然可以获得更加“干净”的数据，但同时也可能会丢失一些重要的信息。近几年使用特征预处理和直接使用原始脑电信号的模型通常具有更复杂的架构和更大的核，导致需要更大的内存资源消耗及计算力。
4.目前，大多数的用于脑电信号分类的深度学习算法通常都是作为特征分类器来使用。研究者通过已有的专业知识，从脑电信号中提取时域特征，频域特征或者时频域特征，再使用深度学习算法来进行分类任务。虽然这种方法也取得了不错的分类性能，但是这种做法需要深厚的数理知识来用于提取特征，并且它忽视了深度学习算法强大的数据驱动能力。同时提取的特征虽然在某种程度上是更好的数据表示，但它也丢失了许多存在于原始多通道脑电数据中的空间关联信息和时间关联信息。也有少数使用端到端架构的深度学习算法，但是它们都没能充分的利用存在于多通道脑电信号中的空间关联信息和时间关联信息。由于诸多条件的限制，脑电信号的数据总量严重不足，这极大的限制了脑电信号的分类方法的发展。并且由于不同类别的脑电数据存在这严重的数据不平衡问题，这也使得分类方法的发展受到很大的限制。
5.近年来，人们越来关注隐私保护问题，脑电信号中包含许多可以反映人的生理和心理状态的敏感信息，当脑电信号被用于深度学习算法训练模型时，这些敏感信息会以模型参数的形式记录在模型中。这种以参数形式记录在模型中信息可以被不法分子通过
‘
模型逆转攻击’方法提取出来。这极大地威胁到用户的隐私安全。


技术实现要素：

6.本发明为克服以上不足之处，提出一种基于知识蒸馏的脑电信号隐私保护端到端方法，旨在解决深度学习场景下的脑电信号隐私保护问题，通过构建教师——学生框架，在
教师模型的监督下，得到遗忘特定用户的脑电信号信息的学生模型，从而实现对用户脑电信号的隐私保护。
7.本发明为达到上述发明目的，采用如下技术方案：
8.本发明一种基于知识蒸馏的脑电信号隐私保护方法的特点在于，是按如下步骤进行：
9.步骤1、获取带有标注类别信息的k名受试者的脑电信号数据，并对每种类别的脑电信号进行滑动切片处理，得到n段时长为t的脑电信号样本及其对应的类别标签，记为训练样本集其中，表示第k名受试者的脑电信号数据，x
k,i
∈r1×
l
×c表示第k名受试者的第i个脑电信号样本，c表示脑电信号样本的通道数，l表示脑电信号样本的长度，y
k,i
表示x
k,i
对应的类别标签，n表示受试者的脑电信号数据的样本数；
10.步骤2、建立基于cnn和transformer的联合网络，包含：去冗模块，联合模块，加权分类模块；
11.步骤2.1、所述去冗模块依次包括：第一卷积块和第二卷积块；
12.每个卷积块均依次由一个卷积层、一个标准化层和一个非线性激活层组成；
13.将所述第i个脑电信号样本x
k,i
输入到所述联合网络，并经过所述去冗模块的处理后，输出第k名受试者的第i个特征图f
k,i
；
14.步骤2.2、所述联合模块对第i个特征图f
k,i
进行处理后，得到第k名受试者的第i个局部信道间特征f_c
k,i
和第i个长程信道内特征f_t
k,i
；
15.步骤2.3、所述加权分类模块对f_c
k,i
和f_t
k,i
进行处理后，得到第k名受试者的第i个脑电信号样本x
k,i
所属的概率分布；
16.步骤3、模型训练，包含源模型，教师模型和学生模型的训练；
17.步骤3.1、源模型的训练；
18.基于所述训练样本集d，采用交叉熵作为联合网络的损失函数，并利用adam优化器对所述联合网络进行训练，直到达到最大迭代次数或者损失不在下降为止，从而得到训练好的联合网络并作为源模型；
19.步骤3.2、教师网络的训练，包含：记忆教师模型和遗忘教师模型的训练；
20.步骤3.2.1、记忆教师模型；
21.基于所述cnn和transformer的联合网络构建所述记忆教师模型，并将所述源模型的参数权重作为所述记忆教师模型的参数权重；
22.步骤3.2.2、遗忘教师模型；
23.基于所述cnn和transformer联合网络构建所述遗忘教师模型，令遗忘训练样本集是从从所述训练样本集d中选取的一名受试者的脑电信号样本作为遗忘受试者的脑电信号样本其余受试者的脑电信号样本作为保留受试者的脑电信号样本；其中，表示遗忘受试者的的第i个脑电信号样本，表示对应的类别标签；
24.基于遗忘受试者的脑电信号样本df，采用交叉熵作为遗忘教师模型的损失函数，并利用adam优化器对所述遗忘教师模型进行训练，直到达到最大迭代次数或者损失不在下降为止，得到训练好的遗忘教师模型；
25.步骤3.3、学生模型的训练，包含：数据选取和学生模型的训练；
26.步骤3.3.1、数据选取；
27.从保留受试者的脑电信号样本中选取部分脑电信号样本，从遗忘受试者的脑电信号样本df中也选取部分脑电信号样本，并共同构成联合训练样本集；
28.步骤3.3.2、学生模型的训练；
29.步骤a、基于所述cnn和transformer联合网络构建所述学生模型，令所述学生模型的权重参数为所述源模型的权重参数；
30.步骤b、构建学生模型的联合损失函数，包含：保留损失和遗忘损失；保留损失为记忆教师模型与学生模型输出的样本的概率分布之间的kl散度，遗忘损失为遗忘教师模型与学生模型输出的样本的概率分布之间的kl散度的倒数；联合损失函数为记忆损失的遗忘损失的加权和；
31.步骤c、基于所述联合训练样本集，利用adam优化器对所述学生模型进行训练，并计算所述联合损失函数直到达到最大迭代次数或者损失不再下降为止，从而得到去除遗忘受试者数据信息而保留保留受试者数据信息的学生模型，用于对遗忘受试者的脑电数据进行隐私保护。
32.本发明所述的一种基于知识蒸馏的脑电信号隐私保护方法的特点也在于，所述联合模块包括：并行的cnn支链和transformer支链；
33.步骤2.2.1、所述cnn支链基于卷积神经网络，由多个conv模块组成，每个conv模块由六个结构类似的卷积块组成，以第一个conv模块为例其包含的卷积块依次为：第三卷积块、第四卷积块、第五卷积块、第六卷积块、第七卷积块和第八卷积块；
34.其中，第三、第五和第七卷积块中的卷积核尺寸相同，第四、第六和第八卷积块中的卷积核尺寸相同；
35.将所述第i个特征图f
k,i
输入到所述cnn支链中，并依次进过六个卷积块的处理后，输出第k名受试者的第i个局部信道间特征f_c
k,i
；
36.步骤2.2.2、所述transformer支链基于自注意力网络，并依次包括：映射模块和自注意力模块；
37.所述映射模块依次由转置层，合并层和全连接子块组成；
38.所述第i个特征图f
k,i
输入到所述transformer支链中，并经过所述映射模块的处理后，得到第k名受试者的第i个输入词元p
k,i
；
39.所述自注意力模块由多个结构相同的trans子模块组成；
40.所述第i个输入词元p
k,i
输入到自注意力模块中进行处理后，输出第k名受试者的第i个长程信道内特征f_t
k,i
。
41.所述加权分类模块依次包括：特征融合块和分类块；
42.步骤2.3.1、所述特征融合模块包含并行的cnn逻辑分支和transformer逻辑分支以及加权融合层，其中，所述cnn逻辑分支依次包含卷积层，合并层和两个全连接层，所述transformer逻辑分支依次包含分割层和全连接层；
43.将f_c
k,i
输入到所述cnn逻辑分支中进行处理，并得到第k名受试者的第i个cnn分支的逻辑输出l_c
k,i
；
44.将f_t
k,i
输入到所述transformer逻辑分支中进行处理，并得到第k名受试者的第i
个transformer分支逻辑输出l_t
k,i
；
45.将l_c
k,i
和l_t
k,i
输入到加权融合层中进行处理，并得到第k名受试者的第i个融合逻辑输出l_r
k,i
；
46.步骤2.3.2、所述分类块包含：softmax层；
47.将l_r
k,i
输入到所述分类块中，并经过softmax层处理，得到第k名受试者的第i个脑电信号样本x
k,i
所属的概率分布所属的概率分布表示样本x
k,i
属于第m类脑电样本的概率，m表示脑电样本的类别数。
48.本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述脑电信号隐私保护方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
49.本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述脑电信号隐私保护方法的步骤。
50.与现有技术相比，本发明的有益效果在于：
51.1、本发明利用深度神经网络进行脑电信号分类任务，在不需要任何去噪处理和后端处理的情况下，完成脑电信号的端到端分类，并且较以往的脑电分类方法，具有更高的时效性和鲁棒性。
52.2、本发明结合了cnn和transformer的优势，融合cnn支链提取的多通道脑电信号通道间关联和transformer提取的多通道脑电的通道内信息，提高了分类结果的准确性。
53.3、本发明利用知识蒸馏进行用户隐私保护任务，通过构建教师—学生框架，以监督训练的方式删除模型中遗忘受试者脑电信息，同时保持保留受试者的脑电信息，从而实现了对保留患者脑电信号隐私保护。
54.4、本发明利用深度神经网络特征学习的特点，随机选取了受试者小部分的数据用于删除遗忘受试者的脑电信息，相较于重训练方法，本发明只使用了少量的原始数据，不仅较少了模型训练的时间和资源消耗，还为受试者提供更好的隐私保护。
附图说明
55.图1为训练流程示意图；
56.图2为本发明中cnn和transformer联合网络示意图。
具体实施方式
57.本实施例中，一种基于知识蒸馏的脑电信号隐私保护深度学习方法，第一步使用基于cnn和transformer的联合网络在所有受试者数据上训练得到具有良好分类效果的源模型，源模型的参数用于初始化记忆教师模型和学生模型；第二步使用相同的网络在遗忘受试者数据上训练得到遗忘教师模型；第三步利用记忆教师模型和遗忘教师模型联合指导学生模型训练，如图1所示，具体的说，该方法是按照如下步骤进行的：
58.步骤1、获取带有标注类别信息的k名受试者的脑电信号数据，并对每种类别的脑电信号进行滑动切片处理，得到n段时长为t的脑电信号样本及其对应的类别标签，记为训练样本集其中，
表示第k名受试者的脑电信号数据，x
k,i
∈r1×
l
×c表示第k名受试者的第i个脑电信号样本，c表示脑电信号样本的通道数，l表示脑电信号样本的长度，y
k,i
表示x
k,i
对应的类别标签，n表示受试者的脑电信号数据的样本数。在本实例中，脑电信号的通道数为22，样本长度为256*t(信号采样率为256hz)，t为4s。使用数据集为公开脑电数据集：chb-mit脑电数据集。
59.步骤2、建立基于cnn和transformer的联合网络，包含：去冗模块，联合模块，加权分类模块。联合网络的整体结构，如图2中的(a)部分所示，其中stem表示去冗模块，位于stem与分类器之间的部分为联合模块，分类器表示加权分类模块。
60.步骤2.1、去冗模块包括：第一卷积块和第二卷积块；
61.每个卷积块均依次由一个卷积层、一个标准化层和一个非线性激活层组成；本实例中第一卷积块中的卷积层的卷积核大小为(32,1)，步长大小为(10,1)，填充大小为(16,1)，第二卷积块中的卷积层的卷积核大小为(3,3)，步长大小为(2,1)，填充大小为(1,0)；标准化层使用批标准化，非线性激活层使用relu函数。预处理后的样本x
k,i
∈r1×
l
×c，1表示通道数，l表示样本长度，c表示样本信道数。在去冗模块中先经过第一卷积块的处理，得到再经过第二卷积块的处理得到去冗模块可表示为：
62.f(x)＝relu(bn(conv(relu(bn(conv(x)))))) (1)
63.式(1)中，conv表示卷积层，bn表示批正则化层，relu表示非线性激活层。
64.步骤2.2、联合模块，包括：并行的cnn支链和transformer支链；
65.步骤2.2.1、cnn支链基于卷积神经网络，由多个conv模块组成，每个conv模块由六个结构类似的卷积块组成，以第一个conv模块为例其包含的卷积块依次为：第三卷积块、第四卷积块、第五卷积块、第六卷积块、第七卷积块和第八卷积块，如图2中子图(b)中的conv模块所示。在本实例中，cnn支链中的卷积块均依次包括卷积层、正则化层和非线性激活层。其中第三、第五和第七卷积块中卷积层的卷积核大小为均为(3,3)，填充大小为(1,1)；第四、第六和第八卷积块中卷积层的卷积核大小为(1,1)。第三和第六卷积块会扩展样本的通道数。正则化层均采用批正则化，非线性激活层均采用relu函数。
66.具体实施过程如下：将特征图输入到cnn支链中，先输入到第三卷积块中，扩展其通道数，得到特征图之后将特征图输入到第四，第五卷积块中，保持通道数不变；再输入到第六卷积块中，扩展其通道数到64，得到特征图再将特征图输入到第七和第八卷积块中进行处理，保持其通道数不变，得到cnn支链的输出特征
[0067][0068]
步骤2.2.2、transformer支链基于自注意力网络，并依次包括：映射模块和自注意力模块，映射模块为图2中子图(a)的projection，自注意力模块如图2中的子图(b)的trans模块所示；
[0069]
映射模块依次由转置层，合并层和全连接子块组成；本实例中，转置层的作用是交换特征图的维度，合并层有两个作用：一是合并特征图的维度，二是将随机初始化的class
[0070]
嵌入到特征图中，全连接子块包含全连接层，正则化层和非线
性激活层，全连接子块中的标准化层采用层标准化，非线性激活层采用gelu函数。映射模块的具体实施过程如下：特征图先输入到转置层中，经过处理得到输出在经过合并层处理得到二维的输出
[0071]
自注意力模块有多个结构相似的trans子模块组成，具体结构如图2中子图(b)的trans模块所示，在本实例中trans子模块依次包含第一全连接子块，变维层，多头注意力块和第二全连接子块，其中两个全连接子块结构一致，内部参数设置不同，均依次包含全连接层、标准化层和非线性激活层，此处标准化层采用层标准化，非线性激活层采用gelu函数。多头注意力块依次包括分割层，注意力层和复原层
[0072]
的作用是根据预先设置好的注意力头数目来将输入划分为query、key和value三个特征要素并对其进行处理
[0073]
trans子模块的具体实施过程如下：二维特征输入到trans子模块中，先经过第一全连接子块处理，得到维度扩展的特征f
lk,i
∈r
(c+1)
×e，e表示预设的特征维度扩展后的大小；再输入到变维层中，根据预设的注意力头数将特征变换为词元p
k,i
∈r3×b×h×
(c+1)
×
(e/(3*h))
，b表示一个批次中样本的数量，h注意力头的数量；将词元输入到多头注意力块中，将词元按第一个维度分割为三个特征要素query、key和value(下文中简称q、k和v)，三个特征要素可表示为：
[0074][0075]
利用这三个特征要素计算出注意力特征，其计算过程为：
[0076][0077]
其中，k
t
表示特征要素k的转置，表示特征要素k的列数，softmax(
·
)表示softmax函数。将计算得到的注意力特征输入到第二全连接子块中，处理得到transformer支链的特征输出f_t
k,j
∈r
(c+1)
×
64
。
[0078]
步骤2.3、所述加权分类模块，依次包括：特征融合块和分类块，具体结构如图2中的子图(c)所示；
[0079]
步骤2.3.1、所述特征融合模块包含并行的cnn逻辑分支和transformer逻辑分支以及加权融合层，其中，所述cnn逻辑分支依次包含卷积层，合并层和两个全连接层，所述transformer逻辑分支依次包含分割层和全连接层；本实例中cnn逻辑分支中的卷积层的卷积核大小为(6,2)，步长为(6,4)，该卷积层会将模型特征的通道数降低，合并层的作用是将特征的不同维度合并，两个全连接层的作用是降低特征的维度，将特征转化为逻辑输出；transformer逻辑分支中的分割层的作用是将嵌入到特征中的class token分离出来，全连接层的作用是将分离出来的class token转化为逻辑输出。加权融合层的作用是将cnn逻辑分支和transformer逻辑分支的逻辑输出融合为联合逻辑输出。具体实施如下：特征图f_c
k,i
输入到cnn逻辑分支中，首先经过卷积层降低通道数和特征维度；再通过合并层处理，合并不同的维度；最后经过全连接层处理得到逻辑输出l_c
k,i
。特征图f_t
k,j
输入到transformer
逻辑分支中，先经过分割层的处理取出嵌入的class token(c_t∈r1×
64
)，c_t经过全连接层的处理得到逻辑输出l_t
k,i
。最后将两个逻辑输出进行加权求和，得到联合逻辑输出。
[0080]
步骤2.3.2、所述分类块包含：softmax层；
[0081]
将l_r
k,i
输入到所述分类块中，并经过softmax层处理，得到第k名受试者的第i个脑电信号样本x
k,i
所属的概率分布{p
i,1
,p
i,2
,...,p
i,m
,...,p
i,m
}，p
i,m
表示样本x
k,i
属于第m类脑电样本的概率，m表示脑电样本的类别数。本实例中，选取最大概率值对应的类别作为第i个脑电信号样本x
k,i
的预测类别。
[0082]
步骤3、模型训练，包含源模型，教师模型和学生模型的训练，具体的训练流程如图2所示；
[0083]
步骤3.1、源模型的训练；
[0084]
基于训练样本集d，采用交叉熵作为联合网络的损失函数，并利用adam优化器对所述联合网络进行训练，直到达到最大迭代次数或者损失不在下降为止，从而得到训练好的联合网络并作为源模型。源模型训练的数据选取及过程如图1中的左半部分所示。本实例中，源模型训练时一个批次的样本数量设置为64，adam优化器的初始学习率设置为0.0001，最大迭代次数设置为10。
[0085]
步骤3.2、教师网络的训练，包含：记忆教师模型和遗忘教师模型的训练；
[0086]
步骤3.2.1、记忆教师模型；
[0087]
基于联合网络构建所述记忆教师模型，并将源模型的参数权重作为所述记忆教师模型的参数权重，如图1中域适应网络与教师c网络所示。
[0088]
步骤3.2.2、遗忘教师模型；
[0089]
基于所述cnn和transformer联合网络构建所述遗忘教师模型，遗忘训练样本集是从训练样本集d中选取的一名受试者的脑电信号样本作为遗忘受试者的脑电信号样本其余受试者的脑电信号样本作为保留受试者的脑电信号样本；其中，表示遗忘受试者的第i个脑电信号样本，表示对应的类别标签；基于遗忘受试者的脑电信号样本df，采用交叉熵作为遗忘教师模型的损失函数，并利用adam优化器对所述遗忘教师模型进行训练，直到达到最大迭代次数或者损失不在下降为止，得到训练好的遗忘教师模型，数据选取及训练过程如图1中的右上部分所示。本实例中，遗忘教师模型训练时，一个批次的样本数量设置为64，adam优化器的初始学习率为0.00001，最大迭代次数设置为10。
[0090]
步骤3.3、学生模型的训练，包含：数据选取和学生模型的训练；
[0091]
步骤3.3.1、数据选取；
[0092]
从保留受试者的脑电信号样本中选取部分脑电信号样本，从遗忘受试者的脑电信号样本df中也选取部分脑电信号样本，并共同构成联合训练样本集。本实例中保留受试者数据的选取比例为0.1，从每名保留受试者的数据中选取十分之一的数据作为训练数据，遗忘受试者的数据选取比例为1，选取遗忘受试者所有的数据作为训练数据。
[0093]
步骤3.3.2、学生模型的训练；
[0094]
步骤a、基于所述cnn和transformer联合网络构建学生模型，令学生模型的初始权重参数为源模型的权重参数；
[0095]
步骤b、构建学生模型的联合损失函数，包含：保留损失和遗忘损失；保留损失为记忆教师模型与学生模型输出的样本的概率分布之间的kl散度，遗忘损失为遗忘教师模型与学生模型输出的样本的概率分布之间的kl散度的倒数。联合损失函数为记忆损失的遗忘损失的加权和。如图1中的右下部分所示，本实例中，保留损失的计算式为：
[0096][0097]
式(4)中，kl表示散度；tg(
·
)和s(
·
)分别表示记忆教师模型和学生模型，δ(
·
)表示softmax函数，和si分别表示记忆教师模型和学生模型分别对第i个脑电信号样本x
k,i
输出的样本所属的概率分布。
[0098]
遗忘损失的计算式为：
[0099][0100]
式(5)中，te(
·
)表示遗忘教师模型，表示遗忘教师模型对第i个脑电信号样本x
k,i
输出的样本所属的概率分布。
[0101]
联合损失函数的计算式为：
[0102][0103]
式(6)中，lu表示遗忘标签，当lu＝0时，表示遗忘受试者的脑电信号样本，当lu＝1时，表示保留受试者的脑电信号样本；α和β分别表示记忆损失和遗忘损失在联合损失中所占的比重系数。
[0104]
步骤c、基于所述联合训练样本集，利用adam优化器对所述学生模型进行训练，并计算所述联合损失函数直到达到最大迭代次数或者损失不再下降为止，从而得到去除遗忘受试者数据信息而保留保留受试者数据信息的学生模型，用于对遗忘受试者的脑电数据进行隐私保护。本实例中，学生模型训练时，一个批次的样本数量设置为64，adam优化器的初始学习率为0.00001，最大迭代次数设置为1。
[0105]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0106]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
[0107]
方法效果评估，虽然深度学习网络受到学术界和工业界的广泛使用，其具体的行为机制仍相当于一个黑箱系统，因此在本实例中，想要清晰的了解模型是如何遗忘受试者的数据信息现阶段是难以实现的。然而，作为评估模型分类结果优劣的统计指标可以反映模型是否遗忘数据信息。当模型在特定受试者的数据上分类结果很差，可以说模型遗忘特定受试者的数据信息。表1和表2分别展示了遗忘训练后模型在遗忘受试者和保留受试者数据上分类结果的统计指标，从表1可以看出，在遗忘受试者上，在使用了本发明所提出的方法进行遗忘前后，各个统计指标都有明显的下降；从表2可以看出，在保留受试者上，在使用本发明所提出的方法之后，各个统计指标在遗忘前后几乎保持不变。实验表明本发明提出的基于cnn和transformer的联合网络能够有效提取脑电信号中的局部信道间信息和长程
信道内信息，使得模型获得高的分类性能，提出的基于知识蒸馏的脑电信号隐私保护深度学习方法能有效遗忘特定受试者的数据信息，同时使得其余受试者的数据信息保持基本不变。
[0108]
表1chb-mit数据库上遗忘受试者的脑电信号分类性能
[0109][0110]
表2chb-mit数据库上保留受试者的脑电信号分类平均性能
[0111][0112]
综上所述，本发明提出的基于cnn和transformer的联合网络，能够有效利用脑电信号中的时间信息和空间关联，提搞脑电信号样本的分类结果的准确性；同时提出的基于知识蒸馏的脑电信号隐私保护深度学习方法能够在有效删除特定受试者脑电数据信息的同时，保持其余受试者的数据信息保持基本不变。相较于重训练方法，本方法只使用了少量脑电数据，大大地减少了时间和算力消耗。

技术特征：
1.一种基于知识蒸馏的脑电信号隐私保护方法，其特征在于，是按如下步骤进行：步骤1、获取带有标注类别信息的k名受试者的脑电信号数据，并对每种类别的脑电信号进行滑动切片处理，得到n段时长为t的脑电信号样本及其对应的类别标签，记为训练样本集其中，表示第k名受试者的脑电信号数据，x
k,i
∈r1×
l
×
c
表示第k名受试者的第i个脑电信号样本，c表示脑电信号样本的通道数，l表示脑电信号样本的长度，y
k,i
表示x
k,i
对应的类别标签，n表示受试者的脑电信号数据的样本数；步骤2、建立基于cnn和transformer的联合网络，包含：去冗模块，联合模块，加权分类模块；步骤2.1、所述去冗模块依次包括：第一卷积块和第二卷积块；每个卷积块均依次由一个卷积层、一个标准化层和一个非线性激活层组成；将所述第i个脑电信号样本x
k,i
输入到所述联合网络，并经过所述去冗模块的处理后，输出第k名受试者的第i个特征图f
k,i
；步骤2.2、所述联合模块对第i个特征图f
k,i
进行处理后，得到第k名受试者的第i个局部信道间特征f_c
k,i
和第i个长程信道内特征f_t
k,i
；步骤2.3、所述加权分类模块对f_c
k,i
和f_t
k,i
进行处理后，得到第k名受试者的第i个脑电信号样本x
k,i
所属的概率分布；步骤3、模型训练，包含源模型，教师模型和学生模型的训练；步骤3.1、源模型的训练；基于所述训练样本集d，采用交叉熵作为联合网络的损失函数，并利用adam优化器对所述联合网络进行训练，直到达到最大迭代次数或者损失不在下降为止，从而得到训练好的联合网络并作为源模型；步骤3.2、教师网络的训练，包含：记忆教师模型和遗忘教师模型的训练；步骤3.2.1、记忆教师模型；基于所述cnn和transformer的联合网络构建所述记忆教师模型，并将所述源模型的参数权重作为所述记忆教师模型的参数权重；步骤3.2.2、遗忘教师模型；基于所述cnn和transformer联合网络构建所述遗忘教师模型，令遗忘训练样本集是从从所述训练样本集d中选取的一名受试者的脑电信号样本作为遗忘受试者的脑电信号样本其余受试者的脑电信号样本作为保留受试者的脑电信号样本；其中，表示遗忘受试者的的第i个脑电信号样本，表示对应的类别标签；基于遗忘受试者的脑电信号样本d
f
，采用交叉熵作为遗忘教师模型的损失函数，并利用adam优化器对所述遗忘教师模型进行训练，直到达到最大迭代次数或者损失不在下降为止，得到训练好的遗忘教师模型；步骤3.3、学生模型的训练，包含：数据选取和学生模型的训练；步骤3.3.1、数据选取；从保留受试者的脑电信号样本中选取部分脑电信号样本，从遗忘受试者的脑电信号样本d
f
中也选取部分脑电信号样本，并共同构成联合训练样本集；
步骤3.3.2、学生模型的训练；步骤a、基于所述cnn和transformer联合网络构建所述学生模型，令所述学生模型的权重参数为所述源模型的权重参数；步骤b、构建学生模型的联合损失函数，包含：保留损失和遗忘损失；保留损失为记忆教师模型与学生模型输出的样本的概率分布之间的kl散度，遗忘损失为遗忘教师模型与学生模型输出的样本的概率分布之间的kl散度的倒数；联合损失函数为记忆损失的遗忘损失的加权和；步骤c、基于所述联合训练样本集，利用adam优化器对所述学生模型进行训练，并计算所述联合损失函数l，直到达到最大迭代次数或者损失不再下降为止，从而得到去除遗忘受试者数据信息而保留保留受试者数据信息的学生模型，用于对遗忘受试者的脑电数据进行隐私保护。2.根据权利要求1所述的一种基于知识蒸馏的脑电信号隐私保护方法，其特征在于，所述联合模块包括：并行的cnn支链和transformer支链；步骤2.2.1、所述cnn支链基于卷积神经网络，由多个conv模块组成，每个conv模块由六个结构类似的卷积块组成，以第一个conv模块为例其包含的卷积块依次为：第三卷积块、第四卷积块、第五卷积块、第六卷积块、第七卷积块和第八卷积块；其中，第三、第五和第七卷积块中的卷积核尺寸相同，第四、第六和第八卷积块中的卷积核尺寸相同；将所述第i个特征图f
k,i
输入到所述cnn支链中，并依次进过六个卷积块的处理后，输出第k名受试者的第i个局部信道间特征f_c
k,i
；步骤2.2.2、所述transformer支链基于自注意力网络，并依次包括：映射模块和自注意力模块；所述映射模块依次由转置层，合并层和全连接子块组成；所述第i个特征图f
k,i
输入到所述transformer支链中，并经过所述映射模块的处理后，得到第k名受试者的第i个输入词元p
k,i
；所述自注意力模块由多个结构相同的trans子模块组成；所述第i个输入词元p
k,i
输入到自注意力模块中进行处理后，输出第k名受试者的第i个长程信道内特征f_t
k,i
。3.根据权利要求2所述的一种基于知识蒸馏的脑电信号隐私保护方法，其特征在于，所述加权分类模块依次包括：特征融合块和分类块；步骤2.3.1、所述特征融合模块包含并行的cnn逻辑分支和transformer逻辑分支以及加权融合层，其中，所述cnn逻辑分支依次包含卷积层，合并层和两个全连接层，所述transformer逻辑分支依次包含分割层和全连接层；将f_c
k,i
输入到所述cnn逻辑分支中进行处理，并得到第k名受试者的第i个cnn分支的逻辑输出l_c
k,i
；将f_t
k,i
输入到所述transformer逻辑分支中进行处理，并得到第k名受试者的第i个transformer分支逻辑输出l_t
k,i
；将l_c
k,i
和l_t
k,i
输入到加权融合层中进行处理，并得到第k名受试者的第i个融合逻辑输出l_r
k,i
；
步骤2.3.2、所述分类块包含：softmax层；将l_r
k,i
输入到所述分类块中，并经过softmax层处理，得到第k名受试者的第i个脑电信号样本x
k,i
所属的概率分布表示样本x
k,i
属于第m类脑电样本的概率，m表示脑电样本的类别数。4.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-3中任一所述脑电信号隐私保护方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。5.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-3中任一所述脑电信号隐私保护方法的步骤。

技术总结
本发明公开了一种基于知识蒸馏的脑电信号隐私保护方法，包括：1，原始数据的预处理，包括数据选择、样本选取、数据的上下采样；2，建立基于卷积神经网络(CNN)和自注意力网络(Transformer)的深度学习模型；3，源模型预训练，使用受试者的数据训练源模型，得到具有良好分类效果的源模型；4，遗忘训练数据选取，包括遗忘受试者数据的选取和保留受试者的数据选取；5，遗忘模型训练，依托记忆教师模型和遗忘教师模型，监督训练遗忘模型。本发明将知识蒸馏应用于脑电信号分类模型，能够使得模型有效遗忘特定受试者的脑电信息，为受试者提供有效的脑电数据隐私保护。效的脑电数据隐私保护。效的脑电数据隐私保护。


技术研发人员：李畅 邵成浩 宋仁成 刘羽 成娟 陈勋
受保护的技术使用者：合肥工业大学
技术研发日：2023.07.05
技术公布日：2023/9/20