用于决策信心估计的跨被试深度迁移模型的训练方法与流程

1.本发明涉及情感脑机接口技术领域，尤其涉及一种用于决策信心估计的跨被试深度迁移模型的训练方法、以及基于跨被试深度迁移模型的决策信心估计方法。


背景技术：

2.随着科学技术的高速发展，自动化机器能够在一些岗位上取代人力，但部分岗位的关键决策过程仍然需要人参与进来。因此，对人类决策可靠性的及时评估至关重要。对人类决策可靠性的实时评估也就是估计人类在决策过程中的决策信心水平。决策信心是主体的潜意识估计，已被证明与决策正确的可能性高度正相关。
3.eeg(electroencephalography，脑电图)是从头皮获取的大脑活动的电记录，可用于探索决策过程中主体自信程度，辅助评估人类决策的可靠性。现有技术中，基于脑电图数据集的监督学习得到了较快的发展。在决策信心估计领域，通过设计决策任务，记录决策过程中的脑电图数据，并由被试者对自信程度进行标注，催生了针对决策信心估计任务的有效模型。相关研究涉及的决策任务，包括贴近现实场景的任务，如从遥感图像中检测物体，以及基于文本题目的选择题测验等。
4.本领域技术人员会使用sst-agcn(spectral-spatial-temporal adaptive graph convolutional neural network，频谱-时空自适应图卷积神经网络)在自适应gcn(graph convolutional neural network，图卷积神经网络)模型的基础上实现在基于脑电信号的决策信心估计任务。
5.在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
6.虽然上述列举的sst-agcn在决策信息估计上有较高的准确度，但它们均属于主体依赖的方法，即针对每个主体(被试者)专门训练一个特定的模型。这些模型过于依赖目标被试者的有标签数据，然而这在实际应用中，获得足够的目标被试的有标签数据通常是较为困难的，在有标签数据的数据量有限的情况下无法训练出准确的用于主体的决策信心估计模型。


技术实现要素：

7.为了至少解决现有技术中目标被试的有标签数据的数据量有限的情况下无法训练出准确的用于主体的决策信心估计模型的问题。
8.第一方面，本发明实施例提供一种用于决策信心估计的跨被试深度迁移模型的训练方法，包括：
9.将源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号输入至跨被试深度迁移模型，其中，所述跨被试深度迁移模型包括：基于频谱-时空自适应图卷积神经网络的特征提取模块、梯度反转模块、域判别器模块以及决策信心分类器模块；
10.在所述跨被试深度迁移模型中，利用所述基于频谱-时空自适应图卷积神经网络的特征提取模块从所述源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号
中提取脑电高阶特征；
11.利用所述域判别器模块以及决策信心分类器确定所述脑电高阶特征的预测域以及预测信心分类，基于所述真实标注、所述预测域以及预测信心分类确定所述跨被试深度迁移模型的域判别器损失以及信心分类器损失；
12.基于所述信心分类器损失以及经过所述梯度反转模块处理的域判别器损失，对所述跨被试深度迁移模型进行反向传播训练，将所述域判别器模块与所述特征提取模块形成对抗关系，使训练后的跨被试深度迁移模型内的特征提取模块能够提取消除域信息的高阶脑电特征。
13.第二方面，本发明实施例提供一种基于跨被试深度迁移模型的决策信心估计方法，包括：
14.采集被试者在决策阶段的脑电信号；
15.将所述脑电信号输入至用于决策信心估计的跨被试深度迁移模型，得到消除域信息的脑电高阶特征；
16.利用决策信心分类器模块确定所述脑电高阶特征的决策信心估计结果。
17.第三方面，本发明实施例提供一种用于决策信心估计的跨被试深度迁移模型的训练系统，包括：
18.信号输出程序模块，用于将源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号输入至跨被试深度迁移模型，其中，所述跨被试深度迁移模型包括：基于频谱-时空自适应图卷积神经网络的特征提取模块、梯度反转模块、域判别器模块以及决策信心分类器模块；
19.脑电高阶特征提取程序模块，用于在所述跨被试深度迁移模型中，利用所述基于频谱-时空自适应图卷积神经网络的特征提取模块从所述源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号中提取脑电高阶特征；
20.损失确定程序模块，用于利用所述域判别器模块以及决策信心分类器确定所述脑电高阶特征的预测域以及预测信心分类，基于所述真实标注、所述预测域以及预测信心分类确定所述跨被试深度迁移模型的域判别器损失以及信心分类器损失；
21.训练程序模块，用于基于所述信心分类器损失以及经过所述梯度反转模块处理的域判别器损失，对所述跨被试深度迁移模型进行反向传播训练，将所述域判别器模块与所述特征提取模块形成对抗关系，使训练后的跨被试深度迁移模型内的特征提取模块能够提取消除域信息的高阶脑电特征。
22.第四方面，本发明实施例提供一种基于跨被试深度迁移模型的决策信心估计系统，包括：
23.脑电信号采集程序模块，用于采集被试者在决策阶段的脑电信号；
24.特征提取程序模块，用于将所述脑电信号输入至用于决策信心估计的跨被试深度迁移模型，得到消除域信息的脑电高阶特征；
25.决策信心估计程序模块，用于利用决策信心分类器模块确定所述脑电高阶特征的决策信心估计结果。
26.第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所
述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用于决策信心估计的跨被试深度迁移模型的训练方法以及基于跨被试深度迁移模型的决策信心估计方法的步骤。
27.第六方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的用于决策信心估计的跨被试深度迁移模型的训练方法以及基于跨被试深度迁移模型的决策信心估计方法的步骤。
28.本发明实施例的有益效果在于：利用域适应方法，将域对抗结构与频谱-时空自适应图卷积神经网络结合形成的特征提取模块，能更有效的提取任务相关的高阶脑电深度特征，并消除域相关信息，缩小域间差异。通过将域对抗的思想与有效的特征提取模型结合，可以提升原模型在跨被试任务中的应用效率，使训练的用于决策信心估计模型取得更高的准确率。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
30.图1是本发明一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练方法的流程图；
31.图2是本发明一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练方法的结构示意图；
32.图3是本发明一实施例提供的一种基于跨被试深度迁移模型的决策信心估计方法的流程图；
33.图4是本发明一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练方法的基于文本下eeg数据集的跨被试决策置信度分类实验结果示意图；
34.图5是本发明一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练方法的f1分数示意图；
35.图6是本发明另一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练方法的基于文本下eeg数据集的跨被试决策置信度分类实验结果示意图；
36.图7是本发明另一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练方法的f1分数示意图；
37.图8是本发明一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练系统的结构示意图；
38.图9是本发明一实施例提供的一种基于跨被试深度迁移模型的决策信心估计系统的结构示意图；
39.图10为本发明一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练的电子设备的实施例的结构示意图。
network，基于频谱-时空自适应图卷积神经网络)的特征提取模块、梯度反转模块、多层感知机域判别器模块以及多层感知机决策信心分类器模块组成。简单的说，域适应是指：利用部分被试的有标注脑电信号作为源域，目标被试的无标注脑电信号作为目标域，通过域对抗结构训练特征提取模块，使特征提取模块能够从目标域上提取适用于下游决策信心分类器的，消除了域信息的高阶脑电特征。通过梯度反转实现域对抗结构，从而辅助特征提取模块消除域相关信息，促进决策信心分类器在跨被试任务中的估计准确性。整体模型通过梯度的反向传播进行优化。
50.要说明的是，输入至跨被试深度迁移模型的是脑电信号的脑电微分熵特征，用定长的汉宁窗口在原始脑电信号上执行快速傅立叶变换，计算脑电信号频谱，基于频谱计算出对应的脑电微分熵特征。
51.对于步骤s12，在跨被试深度迁移模型中，利用基于sst-agcn的特征提取模块从源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号中提取脑电高阶特征。作为一种实施方式，具体包括：提取所述源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号的原始脑电微分熵特征；将所述原始脑电微分熵特征经过频谱-空间卷积、频谱-时间卷积、叠加残差结构以及批归一化处理，得到经过非线性变换处理的脑电高阶特征。
52.具体的，基于频谱-时空自适应图卷积神经网络的特征提取模块的步骤如下：将一定时间窗内的脑电微分熵特征看做一个样本，大小为f*t*c，其中，f为频带数，t为窗口大小，c为脑电图通道数。将脑电微分熵特征依次通过l个频谱-时空自适应图卷积神经网络块，在每个块内，样本同时经过频谱-空间卷积(spectral-spatial convolution)与频谱-时间卷积(spectral-temporal convolution)，叠加残差结构与批归一化操作，保证模型的有效性与稳定性。通过上述块内的操作，单个块的输出的脑电特征为：其中，b
in
为块的原始输入脑电微分熵特，为对应的频谱-空间卷积输出，为对应的频谱-时间卷积输出。bn为批归一化层，residual为残差，σ为非线性变换(激活函数)。经过所有块处理后，得到脑电高阶特征x
r，i
，其中r∈{s，t}，s表示源域，t表示目标域，i表示样本编号。
53.对于步骤s13，利用域判别器与决策信心分类器对脑电高阶特征分别预测域与信心分类作为一种实施方式，基于所述真实域以及所述预测域的误差，确定所述域判别器损失，基于所述真实预测分类以及所述预测信心分类的误差，确定信心分类器损失。在本实施方式中，根据预测结果与真实标签分别构造域判别器损失：
[0054][0055]
以及信心分类器损失：
[0056][0057]
将域判别器损失以及信心分类器损失作为跨被试深度迁移模型的整体损失。
[0058]
对于步骤s14，在反向传播上述损失时，域判别器损失在传至特征提取模块前经过
neuroscan系统以1000hz的频率记录。
[0072]
作为一种实施方式，将所述脑电信号输入至预处理模块，对所述脑电信号进行带通滤波处理，以去除噪声干扰。
[0073]
具体的，将脑电信号通过0.3-50hz带通滤波过滤噪声和伪影。
[0074]
对预处理后的脑电信号在5个频段以1s为窗口提取脑电微分熵特征，再经过线性动力系统平滑操作进一步过滤噪声。
[0075]
将脑电微分熵特征输入至用于决策信心估计的跨被试深度迁移模型，得到消除了域信息的高阶脑电特征。最后通过决策信心分类器模块确定脑电高阶特征的决策信心估计结果。
[0076]
通过该实施方式可以看出，在得到训练后的跨被试深度迁移模型，可以更准确的对被试者进行决策信心估计。
[0077]
对本方法进行实验说明，为了评估本方法所述的sst-agcn-da和sst-agcn-dg模型在跨被试决策置信度估计中的性能，
[0078]
本方法收集了基于文本的决策任务的脑电图数据集上对原始sstagcn模型进行了实验。在实验过程中，被试者被要求回答基于文本的问题，并在做出每个决定后立即对他们的信心水平进行评分。实验过程中记录脑电图数据。从高中语文考试的题库中抽取80道汉语单选题填空题，与实际考试一样，每道题都有答题时间限制。这些措施不仅使实验更加真实，而且保证了采集到的脑电数据的有效性。在这个实验中，有5个级别的决策自信，从肯定错误到肯定正确，被试用这5个级别来标记他们的决策。eeg数据通过被试者佩戴的62通道电极帽收集，并由esi neuroscan系统以1000hz的频率记录。将决策过程中的脑电数据进行分割，以供进一步研究。决策置信度eeg数据集中涉及24名健康被试者，其中男性11名，女性13名，年龄在19-24岁之间。
[0079]
基于上述eeg数据集，本方法在以下实验中采用留一出交叉验证方法来评估模型在跨被试场景中的性能。以每个被试者作为目标域，以其他被试者为源域，训练24个独立的决策置信度估计模型，并对每种方法的结果进行平均。
[0080]
在预处理步骤中，首先根据eog(electro-oculogram，眼电图)和fpz(frontal poles zero，额极零点)通道的信号从eeg信号中去除眼动伪影，并通过0.3至50hz的带通滤波器滤除噪声。使用线性动态系统对特征进行平滑，以消除异常抖动。保留决策过程中收集的eeg信号，以确保数据在估计决策置信度方面的有效性。为了加快训练过程并更有效地利用原始eeg数据的频谱特征，进一步提取了de(differential entropy，差分熵)特征。在实验中，将处理后的eeg信号划分为1秒长度的片段，并对每个片段应用具有1秒汉宁窗口的stft(short-time fourier transform，短时傅立叶变换)。提取的de特征包含五个频带(δ：1-3hz，θ：4-7hz，α：8-13hz，β：14-30hz，γ：31-50hz)。
[0081]
eeg特征的大小为n x f x c，其中，n是样本的数量，f是频带的数量，c是eeg通道的数量。为了在输入样本中包括时间信息，通过大小为t的重叠窗口将样本扩展为形状n x f x t x c。在实验中，f＝5，t＝5秒，c＝62。将sst-agcn块的数量设置为l＝6。每个图卷积层的输出信道大小在30到120之间选择。
[0082]
为了展示不同迁移学习技术，特别是领域自适应带来的促进作用，首先比较了sst-agcn、sst-agcn-da和sst-agcn-dg模型。对于每个模型，训练了24个跨被试分类器来预
测24个被试的决策置信度水平。为了保证标签的正确性，只采用标注为1和5的极值样品。因此，置信度预测是二元分类器。sst-agcn和sst-agcn-dg模型中的所有深度神经网络模块都是根据其余23名被试的脑电特征进行训练并直接传递给目标被试，而sst-agcn-da模型中的模块不仅利用了其他23名被试的脑电数据，还利用了目标被试的脑电数据。这些样本作为目标域的信息，帮助训练特征提取模块和域判别器模块。
[0083]
如图4展示了在跨被试情景中估计决策置信度的影响。为了公平地评价低置信度和高置信度水平的结果，主要通过f1分数进行判断。可以看到，在没有使用任何迁移学习技术的情况下，基于sst-agcn模型的分类器的平均f1得分和标准差分别为74.15％和7.59％。当加入域自适应模块时，sst-agcn-da的性能达到79.45％
±
8.48％。由于目标域的部分样本包含在训练过程中，因此特征提取器可以根据域分类器去除源域和目标域样本的区分信息。然后，置信水平分类器可以提高跨学科性能。基于域泛化，sst-agcn-dg不利用目标域的任何信息，效果略低于sst-agcn-da。尽管如此，在训练阶段仍然消除了域之间的差异，sst-agcn-dg模型比ss-agcn模型取得了更好的结果。平均平均值为77.04％，标准差为10.11％。为了显示表现的普遍性，本方法还绘制了f1分数，具体如图5所示。
[0084]
以上结果表明，在这种跨被试决策置信度估计任务中，本方法的sst-agcn-da模型比原始的sst-agcn模型具有优越性，并证明了sst-agcn-dg模型的潜力。进一步证明了sst-agcn-da模型比其他领域自适应方法更有效。本方法采用的其他方法是dann-深度对抗神经网络、adda-对抗性判别域适应和wganda-域自适应的wasserstein生成式对抗网络模型。并为所有方法创建了一致的训练环境，如图6所示的结果表明，sst-agcn-da模型优于其他领域自适应方法。与上述实验类似，作为目标的每个被试者的f1分数如图7所示。可以得出结论，sst-agcn块对于有效的特征提取器是必要的，并且sst-agcn-da模型成功地将其与促进领域自适应的领域对抗性结构相结合。sst-agcn-da模型更适合于从eeg信号进行跨被试者决策置信度估计。
[0085]
在sst-agcn-da模型的三个主要组成部分中，置信水平预测器是必不可少的。如果域预测器与翻转梯度模块一起被去除，则模型退化为原始的sst-agcn模型。如果sst-agcn块被像多层感知器这样的基本神经网络取代，则该模型变为dann模型。此外，上述实验证明了结合领域对抗性思想的有效性，即特征提取器可以产生更多的目标特定特征，并验证了基于sst agcn的特征提取器的效率。
[0086]
总的来说，虽然sst-agcn模型极大地提高了基于个体被试的决策置信度的预测性能。但在实际应用中，跨被试的场景有效性更为关键。本方法将迁移学习引入到sst-agcn中，构建了sst-agcn-da以及sst-agcn-dg两种跨学科决策置信度估计模型。利用在基于文本的测试中收集的决策置信度eeg数据集来评估本方法模型的有效性。实验结果表明，本方法可以减少被试者之间数据分布的差异，并且sst-agcn-da在基于脑电图的跨被试者决策置信度估计上达到了最优异的性能。
[0087]
如图8所示为本发明一实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练系统的结构示意图，该系统可执行上述任意实施例所述的用于决策信心估计的跨被试深度迁移模型的训练方法，并配置在终端中。
[0088]
本实施例提供的一种用于决策信心估计的跨被试深度迁移模型的训练系统10包括：信号输出程序模块11，脑电高阶特征提取程序模块12，损失确定程序模块13和训练程序
模块14。
[0089]
其中，信号输出程序模块11用于将源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号输入至跨被试深度迁移模型，其中，所述跨被试深度迁移模型包括：基于频谱-时空自适应图卷积神经网络的特征提取模块、梯度反转模块、域判别器模块以及决策信心分类器模块；脑电高阶特征提取程序模块12用于在所述跨被试深度迁移模型中，利用所述基于频谱-时空自适应图卷积神经网络的特征提取模块从所述源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号中提取脑电高阶特征；损失确定程序模块13用于利用所述域判别器模块以及决策信心分类器确定所述脑电高阶特征的预测域以及预测信心分类，基于所述真实标注、所述预测域以及预测信心分类确定所述跨被试深度迁移模型的域判别器损失以及信心分类器损失；训练程序模块14用于基于所述信心分类器损失以及经过所述梯度反转模块处理的域判别器损失，对所述跨被试深度迁移模型进行反向传播训练，将所述域判别器模块与所述特征提取模块形成对抗关系，使训练后的跨被试深度迁移模型内的特征提取模块能够提取消除域信息的高阶脑电特征。
[0090]
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的用于决策信心估计的跨被试深度迁移模型的训练方法；
[0091]
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
[0092]
将源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号输入至跨被试深度迁移模型，其中，所述跨被试深度迁移模型包括：基于频谱-时空自适应图卷积神经网络的特征提取模块、梯度反转模块、域判别器模块以及决策信心分类器模块；
[0093]
在所述跨被试深度迁移模型中，利用所述基于频谱-时空自适应图卷积神经网络的特征提取模块从所述源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号中提取脑电高阶特征；
[0094]
利用所述域判别器模块以及决策信心分类器确定所述脑电高阶特征的预测域以及预测信心分类，基于所述真实标注、所述预测域以及预测信心分类确定所述跨被试深度迁移模型的域判别器损失以及信心分类器损失；
[0095]
基于所述信心分类器损失以及经过所述梯度反转模块处理的域判别器损失，对所述跨被试深度迁移模型进行反向传播训练，将所述域判别器模块与所述特征提取模块形成对抗关系，使训练后的跨被试深度迁移模型内的特征提取模块能够提取消除域信息的高阶脑电特征。
[0096]
如图9所示为本发明一实施例提供的一种基于跨被试深度迁移模型的决策信心估计系统的结构示意图，该系统可执行上述任意实施例所述的基于跨被试深度迁移模型的决策信心估计方法，并配置在终端中。
[0097]
本实施例提供的一种基于跨被试深度迁移模型的决策信心估计系统20包括：脑电信号采集程序模块21，特征提取程序模块22和决策信心估计程序模块23。
[0098]
其中，脑电信号采集程序模块21用于采集被试者在决策阶段的脑电信号；特征提取程序模块22用于将所述脑电信号输入至用于决策信心估计的跨被试深度迁移模型，得到消除域信息的脑电高阶特征；决策信心估计程序模块23用于利用决策信心分类器模块确定
所述脑电高阶特征的决策信心估计结果。
[0099]
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于跨被试深度迁移模型的决策信心估计方法；
[0100]
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
[0101]
采集被试者在决策阶段的脑电信号；
[0102]
将所述脑电信号输入至用于决策信心估计的跨被试深度迁移模型，得到消除域信息的脑电高阶特征；
[0103]
利用决策信心分类器模块确定所述脑电高阶特征的决策信心估计结果。
[0104]
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的用于决策信心估计的跨被试深度迁移模型的训练方法以及基于跨被试深度迁移模型的决策信心估计方法。
[0105]
图10是本技术另一实施例提供的用于决策信心估计的跨被试深度迁移模型的训练方法以及基于跨被试深度迁移模型的决策信心估计方法的电子设备的硬件结构示意图，如图10所示，该设备包括：
[0106]
一个或多个处理器1010以及存储器1020，图10中以一个处理器1010为例。用于决策信心估计的跨被试深度迁移模型的训练方法的设备还可以包括：输入装置1030和输出装置1040。
[0107]
处理器1010、存储器1020、输入装置1030和输出装置1040可以通过总线或者其他方式连接，图10中以通过总线连接为例。
[0108]
存储器1020作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的用于决策信心估计的跨被试深度迁移模型的训练方法对应的程序指令/模块。处理器1010通过运行存储在存储器1020中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例用于决策信心估计的跨被试深度迁移模型的训练方法。
[0109]
存储器1020可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器1020可选包括相对于处理器1010远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0110]
输入装置1030可接收输入的数字或字符信息。输出装置1040可包括显示屏等显示设备。
[0111]
所述一个或者多个模块存储在所述存储器1020中，当被所述一个或者多个处理器1010执行时，执行上述任意方法实施例中的用于决策信心估计的跨被试深度迁移模型的训练方法。
[0112]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0113]
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0114]
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的用于决策信心估计的跨被试深度迁移模型的训练方法以及基于跨被试深度迁移模型的决策信心估计方法的步骤。
[0115]
本技术实施例的电子设备以多种形式存在，包括但不限于：
[0116]
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
[0117]
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如平板电脑。
[0118]
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0119]
(4)其他具有数据处理功能的电子装置。
[0120]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0121]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0122]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0123]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种用于决策信心估计的跨被试深度迁移模型的训练方法，包括：将源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号输入至跨被试深度迁移模型，其中，所述跨被试深度迁移模型包括：基于频谱-时空自适应图卷积神经网络的特征提取模块、梯度反转模块、域判别器模块以及决策信心分类器模块；在所述跨被试深度迁移模型中，利用所述基于频谱-时空自适应图卷积神经网络的特征提取模块从所述源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号中提取脑电高阶特征；利用所述域判别器模块以及决策信心分类器确定所述脑电高阶特征的预测域以及预测信心分类，基于所述真实标注、所述预测域以及预测信心分类确定所述跨被试深度迁移模型的域判别器损失以及信心分类器损失；基于所述信心分类器损失以及经过所述梯度反转模块处理的域判别器损失，对所述跨被试深度迁移模型进行反向传播训练，将所述域判别器模块与所述特征提取模块形成对抗关系，使训练后的跨被试深度迁移模型内的特征提取模块能够提取消除域信息的高阶脑电特征。2.根据权利要求1所述的方法，其中，所述利用所述基于频谱-时空自适应图卷积神经网络的特征提取模块从所述源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号中提取带有域信息的脑电高阶特征包括：提取所述源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号的原始脑电微分熵特征；将所述原始脑电微分熵特征经过频谱-空间卷积、频谱-时间卷积、叠加残差结构以及批归一化处理，得到经过非线性变换处理的脑电高阶特征。3.根据权利要求1所述的方法，其中，所述真实标注包括：真实域以及真实预测分类；所述基于所述真实标注、所述预测域以及预测信心分类确定所述跨被试深度迁移模型的域判别器损失以及信心分类器损失包括：基于所述真实域以及所述预测域的误差，确定所述域判别器损失，基于所述真实预测分类以及所述预测信心分类的误差，确定信心分类器损失。4.一种基于跨被试深度迁移模型的决策信心估计方法，包括：采集被试者在决策阶段的脑电信号；将所述脑电信号输入至权利要求1训练的用于决策信心估计的跨被试深度迁移模型，得到消除域信息的脑电高阶特征；利用决策信心分类器模块确定所述脑电高阶特征的决策信心估计结果。5.根据权利要求4所述的方法，其中，在所述采集被试者在决策阶段的脑电信号之后，所述方法还包括：将所述脑电信号输入至预处理模块，对所述脑电信号进行带通滤波处理，以去除噪声干扰。6.一种用于决策信心估计的跨被试深度迁移模型的训练系统，包括：信号输出程序模块，用于将源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号输入至跨被试深度迁移模型，其中，所述跨被试深度迁移模型包括：基于频谱-时空自适应图卷积神经网络的特征提取模块、梯度反转模块、域判别器模块以及决策信心
分类器模块；脑电高阶特征提取程序模块，用于在所述跨被试深度迁移模型中，利用所述基于频谱-时空自适应图卷积神经网络的特征提取模块从所述源被试的带有标注的脑电信号以及目标被试的无标注的脑电信号中提取脑电高阶特征；损失确定程序模块，用于利用所述域判别器模块以及决策信心分类器确定所述脑电高阶特征的预测域以及预测信心分类，基于所述真实标注、所述预测域以及预测信心分类确定所述跨被试深度迁移模型的域判别器损失以及信心分类器损失；训练程序模块，用于基于所述信心分类器损失以及经过所述梯度反转模块处理的域判别器损失，对所述跨被试深度迁移模型进行反向传播训练，将所述域判别器模块与所述特征提取模块形成对抗关系，使训练后的跨被试深度迁移模型内的特征提取模块能够提取消除域信息的高阶脑电特征。7.根据权利要求6所述的系统，其中，所述脑电高阶特征提取程序模块用于：提取所述源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号的原始脑电微分熵特征；将所述原始脑电微分熵特征经过频谱-空间卷积、频谱-时间卷积、叠加残差结构以及批归一化处理，得到经过非线性变换处理的脑电高阶特征。8.根据权利要求6所述的系统，其中，所述真实标注包括：真实域以及真实预测分类；所述损失确定程序模块用于：基于所述真实域以及所述预测域的误差，确定所述域判别器损失，基于所述真实预测分类以及所述预测信心分类的误差，确定信心分类器损失。9.一种基于跨被试深度迁移模型的决策信心估计系统，包括：脑电信号采集程序模块，用于采集被试者在决策阶段的脑电信号；特征提取程序模块，用于将所述脑电信号输入至权利要求6训练的用于决策信心估计的跨被试深度迁移模型，得到消除域信息的脑电高阶特征；决策信心估计程序模块，用于利用决策信心分类器模块确定所述脑电高阶特征的决策信心估计结果。10.根据权利要求9所述的系统，其中，所述系统还包括预处理模块，用于：对所述脑电信号进行带通滤波处理，以去除噪声干扰。11.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述方法的步骤。12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

技术总结
本发明实施例提供一种用于决策信心估计的跨被试深度迁移模型的训练方法。该方法包括：将源被试的带有真实标注的脑电信号以及目标被试的无标注的脑电信号输入至跨被试深度迁移模型；在跨被试深度迁移模型中，利用基于频谱-时空自适应图卷积神经网络的特征提取模块提取脑电高阶特征；利用域判别器模块以及决策信心分类器确定脑电高阶特征的预测域以及预测信心分类，并基于真实标注确定跨被试深度迁移模型的域判别器损失以及信心分类器损失；基于信心分类器损失以及经过梯度反转模块处理的域判别器损失，对跨被试深度迁移模型进行反向传播训练。本发明实施例可以提升原模型在跨被试任务中的应用效率，使决策信心估计模型取得更高的准确率。取得更高的准确率。取得更高的准确率。


技术研发人员：吕宝粮 赵黎明
受保护的技术使用者：上海零唯一思科技有限公司
技术研发日：2023.06.09
技术公布日：2023/8/9