情感脑电特征表示方法、系统、电子设备和存储介质

1.本发明涉及识别情感领域，尤其涉及一种情感脑电特征表示方法、系统、电子设备和存储介质。


背景技术：

2.情感识别是实现人工智能情感智能的突出的里程碑。它是日常生活中广泛的潜在应用的基础，如医疗诊断、智能教育、娱乐等。许多生理信号被采纳为测量情绪的输入，包括语言、面部表情、眼球运动和脑电信号。在所有这些方式中，由于认知神经科学的证据表明大脑在情绪处理方面的功效，基于无创脑电图的情感识别获得了越来越多的关注。现有技术通常使用卷积神经网络、循环神经网络、长短时记忆网络等深度学习方法，进行基于脑电的情感识别。
3.在实现本发明过程中，发明人发现相关技术中至少存在如下问题：
4.卷积神经网络、循环神经网络、长短时记忆网络等深度学习方法虽然取得了良好的结果，但它们缺乏并行化，模型效率不高。这些技术都致力于时域的研究，脑电信号传递的空间信息尚未得到充分利用。一些研究应用cnn来提取空间连接。然而，cnn只能基于欧几里得距离捕获局部信息，性能并不理想。


技术实现要素：

5.为了至少解决现有技术中无法充分利用情感脑电信息进行情感识别的问题。
6.第一方面，本发明实施例提供一种情感脑电特征表示方法，包括：
7.获取被试者观看情绪刺激素材期间的脑电信号，提取所述脑电信号的脑电微分熵特征；
8.将所述脑电微分熵特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：图卷积网络单元以及transformer单元；
9.在所述图transformer网络中，通过所述图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；
10.通过所述transformer单元对所述带有空间信息的脑电特征进行关于时间序列的自注意力层以及层归一化处理，得到用于情绪识别的带有空间信息以及时间信息的脑电特征。
11.第二方面，本发明实施例提供一种情感脑电特征表示系统，包括：
12.特征确定程序模块，用于：获取被试者观看情绪刺激素材期间的脑电信号，提取所述脑电信号的脑电微分熵特征；
13.特征输入程序模块，用于将所述脑电微分熵特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：图卷积网络单元以及transformer单元；
14.空间信息确定程序模块，用于在所述图transformer网络中，通过所述图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；
15.特征确定程序模块，用于通过所述transformer单元对所述带有空间信息的脑电特征进行关于时间序列的自注意力层以及层归一化处理，得到用于情绪识别的带有空间信息以及时间信息的脑电特征。
16.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的情感脑电特征表示方法的步骤。
17.第四方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本发明任一实施例的情感脑电特征表示方法的步骤。
18.本发明实施例的有益效果在于：本方法利用transformer结构来捕捉脑电信号的时间信息，通过避免递归和整体摄取一次长的顺序输入来降低复杂性和计算成本。进一步地，将图卷积网络与transformer结合起来，考虑其在时间序列分类中的潜力，得到更准确的情绪识别结果。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本发明一实施例提供的一种情感脑电特征表示方法的流程图；
21.图2是本发明一实施例提供的一种情感脑电特征表示方法的emogt模型结构示意图；
22.图3是本发明一实施例提供的一种情感脑电特征表示方法的emogts模型结构示意图；
23.图4是本发明一实施例提供的一种情感脑电特征表示方法的跨模态注意结构示意图；
24.图5是本发明一实施例提供的一种情感脑电特征表示方法的本方法与多种现有技术方法相比在3个数据集上的性能示意图；
25.图6是本发明一实施例提供的一种情感脑电特征表示方法的emogt在三个数据集上的混淆矩阵(从左到右依次为seed、seed-iv、seed-v，纵轴表示真实标签；横轴预测的标签)；
26.图7是本发明一实施例提供的一种情感脑电特征表示方法的学习的邻接矩阵中的前10个连接示意图(线条越深，边缘权重就越高，大脑区域之间的联系就越紧密)；
27.图8是本发明一实施例提供的一种情感脑电特征表示系统的结构示意图；
28.图9为本发明一实施例提供的一种情感脑电特征表示的电子设备的实施例的结构示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.如图1所示为本发明一实施例提供的一种情感脑电特征表示方法的流程图，包括如下步骤：
31.s11：获取被试者观看情绪刺激素材期间的脑电信号，提取所述脑电信号的脑电微分熵特征；
32.s12：将所述脑电微分熵特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：图卷积网络单元以及transformer单元；
33.s13：在所述图transformer网络中，通过所述图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；
34.s14：通过所述transformer单元对所述带有空间信息的脑电特征进行关于时间序列的自注意力层以及层归一化处理，得到用于情绪识别的带有空间信息以及时间信息的脑电特征。
35.在本实施方式中，为了解决并行化的问题，本方法利用transformer结构来捕捉脑电信号的时间信息，通过避免递归和整体摄取一次长的顺序输入来降低复杂性和计算成本。虽然上述步骤可以得到时间信息，但是如何同时提取空间和时间信息还没有被充分探索。
36.本方法提出了一个弹性图transformer框架，将图卷积网络与transformer结合起来，考虑其在时间序列分类中的潜力，充分利用了er(emotion recognition，表情识别)中的空间和时间信息。弹性图transformer网络可以作为多模态情感的单独构件，本方法设计了两个特别的结构，这增加了它在现实世界应用中的稳健性。
37.对于步骤s11，本方法针对于脑电数据设计的emogt(graph transformer network for emotion recognition，用于情绪识别的图transformer网络)。
38.为了识别被试者的情绪，给被试者观看情绪刺激素材，例如，在被试者的正前方放置一台显示器，通过显示器向被试者播放恐怖电影片段、喜剧片段、油画鉴赏片段等素材。同时被试者佩戴脑电采集设备，脑电采集设备采集被试者观看情绪刺激素材期间的脑电信号。
39.作为一种实施方式，在得到脑电信号后，所述方法还包括：对所述脑电信号进行基线校正，对所述基线校正后的脑电信号进行滤波处理以及时间窗分割，得到预处理后的脑电信号。
40.在本实施方式中，对采集到的脑电数据进行基线校正、去除伪迹等预处理，对脑电信号进行滤波处理，将脑电信号通过滤波器划分为c个频段。然后将脑电信号按照t秒无重叠的时间窗进行分割，由此得到的每个样本，可以由c个时长t秒的n个脑电片段组成，分别对应c个频段。对脑电的特征提取包括：将脑电信号通过短时间傅里叶变换划分到c个频段，提取每个频段上的脑电微分熵频域特征，记为x＝(x1，x2，...x
t
)∈r
t
×n×c。
41.对于步骤s12，本方法针对于脑电数据设计的emogt的结构如图2所示，它由两个基本单元组成：gcn(graph convolutional networks，图卷积网络)单元和transformer单元，将脑电微分熵频域特征输入至emogt中。
42.对于步骤s13，在gcn图transformer网络中，可以对大脑上的电极进行建模，将eeg(electroencephalogram，脑电图)信号构造为图g＝{v，e}，其中v表示顶点集，e表示边集，代表邻接矩阵这意味着eeg通道之间的连接，n是eeg通道的数量，即n＝|v|。输入eeg特征由表示，其中，t是时间序列中的样本数量，c是每个通道的维数。
43.gcn建模的公式如下：
[0044][0045]
其中，i是单位矩阵，表示对角的度矩阵，并且h
l
表示第l层的输入特征，而w
l
是权重矩阵，是权重矩阵，第l个gcn层的输出是要注意的是h0＝x。
[0046]
邻接矩阵a对学习图表征至关重要，它描述了eeg信号的拓扑结构。本方法希望用于情绪识别的图transformer网络模型从数据中学习空间拓扑结构，因此显示通道i和通道j之间连接权重的a
ij
的每个都是可学习的。此外，a被定义为对称矩阵，以避免过拟合。对于所有的gcn层，都会使用相同的共享邻接矩阵。
[0047]
在gcn层之后，应用层归一化，选择relu作为激活函数，然后是丢弃层(dropout)。通过上述图transformer网络处理，得到带有空间信息的脑电特征。
[0048]
对于步骤s14：transformer单元在自然语言处理、计算机视觉等领域取得了巨大的成功。在transformer单元之前，gcn单元h-l-g∈rt
×n×
cout的输出被整形为输入特征被转换为查询qi、键ki和值vi：
[0049][0050]
其中，和自注意力计算为：
[0051][0052]
本方法使用了h个头的自注意，每个头都可以用headi＝注意(qi，ki，vi)来表示。多头注意力的输出是：
[0053][0054]
其中，和
[0055]
与gcn单元相同，在自注意层之后有一个层归一化，然后是relu和丢弃层(dropout)。
[0056]
其中，附图中还展示了输入情绪类别令牌，用于在训练中使模型训练后能够更好
地分类。通过在输入中添加一个类别令牌。它是可学习的，并且具有与输入eeg特征相同的形状。在所有emogt块的末尾，将线性层和softmax层应用于类令牌以进行分类。由于输入eeg特征是一个连续的时间序列，将可学习的位置嵌入添加到输入序列中，以使序列能够携带时间信息。
[0057]
通过上述的transformer单元处理后，得到了并行化的时间信息和空间信息的脑电特征。
[0058]
作为一种实施方式，所述用于情绪识别的图transformer网络还包括：线性层及softmax层，其中，所述线性层及softmax层用于从带有空间信息以及时间信息的脑电特征，或带有空间信息以及时间信息的脑电情感融合特征中确定被试者的情绪类别，其中，所述情绪类别包括：负向、中性、正向。
[0059]
在本实施方式中，通过上述步骤得到了时间信息和空间信息的脑电特征可以进行更精准的情绪识别。
[0060]
通过该实施方式可以看出，本方法利用transformer结构来捕捉脑电信号的时间信息，通过避免递归和整体摄取一次长的顺序输入来降低复杂性和计算成本。进一步地，将图卷积网络与transformer结合起来，考虑其在时间序列分类中的潜力，得到更准确的情绪识别结果。
[0061]
作为一种实施方式，所述方法还包括：
[0062]
获取被试者观看情绪刺激素材期间的眼动信号，提取所述眼动信号的眼动特征；
[0063]
将所述脑电微分熵特征以及所述眼动特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：脑电图卷积网络单元、眼动图卷积网络单元以及跨模态transformer单元；
[0064]
在所述图transformer网络中，通过所述脑电图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；
[0065]
通过所述眼动图卷积网络单元对所述眼动特征建模，确定在邻接矩阵下所述眼动特征的空间拓扑结构，得到带有空间信息的眼动特征；
[0066]
通过所述跨模态transformer单元对所述带有空间信息的脑电特征以及所述带有空间信息的眼动特征进行跨模态融合，得到用于情绪识别的带有空间信息以及时间信息的脑电情感融合特征。
[0067]
在本实施方式中，本方法设计的第二个结构，针对于脑电数据和眼动数据设计的emogts。
[0068]
在采集被试者观看情绪刺激素材的脑电信号的同时采集被试者的眼动信号。
[0069]
眼动的特征提取包括：将瞳孔直径通过短时间傅里叶变换划分到4个频段，提取左右眼瞳孔直径的微分熵特征。计算瞳孔直径眨眼时长、扫视时长、注视时长等的均值、标准差、频率等统计特征。
[0070]
在得到眼动特征后，同样进行预处理：对采集到的眼动数据进行瞳孔直径去光照影响，使用线性插值补全空余瞳孔直径，然后采用主成分分析滤除主成分。
[0071]
将脑电微分熵频域特征以及眼动特征输入至emogts中，emogts与emogt相比，当其他模块保持不变时，多了处理眼动特征的第二个gcn单元，且transformer单元是跨模态的，
具体结构如图3所示。
[0072]
除了脑电图，本方法使用的另一种模态是眼动。与eeg类似，输入的眼动特征可以表示为其中t是与eeg序列相同的时间序列中的样本数，n
′
是眼动特征的维数。眼球运动也被建模为图形，因为它们之间存在相关性。本方法提出了跨模态transformer单元来融合模态，以便模型能够利用不同模态的互补特性。如图4所示，跨模态transformer单元的核心是自注意层被跨模态注意层取代。
[0073]
跨模态注意力层考虑两种模态α和β(也就是脑电模态和眼动模态)，将跨模态注意力层的输入分别表示为和查询、键和值可以为：
[0074][0075]
其中和从α到β的跨模态注意力定义为：
[0076][0077]
同样的，从β到α的跨模态注意力可以通过cma
β:α
(h
β
，h
α
)来计算。不同的模态通过这种方式相互作用，以学习互补的信息。要注意的是，本方法在跨模态transformer单元中也使用了多头注意力。
[0078]
注意力融合本方法使用o
α
和o
β
来表示cma
α：β
和cma
β：α
的类标记，这是模态α和β在所有emogts块之后的输出，其中将o
α
和o
β
变换到相同的维度：
[0079][0080]
其中，和然后通过以下公式计算注意力权重μ
α
和μ
β
:
[0081][0082][0083]
其中和《，》表示点积。因此，通过以下方式提取融合的特征:
[0084][0085]
通过上述方式，得到用于情绪识别的带有空间信息以及时间信息的脑电情感融合特征。同样的，利用线性层及softmax层对脑电情感融合特征进行情绪类别的识别。
[0086]
作为一种实施方式，所述用于情绪识别的图transformer网络通过脑电情感训练集训练获得，其中，所述脑电情感训练集包括：脑电训练数据、眼动训练数据以及基准情绪类别；
[0087]
所述用于情绪识别的图transformer网络的训练过程包括：
[0088]
将所述脑电情感训练集输入至所述用于情绪识别的图transformer网络，输出用于情绪识别的带有空间信息以及时间信息的脑电情感特征；
[0089]
将所述脑电情感特征输入至线性层及softmax层，得到预估情绪类别，基于所述预估情绪类别以及所述基准情绪类别的误差对所述用于情绪识别的图transformer网络进行训练。
[0090]
在本实施方式中，以图2的结构示例，在输入中，额外的加入了cls令牌(也就是情绪类别)，通过模型的处理，得到预测情绪类别。基于预测情绪类别与基准情绪类别的误差确定的损失函数，对图transformer网络进行训练，直至预测情绪类别趋近于基准情绪类别为止。
[0091]
对本方法进行实验说明，本方法在情绪识别的三个公共数据集(seed、seed-iv和seed-v)上测试了本方法的几种模型，用于彻底验证它们的性能。对于eeg，在不重叠的1s时间窗口内从每个样本的5个频带中提取差分熵。对于眼动数据，提取了多个特征(例如瞳孔直径、分散度、注视持续时间)。通过滑动尺寸为t＝5的重叠窗口来获得输入特征，以使结果更具可比性。批量大小为32，丢弃率(dropout rate)为0.5，块的数量是4，并且学习率在3e-5到1e-3的范围内。头部(head)的数量h和嵌入维度c
out
分别从{2，4}和{16，32，64}调整。选择交叉熵作为损失函数，并使用adam来优化参数。对于数据划分，使用seed中的前9个试验作为训练数据，其余6个试验作为测试数据。至于seed-iv，前16个试验是训练数据，而其余8个试验是测试数据。然而，对于seed-v，采用了3折交叉验证。
[0092]
对于实验结果，与单模态方法的比较，为了验证本方法emogt的效率，将其与其他代表性模型进行了比较，从基线方法dgcnn(dynamic graph convolutional neural networks，动态图卷积神经网络)到现有技术中最先进的方法，具体如图5所示，图中列举了现有技术中的多种已有模型，总的来说，emogt的表现优于所有其他模型。对于md-agcn(multi-domain adaptive graph convolutional network，多域自适应图卷积网络)获得的现有最佳结果，本方法的模型在所有三个数据集的平均改进率仍为1.5％。值得注意的是，在seed-iv中，emogt大大超过了目前的最佳结果约3.5％，甚至达到了91.2％，这在四类别分类中是相当高的准确率。这些数字无疑证明了emogt强大的信息提取和处理能力。
[0093]
如图6中emogt的混淆矩阵描述了它在不同数据集上区分情绪的能力。对于seed和seed-iv，本方法的模型在识别中性状态方面相对较好，但在积极情绪方面表现不佳。有趣的是，在seed-v中，厌恶是emogt分类的最大障碍，只有72.22％。总之，emogt很可能会错误地分类积极情绪和厌恶情绪，这与其他模型的趋势相同。
[0094]
与多模式方法的比较本方法选择了情绪识别中最先进的三种方法与本方法第二种emogts进行比较。如图5的第二部分给出了三个数据集的结果。尽管dcca取得的最新最佳结果非常出色，但emogts在所有数据集上仍然胜过它们。值得注意的是，在四类别分类任务中，本方法的模型具有94％的惊人准确率，比最先进的性能高出约6.5％。此外，emogts在五类任务中也比dcca高出2％。在多类别分类中，准确度具有竞争力。此外，可观的标准差证明了该模型具有相对稳定的性能。总之，emogts代表了多模态情绪识别的最佳水平，这些令人满意的结果启发了类似多模态分类任务使用emogts的解决方案。
[0095]
消融研究如图5中斜体线所示。平均性能差距达到5％以上，稳定性更好。通过比较基于lstm的变体g+lstm和emogt，证明了使用transformer提取时间信息的有效性。后者的性能比前者好得多，精度高出3％到5％。e-sma和emogts之间的差距证实了引入的跨模态注意力机制对多模态学习非常有用，它确实利用了不同模态的互补特性来实现更好的性能。
[0096]
学习的空间连接的可视化在图7中，本方法展示了emogt学习的所有三个数据集的eeg通道中情绪引发时的大脑连接。seed和seed-iv的10个最强连接彼此相似，而seed-v的连接则有很大不同。从图中可以看到，在seed和seed-iv中，连接主要集中在大脑两侧的颞叶以及额叶，如ft8到t8和fp1到af3等连接，然而，seed-v图中的线说明了中央区域和颞叶之间的强连接，例如cz到t8，以及在大脑的中央区域内，例如cp1到cpz和cz到cpz。从认知神经科学的角度来看，一个合理的解释是，因为具有更多情绪类别的情绪过程涉及大脑中高度分布的神经回路。随着情绪数量的增加，更多的大脑区域被激活以做出反应，从而产生全局通道间连接。
[0097]
总的来说，本方法开发了一个弹性的情绪识别框架emogt，以更好地同时利用时间域和空间域的eeg信息。它是通过集成用于空间关系提取的gcn和用于时间序列信息处理的transformer来实现的。通过激活跨模态注意力机制，emogt可以用作单个模态的构建块，以处理多模态输入。本方法的模型优于所有现有技术。所提出的框架通过利用脑电中的空间和时间来阐明基于脑电的情绪识别任务。
[0098]
如图8所示为本发明一实施例提供的一种情感脑电特征表示系统的结构示意图，该系统可执行上述任意实施例所述的情感脑电特征表示方法，并配置在终端中。
[0099]
本实施例提供的一种情感脑电特征表示系统10包括：特征确定程序模块11，特征输入程序模块12，空间信息确定程序模块13和特征确定程序模块14。
[0100]
其中，特征确定程序模块11用于获取被试者观看情绪刺激素材期间的脑电信号，提取所述脑电信号的脑电微分熵特征；特征输入程序模块12用于将所述脑电微分熵特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：图卷积网络单元以及transformer单元；空间信息确定程序模块13用于在所述图transformer网络中，通过所述图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；特征确定程序模块14用于通过所述transformer单元对所述带有空间信息的脑电特征进行关于时间序列的自注意力层以及层归一化处理，得到用于情绪识别的带有空间信息以及时间信息的脑电特征。
[0101]
进一步地，所述特征确定程序模块还用于：获取被试者观看情绪刺激素材期间的眼动信号，提取所述眼动信号的眼动特征；
[0102]
特征输入程序模块，用于将所述脑电微分熵特征以及所述眼动特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：脑电图卷积网络单元、眼动图卷积网络单元以及跨模态transformer单元；
[0103]
空间信息确定程序模块，用于在所述图transformer网络中，通过所述脑电图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征，通过所述眼动图卷积网络单元对所述眼动特征建模，确定在邻接矩阵下所述眼动特征的空间拓扑结构，得到带有空间信息的眼动特征；
[0104]
特征确定程序模块，用于通过所述跨模态transformer单元对所述带有空间信息的脑电特征以及所述带有空间信息的眼动特征进行跨模态融合，得到用于情绪识别的带有空间信息以及时间信息的脑电情感融合特征。
[0105]
本发明实施例还提供了一种非易失性计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的情感脑电特征表示
方法；
[0106]
作为一种实施方式，本发明的非易失性计算机存储介质存储有计算机可执行指令，计算机可执行指令设置为：
[0107]
获取被试者观看情绪刺激素材期间的脑电信号，提取所述脑电信号的脑电微分熵特征；
[0108]
将所述脑电微分熵特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：图卷积网络单元以及transformer单元；
[0109]
在所述图transformer网络中，通过所述图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；
[0110]
通过所述transformer单元对所述带有空间信息的脑电特征进行关于时间序列的自注意力层以及层归一化处理，得到用于情绪识别的带有空间信息以及时间信息的脑电特征。
[0111]
作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的方法对应的程序指令/模块。一个或者多个程序指令存储在非易失性计算机可读存储介质中，当被处理器执行时，执行上述任意方法实施例中的情感脑电特征表示方法。
[0112]
图9是本技术另一实施例提供的情感脑电特征表示方法的电子设备的硬件结构示意图，如图9所示，该设备包括：
[0113]
一个或多个处理器910以及存储器920，图9中以一个处理器910为例。情感脑电特征表示方法的设备还可以包括：输入装置930和输出装置940。
[0114]
处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图9中以通过总线连接为例。
[0115]
存储器920作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的情感脑电特征表示方法对应的程序指令/模块。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例情感脑电特征表示方法。
[0116]
存储器920可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器920可选包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至移动装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0117]
输入装置930可接收输入的数字或字符信息。输出装置940可包括显示屏等显示设备。
[0118]
所述一个或者多个模块存储在所述存储器920中，当被所述一个或者多个处理器910执行时，执行上述任意方法实施例中的情感脑电特征表示方法。
[0119]
上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有
益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例所提供的方法。
[0120]
非易失性计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据装置的使用所创建的数据等。此外，非易失性计算机可读存储介质可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，非易失性计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0121]
本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的情感脑电特征表示方法的步骤。
[0122]
本技术实施例的电子设备以多种形式存在，包括但不限于：
[0123]
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机、多媒体手机、功能性手机，以及低端手机等。
[0124]
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如平板电脑。
[0125]
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0126]
(4)其他具有数据处理功能的电子装置。
[0127]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0128]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0129]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0130]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可
以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种情感脑电特征表示方法，包括：获取被试者观看情绪刺激素材期间的脑电信号，提取所述脑电信号的脑电微分熵特征；将所述脑电微分熵特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：图卷积网络单元以及transformer单元；在所述图transformer网络中，通过所述图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；通过所述transformer单元对所述带有空间信息的脑电特征进行关于时间序列的自注意力层以及层归一化处理，得到用于情绪识别的带有空间信息以及时间信息的脑电特征。2.根据权利要求1所述的方法，其中，所述方法还包括：获取被试者观看情绪刺激素材期间的眼动信号，提取所述眼动信号的眼动特征；将所述脑电微分熵特征以及所述眼动特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：脑电图卷积网络单元、眼动图卷积网络单元以及跨模态transformer单元；在所述图transformer网络中，通过所述脑电图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；通过所述眼动图卷积网络单元对所述眼动特征建模，确定在邻接矩阵下所述眼动特征的空间拓扑结构，得到带有空间信息的眼动特征；通过所述跨模态transformer单元对所述带有空间信息的脑电特征以及所述带有空间信息的眼动特征进行跨模态融合，得到用于情绪识别的带有空间信息以及时间信息的脑电情感融合特征。3.根据权利要求2所述的方法，其中，所述用于情绪识别的图transformer网络还包括：线性层及softmax层，其中，所述线性层及softmax层用于从带有空间信息以及时间信息的脑电特征，或带有空间信息以及时间信息的脑电情感融合特征中确定被试者的情绪类别，其中，所述情绪类别包括：负向、中性、正向。4.根据权利要求1所述的方法，其中，所述用于情绪识别的图transformer网络通过脑电情感训练集训练获得，其中，所述脑电情感训练集包括：脑电训练数据、眼动训练数据以及基准情绪类别；所述用于情绪识别的图transformer网络的训练过程包括：将所述脑电情感训练集输入至所述用于情绪识别的图transformer网络，输出用于情绪识别的带有空间信息以及时间信息的脑电情感特征；将所述脑电情感特征输入至线性层及softmax层，得到预估情绪类别，基于所述预估情绪类别以及所述基准情绪类别的误差对所述用于情绪识别的图transformer网络进行训练。5.根据权利要求2所述的方法，其中，在获取被试者观看情绪刺激素材期间的脑电信号、以及获取被试者观看情绪刺激素材期间的眼动信号之后，所述方法还包括：对所述脑电信号进行基线校正，对所述基线校正后的脑电信号进行滤波处理以及时间窗分割，得到预处理后的脑电信号；
对所述眼动信号进行瞳孔直径去光照处理，并使用线性插值补全空余瞳孔直径，得到预处理后的眼动信号。6.一种情感脑电特征表示系统，包括：特征确定程序模块，用于获取被试者观看情绪刺激素材期间的脑电信号，提取所述脑电信号的脑电微分熵特征；特征输入程序模块，用于将所述脑电微分熵特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：图卷积网络单元以及transformer单元；空间信息确定程序模块，用于在所述图transformer网络中，通过所述图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；特征确定程序模块，用于通过所述transformer单元对所述带有空间信息的脑电特征进行关于时间序列的自注意力层以及层归一化处理，得到用于情绪识别的带有空间信息以及时间信息的脑电特征。7.根据权利要求6所述的系统，其中，所述特征确定程序模块还用于：获取被试者观看情绪刺激素材期间的眼动信号，提取所述眼动信号的眼动特征；特征输入程序模块，用于将所述脑电微分熵特征以及所述眼动特征输入至用于情绪识别的图transformer网络，其中，所述图transformer网络包括：脑电图卷积网络单元、眼动图卷积网络单元以及跨模态transformer单元；空间信息确定程序模块，用于在所述图transformer网络中，通过所述脑电图卷积网络单元对所述脑电微分熵特征建模，确定在邻接矩阵下所述脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征，通过所述眼动图卷积网络单元对所述眼动特征建模，确定在邻接矩阵下所述眼动特征的空间拓扑结构，得到带有空间信息的眼动特征；特征确定程序模块，用于通过所述跨模态transformer单元对所述带有空间信息的脑电特征以及所述带有空间信息的眼动特征进行跨模态融合，得到用于情绪识别的带有空间信息以及时间信息的脑电情感融合特征。8.根据权利要求7所述的系统，其中，所述用于情绪识别的图transformer网络还包括：线性层及softmax层，其中，所述线性层及softmax层用于从带有空间信息以及时间信息的脑电特征，或带有空间信息以及时间信息的脑电情感融合特征中确定被试者的情绪类别，其中，所述情绪类别包括：负向、中性、正向。9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述方法的步骤。10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

技术总结
本发明实施例提供一种情感脑电特征表示方法、系统、电子设备和存储介质。该方法包括：获取被试者观看情绪刺激素材期间的脑电信号，提取脑电信号的脑电微分熵特征；将脑电微分熵特征输入至用于情绪识别的图Transformer网络；在图Transformer网络中，通过图卷积网络单元对脑电微分熵特征建模，确定在邻接矩阵下脑电微分熵特征的空间拓扑结构，得到带有空间信息的脑电特征；通过Transformer单元对带有空间信息的脑电特征进行关于时间序列的自注意力层及层归一化处理，得到带有空间信息以及时间信息的脑电特征。本发明实施例利用Transformer结构来捕捉脑电信号的时间信息，通过避免递归和整体摄取一次长的顺序输入来降低复杂性和计算成本，得到更准确的情绪识别结果。结果。结果。


技术研发人员：吕宝粮 姜卫邦
受保护的技术使用者：上海交通大学
技术研发日：2023.05.22
技术公布日：2023/9/5