一种多模态情感识别方法、装置及存储介质

1.本发明涉及情感计算技术领域，尤其涉及一种基于多粒度窗口互注意力的多模态情感识别方法、装置及存储介质。


背景技术：

2.情感计算是一个新兴的研究领域，旨在研发能够识别、解释、处理、模拟人类情感的系统。人们研究情感计算很大程度上是为了能够模拟共情使机器能够解释人类的情绪状态，做出相适应的行为，对情绪给予恰当的回应。进入21世纪以来，随着计算机技术的高速发展，情感计算研究有了更迫切的需求，相关研究逐年加快。情感识别作为智能型人机交互系统的一个必要环节，引起了学术界、工业界的极大关注。
3.总体来说，根据数据模态来划分，情感识别系统可以分为单模态情感识别系统和多模态情感识别系统。单模态情感识别系统包括了诸如文本、语音、视频、脑电等模态中的其中一种。而多模态情感识别系统包含了更多的信息，文本中的语义关系、声音中的韵律音调、视频中人的表情等等，多个模态之间可以互相补充，帮助机器更好地理解情感，进而进行反馈。
4.近年来，transformer方法成为多模态情感识别系统的一种新的趋势。transformer方法在多模态场景下可以分为自注意力机制方法和互注意力机制方法：自注意力机制的query、key、value都来自于同一个模态，强调模态内的交互；互注意力机制的query和key、value来自不同的模态，强调模态间的交互。此外，根据注意力范围，transformer方法可以分为全局的全注意力和局部的窗口注意力：全注意力可以实现长距离的交互，但存在计算量大和引入噪声的问题；窗口注意力仅在窗口内进行注意力计算，减少了计算冗余。
5.窗口互注意力机制可以较好地解决多模态情感识别中的模态间交互问题，然而，它还具有以下缺点：(i)多模态数据是时序错位的，即使是在同样的时间段采集的，以字为基本单位的文本中和以帧为基本单位的语音、视频、脑电等信号不同，一个字对应的帧数是不固定的，这与需要等距窗口的窗口互注意不匹配。(ii)情感在不同模态之间是异步呈现的，文本模态的情感信息更容易集中在一些有情绪倾向的文字中，而其它模态的情感信息可能出现在其它的时间点上，这使得不同模态窗口之间的情感信息很难进行交互。


技术实现要素：

6.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于多粒度窗口互注意力的多模态情感识别方法、装置及存储介质。
7.本发明所采用的技术方案是：
8.一种基于多粒度窗口互注意力的多模态情感识别方法，包括以下步骤：
9.获取多模态数据库，根据多模态数据库获取训练样本和测试样本，获取每个样本的真实情感状态；
10.根据训练样本训练多模态模型transformer进行情感识别任务；
11.根据测试样本衡量多模态模型的性能，并获取性能最好的模型；
12.将实际环境中的多模态样本，输入获得的性能最好的模型，输出预测情感状态；
13.其中，所述多模态模型包括特征提取器、交互模块、融合模块和分类器；所述多模态模型对输入的样本进行以下处理：
14.特征提取器根据样本数据生成每种模态的初始特征向量；
15.交互模块根据初始特征向量和多粒度窗口互注意力机制生成多粒度特征；
16.融合模块根据多粒度特征生成深度融合特征；
17.分类器根据深度融合特征生成预测情感状态；
18.在多模态模型训练过程中，采用预设的损失函数和优化器，拟合预测情感状态和真实情感状态，以实现模型的训练。
19.进一步地，所述多模态数据库包含文本模态、语音模态、视频模态、脑电模态中的两种模态数据，各种模态数据都具有时序性，在同样的一段时间内由不同的设备采集而来；
20.所述根据多模态数据库获取训练样本和测试样本，包括：
21.从多模态数据库中切分出句子级别的数据，并对切分获得的数据进行处理，获得样本数据。
22.以文本和语音模态为例，每一个样本数据由以下部分组成：
23.(1)一句话的语音波形u＝{u1，...um}，其中m为语音波形的数据点数；
24.(2)一句话的文本内容t＝{t1，...tn}，其中n为文本内容的单词数；
25.(3)真实情感标签l。
26.进一步地，所述特征提取器根据样本数据生成每种模态的初始特征向量，包括：
27.获取每种模态的大规模预训练模型；根据样本数据和预训练模型提取各模态的预训练特征p
u/t
；
28.将每种模态的预训练特征经过各自的单模态模型，计算得出相应的初始特征向量其中，f
iu/t
为帧级别或字级别的高维特征向量。
29.进一步地，所述单模态模型通过多头自注意力机制生成初始特征向量：
30.多头注意力机制网络的每个头包含query、key、value对应的wq、wk、wv三个矩阵，预训练特征与这三个矩阵逐个相乘得到q、k、v三个矩阵，随后q矩阵和转置后的k矩阵相乘，并经过softmax层得到自注意力关系，再乘以v矩阵产生注意力向量，最后经过线性层生成初始特征向量：
31.q＝wqp，k＝wkp，v＝wvp
[0032][0033]
f＝f(attention)
[0034]
其中，d为经过wq、wk、wv三个矩阵线性变换后的隐层向量的维度。
[0035]
进一步地，所述交互模块根据初始特征向量和多粒度窗口互注意力机制生成多粒度特征，包括：
[0036]
将两种模态的特征向量进行分窗，并确保各模态的窗口数相同；
[0037]
将两种模态依次分别作为主模态x
u/t
和次模态x
t/u
，次模态x
t/u
经过多粒度化，以为主模态x
u/t
提供交互信息；
[0038]
使用分窗后的主模态窗口产生矩阵qw，使用分窗且多粒度化后的次模态产生矩阵kw和矩阵vw，进行模态间的窗口注意力交互：
[0039][0040][0041]
式中，wq、wk、wv分别为多头注意力机制网络的每个头包含query、key、value对应的矩阵，d为经过wq、wk、wv三个矩阵线性变换后的隐层向量的维度。
[0042]
进一步地，所述次模态x
t/u
经过多粒度化，以为主模态x
u/t
提供交互信息，包括：
[0043]
通过对次模态进行无重叠的分窗，产生多段帧数为n的次模态窗口数据，每一段窗口作为起始的kw＝{k
w1
，...，k
wn
}和vw＝{v
w1
，...，v
wn
}；将每段窗口从两端往两侧延伸，延伸的长度由不同粒度决定，对原始的一段窗口产生n段不同长度的新窗口；其中，原窗口为其中长度最短的窗口，重要性最大，窗口越长重要性越小，使用的池化核越大；拼接不同粒度池化后的窗口，产生新的key和value，与主模态的query进行注意力计算，产生多粒度特征：
[0044][0045][0046][0047][0048]
进一步地，所述融合模块根据多粒度特征生成深度融合特征，包括：
[0049]
将两种模态的多粒度特征u和t在时间轴上拼接作为一个整体；采用基于多层多头自注意力机制网络对整体特征进行整合，在token级别进行模态内和模态间的信息融合，产生深度融合特征：
[0050]
q＝wq[u，t]，k＝wk[u，t]，v＝wv[u，t]
[0051]
两种模态的深度特征hu、h
t
分别池化掉时间轴后产生特征向量，拼接两个特征向量得出最后的多模态特征向量。
[0052]
进一步地，所述分类器根据深度融合特征生成预测情感状态，包括：
[0053]
采用非线性激活的全连接层，对多模态特征向量变换后经过softmax，通过取最大预测概率的下标得到预测情感状态：
[0054]hconcat
＝[tp(hu)，tp(h
t
)]
[0055]
p＝softmax(wch
concat
+bc)
[0056][0057]
其中，tp表示时间轴池化，hu和h
t
为两种模态的深度特征，wc、bc表示输出线性层的参数，是数据集对应的情绪类别集合，是取最大概率的下标得到的预测情绪类别。
[0058]
进一步地，所述预设的损失函数为交叉熵函数，表达式为：
[0059][0060]
式中，n为训练样本数，数据集对应的情绪类别集合，pi、yi分别为预测情感状态和真实情感状态。
[0061]
本发明所采用的另一技术方案是：
[0062]
一种基于多粒度窗口互注意力的多模态情感识别装置，包括：
[0063]
至少一个处理器；
[0064]
至少一个存储器，用于存储至少一个程序；
[0065]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0066]
本发明所采用的另一技术方案是：
[0067]
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0068]
本发明的有益效果是：本发明通过多粒度窗口互注意力机制，提供一个灵活的互注意力窗口，并利用彼此模态中的情感信息来帮助其自身的情感挖掘，从而使得多模态情感识别的性能有所提升。
附图说明
[0069]
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0070]
图1是本发明实施例中一种基于多粒度窗口互注意力的多模态情感识别方法步的骤流程图；
[0071]
图2是本发明实施例中基于多粒度窗口互注意力的多模态情感识别方法的训练流程图；
[0072]
图3是本发明实施例中基于多粒度窗口互注意力的多模态情感识别方法的模型框架图。
具体实施方式
[0073]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0074]
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和
操作，因此不能理解为对本发明的限制。
[0075]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0076]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0077]
参见图1、图2和图3，本实施例提供一种基于多粒度窗口互注意力的多模态情感识别方法，通过多粒度化的窗口互注意力，合理地捕获动态变化的情感信息，增强了传统情感识别模型的稳定性。该方法具体包括以下步骤：
[0078]
s1、获取多模态数据库，根据数据库获取训练样本和测试样本，获取每个样本的真实情感状态。
[0079]
其中，训练样本和测试样本，由多模态数据库切分、解析得出，具体包括：
[0080]
多模态数据库包含诸如文本、语音、视频、脑电等模态中的任意两种，各模态数据都具有时序性，在同样的一段时间内由不同的设备采集而来；从数据库中切分出句子级别的数据。以文本和语音模态为例，每一个样本数据由以下部分组成：
[0081]
(1)一句话的语音波形u＝{u1，...um}，其中m为语音波形的数据点数；
[0082]
(2)一句话的文本内容t＝{t1，...tn}，其中n为文本内容的单词数；
[0083]
(3)真实情感标签l。
[0084]
在本实施例中，情感数据集采用iemocap数据库，该数据集记录了10个演员在五次会话中大约12个小时的对话记录，含有文本、语音模态。与国际做法保持一致，采用五折交叉验证的评价方法，即五次会话中的每一次会话数据轮流作为测试样本，而其它的四次会话数据作为训练样本。标签体系则含有“快乐”、“悲伤”、“愤怒”、“中立”等。经过数据预处理后，留下上述四个常用标签下的清洗过的文本、语音、和标签。
[0085]
s2、根据训练样本训练多模态模型transformer进行情感识别任务；其中，特征提取器基于预训练模型和多头自注意力模型生成每种模态的初始特征；交互模块基于多粒度窗口互注意力模型生成多粒度特征；融合模块基于自注意力模型生成深度融合特征；分类器基于非线性层生成预测情感状态；损失函数和优化器通过拟合预测情感状态和真实情感状态实现模型的训练。
[0086]
以下结合以文本和语音模态为例进行解释，具体如下：
[0087]
首先，分别获取语音、文本模态的大规模预训练模型wavlm和roberta，并依次对训练样本提取预训练特征p
u/t
；每种模态的预训练特征再经过各自的单模态模型计算得出相应的初始特征向量其中，f
iu/t
为帧/字级别的高维特征向量。这里的单模态模型基于多头自注意力机制实现，每个头包含wq、wk、wv三个矩阵，预训练特征与这三个矩阵逐个相乘得到q、k、v三个矩阵，随后q矩阵和转置后的k矩阵相乘，并经过softmax层得到自注意力关系，再乘以v矩阵产生注意力向量，最后经过线性层生成初始特征向量：
[0088]
q＝wqp k＝wkp v＝wvp
[0089][0090]
f＝f(attention)
[0091]
其中，d为经过wq、wk、wv三个矩阵线性变换后的隐层向量的维度。
[0092]
得到初始特征向量，交互模块基于多粒度窗口互注意力机制生成多粒度特征。具体来说，语音和文本依次分别作为主模态x
u/t
和次模态x
t/u
，经过分窗后，次模态的每段窗口从两端往两侧延伸，延伸的长度由不同粒度决定，对原始的一段窗口产生n段不同长度的新窗口；原窗口为其中长度最短的窗口，重要性最大，窗口越长重要性越小，使用的池化核越大；拼接不同粒度池化后的窗口，产生新的key和value，与主模态的query进行注意力计算，产生多粒度特征，为主模态提供灵活丰富的交互信息。
[0093][0094][0095][0096][0097][0098]
沿着时间轴拼接两种模态的多粒度特征，融合模块基于多头自注意力网络生成深度融合特征：
[0099]
q＝wq[u，t] k＝wk[u，t] v＝wv[u，t]
[0100]
两种模态的深度特征hu、h
t
分别池化掉时间轴后产生特征向量，拼接两个特征向量得出最后的多模态特征向量；分类器采用非线性激活的全连接层，对多模态特征向量变换后经过softmax，通过取最大预测概率的下标得到预测情感状态：
[0101]hconcat
＝[tp(hu)，tp(h
t
)]
[0102]
p＝softmax(wch
concat
+bc)
[0103][0104]
其中tp表示时间轴池化，wc、bc表示输出线性层的参数，是数据集对应的情绪类别集合，是取最大概率的下标得到的预测情绪类别；
[0105]
训练阶段的损失函数为交叉熵函数，其中n为训练样本数，pi、yi分别为预测情感状态和真实情感状态：
[0106][0107]
s3、根据测试样本衡量模型的性能表现保存性能最好的模型。
[0108]
根据测试样本衡量模型的性能表现保存性能最好的模型。可选地，采取的衡量指标是加权准确率和未加权准确率的平均值，从而防止数据不平衡情况下的预测倾斜现象，将指标下性能最优的整个模型的参数和结构都保存下来。
[0109]
s4、将实际环境中的多模态样本，输入获得的性能最好的模型中，输出预测情感状态。
[0110]
开放环境中的多模态样本通过性能最好的模型生成预测情感状态。在实际的开放环境中，用各种麦克风设备录取的语音，以及其相应的转录文本构成新的输入样本，通过保存的端到端模型预测情感状态结果并进行反馈。
[0111]
本实施例还提供一种基于多粒度窗口互注意力的多模态情感识别装置，包括：
[0112]
至少一个处理器；
[0113]
至少一个存储器，用于存储至少一个程序；
[0114]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所述方法。
[0115]
本实施例的一种基于多粒度窗口互注意力的多模态情感识别装置，可执行本发明方法实施例所提供的一种基于多粒度窗口互注意力的多模态情感识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0116]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0117]
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种基于多粒度窗口互注意力的多模态情感识别方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0118]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0119]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0120]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0121]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0122]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0123]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0124]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0125]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0126]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，包括以下步骤：获取多模态数据库，根据多模态数据库获取训练样本和测试样本，获取每个样本的真实情感状态；根据训练样本训练多模态模型进行情感识别任务；根据测试样本衡量多模态模型的性能，并获取性能最好的模型；将实际环境中的多模态样本，输入获得的性能最好的模型中，输出预测情感状态；其中，所述多模态模型包括特征提取器、交互模块、融合模块和分类器；所述多模态模型对输入的样本数据进行以下处理：特征提取器根据样本数据生成每种模态的初始特征向量；交互模块根据初始特征向量和多粒度窗口互注意力机制生成多粒度特征；融合模块根据多粒度特征生成深度融合特征；分类器根据深度融合特征生成预测情感状态。2.根据权利要求1所述的一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，所述多模态数据库包含文本模态、语音模态、视频模态、脑电模态中的两种模态数据，各种模态数据都具有时序性；所述根据多模态数据库获取训练样本和测试样本，包括：从多模态数据库中切分出句子级别的数据，并对切分获得的数据进行处理，获得样本数据。3.根据权利要求1所述的一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，所述特征提取器根据样本数据生成每种模态的初始特征向量，包括：获取每种模态的预训练模型；根据样本数据和预训练模型提取各模态的预训练特征p
u/t
；将每种模态的预训练特征经过各自的单模态模型，计算得出相应的初始特征向量其中，f
iu/t
为帧级别或字级别的高维特征向量。4.根据权利要求3所述的一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，所述单模态模型通过多头自注意力机制生成初始特征向量：多头注意力机制网络的每个头包含query、key、value对应的w
q
、w
k
、w
v
三个矩阵，预训练特征与这三个矩阵逐个相乘得到q、k、v三个矩阵，随后q矩阵和转置后的k矩阵相乘，并经过softmax层得到自注意力关系，再乘以v矩阵产生注意力向量，最后经过线性层生成初始特征向量：q＝w
q
p，k＝w
k
p，v＝w
v
pf＝f(attention)其中，d为经过w
q
、w
k
、w
v
三个矩阵线性变换后的隐层向量的维度。5.根据权利要求1所述的一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，所述交互模块根据初始特征向量和多粒度窗口互注意力机制生成多粒度特征，包括：将两种模态的特征向量进行分窗，并确保各模态的窗口数相同；
将两种模态依次分别作为主模态x
u/t
和次模态x
t/u
，次模态x
t/u
经过多粒度化，以为主模态x
u/t
提供交互信息；使用分窗后的主模态窗口产生矩阵q
w
，使用分窗且多粒度化后的次模态产生矩阵k
w
和矩阵v
w
，进行模态间的窗口注意力交互：，进行模态间的窗口注意力交互：式中，w
q
、w
k
、w
v
分别为多头注意力机制网络的每个头包含query、key、value对应的矩阵，d为经过w
q
、w
k
、w
v
三个矩阵线性变换后的隐层向量的维度。6.根据权利要求5所述的一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，所述次模态x
t/u
经过多粒度化，以为主模态x
u/t
提供交互信息，包括：通过对次模态进行无重叠的分窗，产生多段帧数为n的次模态窗口数据，每一段窗口作为起始的k
w
＝{k
w1
，...，k
wn
}和v
w
＝{w
w1
，...，v
wn
}；将每段窗口从两端往两侧延伸，延伸的长度由不同粒度决定，对原始的一段窗口产生n段不同长度的新窗口；其中，原窗口为其中长度最短的窗口，重要性最大，窗口越长重要性越小，使用的池化核越大；拼接不同粒度池化后的窗口，产生新的key和value，与主模态的query进行注意力计算，产生多粒度特征：后的窗口，产生新的key和value，与主模态的query进行注意力计算，产生多粒度特征：后的窗口，产生新的key和value，与主模态的query进行注意力计算，产生多粒度特征：后的窗口，产生新的key和value，与主模态的query进行注意力计算，产生多粒度特征：。7.根据权利要求1所述的一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，所述融合模块根据多粒度特征生成深度融合特征，包括：将两种模态的多粒度特征u和t在时间轴上拼接作为一个整体；采用基于多层多头自注意力机制网络对整体特征进行整合，在token级别进行模态内和模态间的信息融合，产生深度融合特征：q＝w
q
[u，t]，k＝w
k
[u，t]，v＝w
v
[u，t]两种模态的深度特征h
u
、h
t
分别池化掉时间轴后产生特征向量，拼接两个特征向量得出最后的多模态特征向量。8.根据权利要求1所述的一种基于多粒度窗口互注意力的多模态情感识别方法，其特征在于，所述分类器根据深度融合特征生成预测情感状态，包括：采用非线性激活的全连接层，对多模态特征向量变换后经过softmax，通过取最大预测概率的下标得到预测情感状态：h
concat
＝[tp(h
u
)，tp(h
t
)]p＝softmax(w
c
h
concat
+b
c
)其中，tp表示时间轴池化，h
u
和h
t
为两种模态的深度特征，w
c
、b
c
表示输出线性层的参数，是数据集对应的情绪类别集合，是取最大概率的下标得到的预测情绪类别。
9.一种基于多粒度窗口互注意力的多模态情感识别装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-8任一项所述方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。

技术总结
本发明公开了一种基于多粒度窗口互注意力的多模态情感识别方法、装置及存储介质，其中方法包括：获取训练样本和测试样本；根据获得的样本训练多模态模型进行情感识别任务，并测试模型；将实际环境中的多模态样本，输入训练后的模型中，输出预测情感状态；其中多模态模型对输入的样本数据进行以下处理：特征提取器根据样本数据生成每种模态的初始特征向量；交互模块根据初始特征向量和多粒度窗口互注意力机制生成多粒度特征；融合模块根据多粒度特征生成深度融合特征；分类器根据深度融合特征生成预测情感状态。本发明通过多粒度窗口互注意力机制，提供一个灵活的互注意力窗口，使得多模态情感识别的性能有所提升，可广泛用于情感计算技术领域。情感计算技术领域。情感计算技术领域。


技术研发人员：徐向民 范为铨 方元博 邢晓芬
受保护的技术使用者：华南理工大学
技术研发日：2023.02.09
技术公布日：2023/8/21