一种双特征融合的跨域微表情识别方法

1.本发明属于计算机视觉领域，具体涉及一种采用双特征融合的跨域微表情识别方法。


背景技术：

2.与普通的面部表情不同，面部微表情在几分之一秒内发生，动作强度很低。他们不由自主的情感泄露通常会暴露真实的情绪和感受，而人们往往会隐藏这些情绪和感受。在某些情况下，即使人们可以故意摆出虚假和误导性的面部表情，他们也很难隐藏他们的微表情，这些微表情揭示了他们真实的情感状态。微表情识别技术在心理诊断、刑事侦查、司法判决等领域有着广泛的应用。
3.现有的微表情识别方法大多以同一个数据集作为训练集和测试集。例如，三个正交平面的局部二值模式(lbp-top)、三个正交平面的图像梯度直方图(higo-top)和稀疏主方向平均光流(mdmo)等方法用于识别微表情。近年来，深度学习方法也被应用于微表情识别中，并取得了比传统手工方法更优秀的性能。如三流卷积神经网络(tscnns)、时空循环神经网络(strnns)和循环卷积网络(rcns)。
4.尽管微表情识别技术已经取得了长足的进步，但目前还没有真正的应用。微表情识别技术在现实生活中的广泛应用面临着两个主要挑战。首先，由于微表情持续时间短，发生频率低，我们可以从大量的面部视频中捕捉到数量非常有限的微表情样本。因此，微表情识别系统所学习的特征是有限的，这对于要高精度的识别微表情是一个挑战。最主要的是，它们大多是在一个理想的假设下设计的，即训练数据和测试数据来自同一个数据库。在这种情况下，两个微表情数据集遵守相同或相似的特征概率分布。然而，现实中进行微表情识别时就很容易打破这种理想假设。


技术实现要素：

5.本发明提出一种双特征融合的跨域微表情识别方法，本发明的技术方案主要包括以下步骤：1.双特征融合：通过将原始数据送入动作单元检测模型提取具有代表一定肌肉动作的空间信息；通过gunnar farneback算法将原始数据转换为光流场提取时间信息。将两种特征信息融合使得特征信息更加充分。2.跨域识别：将源域跟目标域提取到的特征信息分别送入自注意力模块提取自身领域信息，然后将两个域提取到的信息送入交叉注意模块提取两个域重合的信息以进行两个域特征对齐实现跨域识别。3.微表情预测：采用fine-tuning学习方法进行分类，最终得到预测值。
6.本发明的效果是：本发明方法通过应用于casmeⅱ，mmew，samm数据集上实验验证，以casmeⅱ作为源域，mmew作为目标域最优实验结果的准确率和f1值分别是54.44％和54.53％；以mmew作为源域，samm作为目标域最优实验结果的准确率和f1值分别是64.15％和58.41％；以samm作为源域，casmeⅱ作为目标域最优实验结果的准确率和f1值分别是64.42％和66.20％，平均效果优于现有模型。
附图说明
7.图1模型总体结构图。
具体实施方式
8.本发明具体实施分为三个步骤：1.双特征融合；2.跨域识别；3.微表情预测。首先通过将原始数据送入动作单元检测模型提取具有代表一定肌肉动作的空间信息；通过gunnar farneback算法将原始数据转换为光流场提取时间信息。其次，将源域跟目标域提取到的双特征分别送入自注意力模块提取自身领域信息后共同送入交叉注意模块进行两个域特征对齐。最后，采用fine-tuning学习方法进行分类预测。本方法结构如图1所示：
9.(1)双特征融合
10.本发明将视频帧序列中的顶点帧s
apex
馈入降噪自动编码器(dae)进行数据降噪以及特征提取。这个过程可以表示为：y＝σd(w2h1+b3)接着，dae编码器的输出被馈送到用au数据集d
au
预先训练的au检测器p中。该检测器将au相关特征转化为预测结果p＝[ω1,ω2,
…
,ω
au
]，，并以作为s
apex
具有第i个动作单元的可能性。
[0011]
使用两个具有relu激活函数的投影层将x
au
和p分别投影到同一个特征空间。同时，x
au
的投影层将其转换为低维向量，提取任务相关信息。投影层的线性变换将输入数据通过权重矩阵进行线性映射，并添加偏置项。假设输入数据为x，权重矩阵为w，偏置项为b，则线性变换的计算公式如下：z＝wx+b
[0012]
用d
au
对au检测器p进行预训练以将au检测的知识引入到我们的模型中。对于d
au
中的样本x，p(x)∈[0,1]表示所有au标记出现的可能性。我们计算au损失的公式如下：
[0013]
利用描述人脸视频的起始帧和顶点帧来计算光流图像。采用resnet作为光流模块的编码器。计算公式如下：的编码器。计算公式如下：的编码器。计算公式如下：利用gunnar farneback算法生成密集光流作为光流模块的输入。我们将光流模块得到的高维特征嵌入x
of
映射到e
a1
和e
a2
的同一特征空间，通过级联卷积神经网络融合三个特征。级联卷积神经网络是一种级联融合方法，其中多个卷积神经网络模型按顺序连接在一起。每个模型负责处理不同的特征层，将其输出作为下一个模型的输入。级联卷积神经网络的公式如下：y1＝f1(x)y2＝f2(y1)
y3＝f3(y2)(2)跨域识别
[0014]
通过我们上面的步骤从源域和目标域中提取特征信息对后分别发送到源分支和目标分支。在这两个分支中，采用自注意力机制学习自身领域特定的表示。公式如下：其中a(query,keyi)称为评分函数。用来实现查询和键的相关性计算，然后再经过softmax函数，即可得到查询和键的概率分布(即注意力权重)。最后，通过注意力权重和value值进行加权，实现注意力分配以及结果筛选。
[0015]
源域和目标域分别通过自注意力机制得到的结果输入到交叉注意力机制中进行特征对齐，用来捕捉源域和目标域具有相关性的特征信息。公式如下：特征对齐，用来捕捉源域和目标域具有相关性的特征信息。公式如下：其中，a
ij
是注意力权重计算结果，ci是加权融合后的结果。(3)微表情预测
[0016]
采用fine-tuning学习方法来进行分类。分类器c将特征嵌入e投影到标签空间，预测给定的面部视频的微表情类别。fine-tuning方法采用全连通层作为分类器。它在训练阶段的权重为，其中d表示特征嵌入e的维数，es是d
train
中的微表情类别集合。而在d
suppter
和d
test
中，只保留特征嵌入模型m的参数，将c的权重矩阵重新初始化为，其中e
t
是d
suppter
和d
test
中的微表情类别集合。将特征嵌入e输入到分类器c中时，输出为我们用基于余弦距离的分类器实现fine-tuning方法。c的权矩阵为,是|es|向量的串联。当一个特征嵌入被输入到分类器中时，输出是：其中sim是余弦距离函数。给定两个向量e和w，输出计算如下：我们使用交叉熵损失函数来训练分类器c，如下所示：
[0017]
发明实施的实验硬件环境：cpu：11th gen intel(r)core(tm)i7-11800h@2.30ghz 2.30ghz，gpu：nvidia geforce rtx 3060，内存为16g，软件运行环境为windows 10版本。本发明利用casmeⅱ，mmew，samm三个数据集测试数据，证明了本方法相对于其他方法的优越性。
[0018]
实施例一：微表情识别本发明在casmeⅱ，mmew，samm三个数据集上评估模型，采用准确率(acc)和f1值作为评价指标。为评价指标。实验结果如表1和表2所示，表中
“→”
左边代表源域，右边代表目标域，c代表casmeⅱ数据集，m代表mmew数据集，s代表samm数据集。
[0019]
表1：实验结果(f1值)表1：实验结果(f1值)
[0020]
表2：实验结果(准确率)从表1和表2中可以看出，本发明在casmeⅱ，mmew，samm数据集上整体优于表中的其他方法，说明本发明的研究具有重要作用，本发明方法可以有效地建模多种特征的融合信息和源域跟目标域之间的关联信息。
[0021]
综上所述，本发明提出的双特征融合的跨域微表情识别方法来推断视频帧中人的面部微表情。通过实验结果表明，本发明在casmeⅱ，mmew，samm数据集上整体优于其他已有主流方法，能够有效地建模多种特征的融合信息和源域跟目标域之间的关联信息，使得特征信息更加充分，有效提高了面部微表情识别的准确率。
[0022]
以上举例仅仅是本发明的举例说明，并不构成对本发明的保护范围限制，凡是与本发明相同或相似的设计均属于本发明保护范围。

技术特征：
1.一种双特征融合的跨域微表情识别方法，其特征在于：(1)双特征融合：通过将原始数据送入动作单元检测模型提取具有代表一定肌肉动作的空间信息；通过gunnar farneback算法将原始数据转换为光流场提取时间信息，将两种特征信息串联融合使得特征信息更加充分；(2)跨域识别：将源域跟目标域提取到的特征信息分别送入自注意力模块提取自身领域信息，然后将两个域提取到的信息送入交叉注意模块提取两个域重合的信息以进行两个域特征对齐实现跨域识别；(3)微表情预测：采用fine-tuning学习方法进行分类，最终得到预测值。

技术总结
本发明属于计算机视觉领域，提出一种双特征融合的跨域微表情识别方法，解决面部肌肉动作信息捕获不充分以及不同域之间特征不一致问题，本发明的技术方案主要包括以下步骤：(1)双特征融合：从动作单元和光流两种角度针对空间信息和时间信息进行特征提取(2)跨域识别：利用交叉注意力机制进行源域跟目标域之间的特征对齐实现跨域识别(3)微表情预测。该方法主要应用于面部微表情识别任务中。主要应用于面部微表情识别任务中。主要应用于面部微表情识别任务中。


技术研发人员：曹小鹏 刘雨涛
受保护的技术使用者：西安邮电大学
技术研发日：2023.06.27
技术公布日：2023/9/20