一种基于双注意力机制的人脸微表情识别方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于双注意力机制的人脸微表情识别方法。


背景技术：

2.微表情是心理学名词，人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部会“泄露”出其它的信息，“微表情”持续时间较短，可能一个下意识的表情可能只持续一瞬间，但很容易暴露情绪。
3.为提高微表情识别方法的效率和适用性，目前通常采用机器识别方法识别人类的微表情，即需要获取待识别对象的视频数据，然后采用基于深度学习的识别模型对视频数据进行微表情识别；中国专利cn113963423a公开了一种基于神经网络的微表情识别方法、系统、设备及存储介质，该方法包括：对待识别视频中微表情图像进行预处理，获取预处理后的微表情图像；提取预处理后的微表情图像中的微表情时空特征；将预处理后的微表情图像中的微表情时空特征输入到微表情识别模型中，对所述待识别视频中的微表情进行识别；但是现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，基于此，本发明提出了一种基于双注意力机制的人脸微表情识别方法。


技术实现要素：

4.本发明的目的在于针对现有技术的不足之处，提供一种基于双注意力机制的人脸微表情识别方法，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的问题。
5.本发明是这样实现的，一种基于双注意力机制的人脸微表情识别方法，包括：
6.获取人脸微表情图像；其中，所述人脸微表情图像通过全方位图像信息捕捉，用于获取不同角度的人脸微表情信息；
7.基于预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，所述图像元素信息满足ar空间三维建模需求；
8.将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。
9.优选地，所述获取人脸微表情图像，具体包括：
10.对人脸微表情获取设备工作过程中的数据信息进行提取，从拍摄图像的数据信息中统计所监控的数据信息，然后基于以下函数公式找到最清晰的拍摄图像数据；
11.f(x)＝min(min(t
σ
(y)))
→012.其中，f(x)为获取设备的图像数据集合；t
σ
(y)为获取设备的信息变量；y为所获取的图像数据信息的高清图像集；t为分解图像的识别时间；σ为所分解监控图像数据信息的模糊去噪常数。
13.优选地，所述获取人脸微表情图像，具体还包括：
14.获取最清晰的拍摄图像数据，基于暗通道方式对所有拍摄图像的模糊区域数据信息过滤并清除，得到清除后图像数据集。
15.优选地，所述双注意力识别模型的训练方法，具体包括：
16.获取双注意力识别模型训练用样本数据，将样本数据按照3:1:1的比例分为训练集、测试集和验证集；
17.基于所述训练集以及预设的双注意力机制的cnn-lstm模型算法对预先建立的双注意力识别模型进行训练，获得训练后的双注意力识别模型；
18.提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型；
19.基于交叉验证从所有所述剪枝后的双注意力识别模型中选择出最优的双注意力识别模型。
20.优选地，所述双注意力识别模型的训练方法，具体还包括：
21.提取验证集，采用通道注意力机制为所述双注意力识别模型中的最大池化特征和所述平均池化特征分配权重，以输出图像空间特征。
22.优选地，所述提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型，具体包括：
23.将所述测试数据集中所有数据输入至初始双注意力识别模型内，当所述所有数据进入初始决策树模型后，分别计算所述初始双注意力识别模型内每一个节点的损失；
24.判断所述初始双注意力识别模型内每一个节点的损失是否小于预设阈值，其中，每个节点的预设阈值基于预设阈值集获取；若当前节点损失小于预设阈值，则停止当前节点建树。若当前节点损失大于预设阈值，调整所述初始决策树模型节点参数，基于双注意力机制重新剪枝。
25.优选地，所述基于预训练的双注意力识别模型对人脸微表情图像进行处理，具体包括：
26.获取清除后图像数据集；
27.通过双注意力识别模型的分解函数对图像进行分解，在所分解的监控图像数据中标注识别坐标；
28.根据图像进行分解数据，对分解数据中无效的区域进行容差计算，得到处理后不同维度的图像元素信息。
29.优选地，所述分解函数为：
[0030][0031]
其中，为图像分解结果，n为图像集的总数量，i为图像集中图像的索引值，k
σ
表示在获取图像时受到外界环境数据信息影响因子；σ表示信息获取过程中产生模糊区域的模糊去噪常数。
[0032]
优选地，将所述转换后的图像元素信息构建为三维微表情模型，具体包括：
[0033]
在三维微表情显示界面形成至少一个互动显示区域；
[0034]
获取不同维度的图像元素信息；
[0035]
通过mfc算法模型实现虚拟图像元素信息显示。
[0036]
优选地，所述通过mfc算法模型实现虚拟图像元素信息显示，具体包括：
[0037]
将不同维度的图像元素信息根据双注意力识别模型进行维度特征定义；
[0038]
通过双注意力识别模型实现不同维度图像数据信息模块的维度特征定义，所述维度特征定义采用卷积分算法模型实现数据的维度特征定义；
[0039]
基于虚拟化三维建模环境进行，通过显示器实现三维微表情模型动态演示；
[0040]
所述双注意力识别模型根据三维微表情模型的显示内容对人脸微表情图像进行识别，得到识别结果，根据三维微表情模型的显示分别为3d模型动态演示和局部特征信息演示。
[0041]
与现有技术相比，本技术实施例主要有以下有益效果：
[0042]
本技术通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，提高了识别效率。
附图说明
[0043]
图1是本发明提供的基于双注意力机制的人脸微表情识别方法的实现流程示意图。
[0044]
图2是本发明提供的获取人脸微表情图像实现流程示意图。
[0045]
图3是本发明提供的双注意力识别模型的训练方法的实现流程示意图。
[0046]
图4是本发明提供的提取测试集对训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型的实现流程示意图。
[0047]
图5是本发明提供的基于预训练的双注意力识别模型对人脸微表情图像进行处理的实现流程示意图。
[0048]
图6是本发明提供的基于双注意力机制的人脸微表情识别的实现流程示意图。
[0049]
图7是本发明提供的通过mfc算法模型实现虚拟图像元素信息显示的实现流程示意图。
[0050]
图8是本发明提供的基于双注意力机制的人脸微表情识别系统的结构示意图。
具体实施方式
[0051]
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
[0052]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
[0053]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0054]
现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，基于此，本发明提出了一种基于双注意力机制的人脸微表情识别方法，方法包括：获取人脸微表情图像；基于预训练的双注意力识别模型对人脸微表情图像进行处理；将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。本发明通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，提高了识别效率。
[0055]
本发明实施例提供了一种基于双注意力机制的人脸微表情识别方法，如图1所示，示出了基于双注意力机制的人脸微表情识别方法的实现流程示意图，具体包括：
[0056]
步骤s10，获取人脸微表情图像；其中，所述人脸微表情图像通过全方位图像信息捕捉，用于获取不同角度的人脸微表情信息；
[0057]
步骤s20，基于预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，所述图像元素信息满足ar空间三维建模需求；
[0058]
步骤s30，将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。
[0059]
在本实施例中，本发明通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，提高了识别效率。
[0060]
其中，上述步骤s10的获取人脸微表情图像的方法，如图2所示，示出了获取人脸微表情图像的实现流程示意图，具体包括：
[0061]
步骤s101，对人脸微表情获取设备工作过程中的数据信息进行提取，从拍摄图像的数据信息中统计所监控的数据信息，比如包括拍摄图像所包含的图像数据量、监控设备的网络协议(internet protocol，ip)地址、snmp的版本号以及snmp的团体编号等，然后基于以下函数公式找到最清晰的拍摄图像数据；
[0062]
f(x) ＝min(min(t
σ
(y)))
ꢀ→
0 (1)
[0063]
其中，f(x)为获取设备的图像数据集合，t
σ
(y)为获取设备的信息变量(即监控设备采集图像的信息变量)，其中，y表示所获取的图像数据信息的高清图像集，t表示分解图像的识别时间，而σ表示所分解监控图像数据信息的模糊去噪常数；通过公式(1)可以输出最清晰的拍摄图像数据。
[0064]
步骤s102，获取最清晰的拍摄图像数据，基于暗通道方式对所有拍摄图像的模糊区域数据信息过滤并清除，得到清除后图像数据集。
[0065]
在本实施例中，人脸微表情获取设备可以为360全景摄像机或夜视监控相机，人脸
微表情获取设备采用360的云录功能，它可以将画面变化的录像自动存储在云端，人脸微表情获取设备为无盲点监测设备，人脸微表情获取设备的监测覆盖面积为30平方米，在具体实施例中，可以设有采用鱼眼式全景成像光学系统。
[0066]
其中，上述步骤s20中双注意力识别模型的训练方法，如图3所示，示出了双注意力识别模型的训练方法的实现流程示意图，所述双注意力识别模型的训练方法，具体包括：
[0067]
步骤s201，获取双注意力识别模型训练用样本数据，将样本数据按照3:1:1的比例分为训练集、测试集和验证集；
[0068]
步骤s202，基于所述训练集以及预设的双注意力机制的cnn-lstm模型算法对预先建立的双注意力识别模型进行训练，获得训练后的双注意力识别模型；
[0069]
步骤s203，提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型；
[0070]
步骤s204，基于交叉验证从所有所述剪枝后的双注意力识别模型中选择出最优的双注意力识别模型；
[0071]
步骤s205，提取验证集，采用通道注意力机制为所述双注意力识别模型中的最大池化特征和所述平均池化特征分配权重，以输出图像空间特征。
[0072]
在本实施例中，cnn-lstm模型是一个神经网络模型即机器学习中的神经网络模型，是由大量的、简单地处理单元(称为神经元)广泛地互相连接而形成的复杂神经网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。简单地讲，它是一个数学模型。在本实施例中，将样本数据输入双注意力识别模型进行不断训练，使得双注意力识别模型的匹配度更为优化、精准。
[0073]
本发明实施例提供了提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型，如图4所示，示出了提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型的实现流程示意图；具体包括：
[0074]
步骤s2031，将所述测试数据集中所有数据输入至初始双注意力识别模型内；
[0075]
步骤s2032，当所述所有数据进入初始决策树模型后，分别计算所述初始双注意力识别模型内每一个节点的损失；
[0076]
步骤s2033，判断所述初始双注意力识别模型内每一个节点的损失是否小于预设阈值，其中，每个节点的预设阈值基于预设阈值集获取；
[0077]
步骤s2034，若当前节点损失小于预设阈值，则停止当前节点建树；若当前节点损失大于预设阈值，调整所述初始决策树模型节点参数，基于双注意力机制重新剪枝。
[0078]
本发明实施例提供了基于预训练的双注意力识别模型对人脸微表情图像进行处理的过程，如图5所示，示出了基于预训练的双注意力识别模型对人脸微表情图像进行处理的实现流程示意图，具体包括：
[0079]
步骤s301，获取清除后图像数据集；
[0080]
步骤s302，通过双注意力识别模型的分解函数对图像进行分解，在所分解的监控图像数据中标注识别坐标；
[0081]
步骤s303，根据图像进行分解数据，对分解数据中无效的区域进行容差计算，得到处理后不同维度的图像元素信息。
[0082]
在本技术中，所述分解函数为：
[0083][0084]
其中，为图像分解结果，n为图像集的总数量，i为图像集中图像的索引值，k
σ
表示在获取图像时受到外界环境数据信息影响因子，σ表示信息获取过程中产生模糊区域的模糊去噪常数。
[0085]
本发明实施例提供了一种基于双注意力机制的人脸微表情识别方法，如图6所示，示出了所述基于双注意力机制的人脸微表情识别的实现流程示意图，具体包括：
[0086]
步骤s401，在三维微表情显示界面形成至少一个互动显示区域；
[0087]
步骤s402，获取不同维度的图像元素信息；
[0088]
步骤s403，通过mfc算法模型实现虚拟图像元素信息显示。
[0089]
本发明实施例提供了通过mfc算法模型实现虚拟图像元素信息显示的方法，如图7所示，示出了通过mfc算法模型实现虚拟图像元素信息显示的实现流程示意图，具体包括：
[0090]
步骤s4031，将不同维度的图像元素信息根据双注意力识别模型进行维度特征定义；
[0091]
步骤s4032，通过双注意力识别模型实现不同维度图像数据信息模块的维度特征定义，所述维度特征定义采用卷积分算法模型实现数据的维度特征定义；
[0092]
步骤s4033，基于虚拟化三维建模环境进行，通过显示器实现三维微表情模型动态演示；
[0093]
步骤s4034，所述双注意力识别模型根据三维微表情模型的显示内容对人脸微表情图像进行识别，得到识别结果，根据三维微表情模型的显示分别为3d模型动态演示和局部特征信息演示。
[0094]
基于同一发明构思，本发明实施例还提供了一种基于双注意力机制的人脸微表情识别系统，如图8所示，示出了基于双注意力机制的人脸微表情识别系统的结构示意图，具体包括：
[0095]
图像获取模块100，所述图像获取模块100用于获取人脸微表情图像；其中，所述人脸微表情图像通过全方位图像信息捕捉，用于获取不同角度的人脸微表情信息；
[0096]
模型处理模块200，所述模型处理模块200基于预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，所述图像元素信息满足ar空间三维建模需求；
[0097]
三维模型构建模块300，所述三维模型构建模块300将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。
[0098]
在本实施例中，本发明通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，提高了识别效率。
[0099]
基于同一发明构思，本发明实施例还提供了一种计算机设备的结构示意图，该计算机设备包括显示屏、存储器、处理器以及计算机程序，其中所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于双注意力机制的
人脸微表情识别方法的步骤。
[0100]
可以理解的是，在本发明提供的优选实施例中，该计算机设备还可以为笔记本电脑、个人数字助理(personal digitalassistant，pda)、手机等可以进行通信的设备。
[0101]
基于同一发明构思，本发明还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于双注意力机制的人脸微表情识别方法的步骤。
[0102]
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。例如，上述计算机程序可以被分割成上述各个系统实施例提供的基于双注意力机制的人脸微表情识别系统的单元或模块
[0103]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
[0104]
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区；存储数据区可存储根据基于双注意力机制的人脸微表情系统的使用所创建的数据。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0105]
最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)或快闪存储器。易失性存储器可以包括随机存取存储器(ram)，该ram可以充当外部高速缓存存储器。作为例子而非限制性的，ram可以以多种形式获得，比如同步ram(dram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强sdram(esdram)、同步链路dram(sldram)、以及直接rambus ram(drram)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
[0106]
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其
它这种配置。
[0107]
综上所述，本发明提供了一种基于双注意力机制的人脸微表情识别方法，通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的现象，提高了识别效率。
[0108]
需要说明的是，对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可能采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，涉及的动作和模块并不一定是本发明所必须的。
[0109]
本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或通信连接可以是通过一些接口，装置或单元之间的间接耦合或通信连接，可以是电信或者其它的形式。
[0110]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0111]
以上实施例仅用以说明本发明的技术方案，而非对发明的保护范围进行限制。
[0112]
显然，所描述的实施例仅仅是本发明部分实施例，而不是全部实施例。基于这些实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明所要保护的范围。尽管参照上述实施例对本发明进行了详细的说明，本领域普通技术人员依然可以在不冲突的情况下，不作出创造性劳动对本发明各实施例中的特征根据情况相互组合、增删或作其他调整，从而得到不同的、本质未脱离本发明的构思的其他技术方案，这些技术方案也同样属于本发明所要保护的范围。

技术特征：
1.一种基于双注意力机制的人脸微表情识别方法，其特征在于，所述基于双注意力机制的人脸微表情识别方法包括：获取人脸微表情图像；其中，所述人脸微表情图像通过全方位图像信息捕捉，用于获取不同角度的人脸微表情信息；基于预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，所述图像元素信息满足ar空间三维建模需求；将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。2.如权利要求1所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述获取人脸微表情图像，具体包括：对人脸微表情获取设备工作过程中的数据信息进行提取，从拍摄图像的数据信息中统计所监控的数据信息，然后基于以下函数公式找到最清晰的拍摄图像数据；f(x)＝min(min(t
σ
(y)))
→
0其中，f(x)为获取设备的图像数据集合；t
σ
(y)为获取设备的信息变量；y为所获取的图像数据信息的高清图像集；t为分解图像的识别时间；σ为所分解监控图像数据信息的模糊去噪常数。3.如权利要求2所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述获取人脸微表情图像，具体还包括：获取最清晰的拍摄图像数据，基于暗通道方式对所有拍摄图像的模糊区域数据信息过滤并清除，得到清除后图像数据集。4.如权利要求1-3任一所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述双注意力识别模型的训练方法，具体包括：获取双注意力识别模型训练用样本数据，将样本数据按照3:1:1的比例分为训练集、测试集和验证集；基于所述训练集以及预设的双注意力机制的cnn-lstm模型算法对预先建立的双注意力识别模型进行训练，获得训练后的双注意力识别模型；提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型；基于交叉验证从所有所述剪枝后的双注意力识别模型中选择出最优的双注意力识别模型。5.如权利要求4所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述双注意力识别模型的训练方法，具体还包括：提取验证集，采用通道注意力机制为所述双注意力识别模型中的最大池化特征和所述平均池化特征分配权重，以输出图像空间特征。6.如权利要求5所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述提取测试集对所述训练后的双注意力识别模型进行剪枝，得到对应的多个剪枝后的双注意力识别模型，具体包括：将所述测试数据集中所有数据输入至初始双注意力识别模型内，当所述所有数据进入初始决策树模型后，分别计算所述初始双注意力识别模型内每一个节点的损失；
判断所述初始双注意力识别模型内每一个节点的损失是否小于预设阈值，其中，每个节点的预设阈值基于预设阈值集获取；若当前节点损失小于预设阈值，则停止当前节点建树；若当前节点损失大于预设阈值，调整所述初始决策树模型节点参数，基于双注意力机制重新剪枝。7.如权利要求1-3任一所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述基于预训练的双注意力识别模型对人脸微表情图像进行处理，具体包括：获取清除后图像数据集；通过双注意力识别模型的分解函数对图像进行分解，在所分解的监控图像数据中标注识别坐标；根据图像进行分解数据，对分解数据中无效的区域进行容差计算，得到处理后不同维度的图像元素信息。8.如权利要求7所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述分解函数为：其中，为图像分解结果，n为图像集的总数量，i为图像集中图像的索引值，k
σ
表示在获取图像时受到外界环境数据信息影响因子；σ表示信息获取过程中产生模糊区域的模糊去噪常数。9.如权利要求8所述的基于双注意力机制的人脸微表情识别方法，其特征在于：将所述转换后的图像元素信息构建为三维微表情模型，具体包括：在三维微表情显示界面形成至少一个互动显示区域；获取不同维度的图像元素信息；通过mfc算法模型实现虚拟图像元素信息显示。10.如权利要求9所述的基于双注意力机制的人脸微表情识别方法，其特征在于：所述通过mfc算法模型实现虚拟图像元素信息显示，具体包括：将不同维度的图像元素信息根据双注意力识别模型进行维度特征定义；通过双注意力识别模型实现不同维度图像数据信息模块的维度特征定义，所述维度特征定义采用卷积分算法模型实现数据的维度特征定义；基于虚拟化三维建模环境进行，通过显示器实现三维微表情模型动态演示；所述双注意力识别模型根据三维微表情模型的显示内容对人脸微表情图像进行识别，得到识别结果，根据三维微表情模型的显示分别为3d模型动态演示和局部特征信息演示。

技术总结
本发明公开了一种基于双注意力机制的人脸微表情识别方法，属于图像处理技术领域，解决了现有方法采用串联特征拼接方式存在拼接误差大的问题，从而导致识别不精准的问题，方法包括：获取人脸微表情图像；基于预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息；将所述转换后的图像元素信息构建为三维微表情模型，三维微表情模型通过立体数据信息输出显示。该方法通过预训练的双注意力识别模型对人脸微表情图像进行处理，并将处理后的人脸微表情图像转换为不同维度的图像元素信息，然后对三维微表情模型进行精准识别，提高了识别效率。提高了识别效率。提高了识别效率。


技术研发人员：张绍阳 王英帆 柳永利 张子卓 李亮
受保护的技术使用者：西安图讯信息科技有限公司
技术研发日：2023.04.23
技术公布日：2023/9/7