一种带有辅助分类器的轻量化卷积网络面部情绪识别方法

1.本发明涉及人工智能技术领域，具体为一种带有辅助分类器的轻量化卷积网络面部情绪识别方法。


背景技术：

2.情绪是人类对于外界环境的一种应激反应，也是多种感知器官的综合体现，在我们的日常生活中起着至关重要的作用，因此也被各界学者广泛研究。其中，面部表情、言语和肢体动作都是受情绪影响的一些外部活动。大脑活动、心率、血压、呼吸频率、体温和皮肤电导的变化都是内部情绪影响的例子。
3.但是面部表情是人类传达感情状态和意图的最强大，最自然和最普遍的信号之一。目前针对面部情绪识别研究方向，大多采用卷积神经网络进行情绪识别，由于面部表情数据集样本较少，大家普遍通过提升网络复杂度来提升识别性能，这样做往往会导致模型参数激增，设备计算量增大，不能够保证情绪识别的实时性。当数据集偏小时，模型过于复杂，更容易引起过拟合，模型的性能也会下降。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，解决了上述背景技术中所提出的问题。
6.(二)技术方案
7.本发明为了实现上述目的具体采用以下技术方案：一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，该方法具体包括如下步骤，
8.s101、构建带有辅助分类器的轻量化卷积神经网络模型；
9.s102、准备人脸图像数据集，按比例划分为训练集和测试集；
10.s103、将训练集中的人脸图像数据输入所述带有辅助分类器的轻量化卷积神经网络模型中进行训练；
11.s104、在测试集中测试所述带有辅助分类器的轻量化卷积神经网络模型，优化卷积神经网络模型的参数；
12.s105、将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类的预测结果。
13.进一步地，所述步骤s101中构建带有辅助分类器的轻量化卷积神经网络模型包括底层卷积模块，深度可分离卷积模块，残差模块，辅助分类器，主分类器；
14.底层卷积模块，通过多次普通卷积和批量归一化来提取人脸图像数据的纹理等浅层特征；
15.深度可分离卷积模块，得到的浅层特征数据通过深度可分离卷积执行深度卷积和逐点卷积操作来提取人脸图像数据的深层特征；
16.残差模块，得到的浅层特征数据通过普通卷积运算和批量归一化处理输出残差特征图；
17.辅助分类器，输入深层的融合特征并通过普通卷积层和senet通道注意力模块，自适应平均池化层和展平层，最后利用softmax激活函数进行面部表情预测分类；
18.主分类器，输入提取到深层特征后，通过自适应平均池化后进行面部表情预测分类。
19.进一步地，所述深度可分离卷积模块通过深度可分离卷积执行逐通道卷积操作，并将结果应用于所有通道来提升模型的深度并实现参数共享，减小模型的参数，使模型变得轻量化。
20.进一步地，所述辅助分类器引入senet通道注意力机制，通过构建各个特征通道的重要程度来增强或者抑制不同的通道，提高辅助分类器的识别准确度。
21.进一步地，所述残差模块络利用残差模块中梯度信号可以通过“跳跃连接”实现一层的输出作为输入传递给体系结构的另一层，降低了模型过拟合和梯度爆炸的可能性。
22.进一步地，所述模型采用fer2013人脸表情数据集来进行训练，按照8：2的比例将其划分为训练集和测试集。
23.(三)有益效果
24.与现有技术相比，本发明提供了一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，具备以下有益效果：
25.本发明通过采用深度可分离卷积，利用深度可分离卷积中的逐点卷积在增加模型深度同时起到降维作用，同时也引入残差网络，来进一步降低模型过拟合和梯度爆炸的可能性。
26.本发明通过采用深度可分离卷积来实现参数共享，减少网络参数，深度可分离卷积层将标准卷积层分解为两个操作：深度卷积和逐点卷积，与标准卷积层不同，深度可分离卷积只在每个通道上执行1维核的卷积操作，然后再将结果应用于所有通道，在减少参数数量的同时增加了模型的深度并在一定程度上提高模型的效率，在采用深度可分离卷积的基础上，模型在主分类器前采用自适应平均池化将所有空间位置上的特征都压缩到一个单一的特征值中有效地减少需要学习的参数数量，使模型变得更加轻量化，提高模型的识别速率。
27.本发明充分利用中间层提取到的特征，将提取到的可以识别皱眉、微笑或愤怒等面部情绪表现的整体面部特征来进行辅助分类，在辅助分类器中引入senet注意力机制来提高辅助分类器的预测准确度。
28.本发明通过采用深度可分离卷积，在不增加模型参数的前提下进一步增加模型的深度。通过利用中间层提取到的特征，加入辅助分类器来进行辅助分类，通过将辅助分类器的分类结果与主分类器分类结果进行自适应加权融合来提高模型的准确度。
附图说明
29.图1为一种带有辅助分类器的轻量化卷积网络面部情绪识别方法流程示意图；
30.图2为一种带有辅助分类器的轻量化卷积网络面部情绪识别方法结构示意图；
31.图3为本发明所有的深度可分离卷积模块和残差模块的具体组成示意图；
32.图4为本发明所有的辅助分类器的具体组成示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.实施例1
35.如图1-4所示，本发明一个实施例提出的一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，该方法具体包括如下步骤：
36.s101、构建带有辅助分类器的轻量化卷积神经网络模型；构建包括底层卷积模块，进行浅层特征提取；深度可分离卷积模块，利用逐次进行的深度卷积和逐点卷积进行深层特征提取，增加模型深度，减少模型参数；残差模块，进行普通卷积和批量归一化处理输出残差特征图，降低模型过拟合的可能性；辅助分类器，利用中间层提取到的可以识别皱眉、微笑或愤怒等面部情绪表现的整体面部特征来进行辅助分类，并引入senet通道注意力机制，通过构建各个特征通道的重要程度来增强或者抑制不同的通道，提高辅助分类器的识别准确度；主分类器，在提取到深层特征后，通过自适应平均池化后进行预测分类。
37.s102、准备人脸图像数据集，按比例划分为训练集和测试集；整个模型采用fer2013人脸表情数据集来进行训练，按照8：2的比例将其划分为训练集和测试集。
38.s103、将训练集中的人脸图像数据输入所述带有辅助分类器的轻量化卷积神经网络模型中进行训练；将s102中划分好的训练集进行预处理，多角度翻转图像,缩放图像和平移图像，并将所有图像作为数据样本图像输入至s101中构建好的网络模型中进行训练；模型采用随机梯度下降的方式进行训练，模型的初始训练参数学习率lr＝0.01，动量moment＝0.9,nesterov＝true,采用nag算法提高收敛度，权重衰减weight_decay＝0.0001，学习率缩放因子factor＝0.5,patience＝2，当检测指标不再改变后，等待两个批次开始调整学习率，损失函数为多分类对数损失函数，评价指标为准确度。
39.s104、在测试集中测试所述带有辅助分类器的轻量化卷积神经网络模型，优化卷积神经网络模型的参数；将s102中划分好的测试集作为数据样本图像输入至s103已经训练好的网络模型中，微调模型的参数，最终使得模型面部表情识别效果最好，保存模型参数。
40.s105、将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类的预测结果；将待识别的人脸图像数据进行预处理，对所述人脸图像进行灰度转换，对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；对所述人脸图像按照预设的人脸部位规则进行分割，并对分割的部位进行标记；并复制该面部区域的多角度翻转图像和尺寸变化图像并将所有图像作为数据样本图像输入至s104中训练好的网络模型中进行面部表情预测分类。
41.实施例2
42.如图1所示，一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，该方法具体包括如下操作：
43.s101、构建带有辅助分类器的轻量化卷积神经网络模型，如图2所示，一种带有辅
助分类器的轻量化卷积神经网络面部情绪识别系统结构示意图，具体包括底层卷积模块，深度可分离卷积模块，残差模块，辅助分类器，主分类器。
44.其中底层卷积模块主要包含两轮依次为卷积核为3x3的卷积层，批量归一化层和relu激活函数层进行特征提取，通过底层卷积模块进行浅层特征提取能获得图片的纹理特征。
45.如图3所示，深层可分离卷积模块依次由深度可分离卷积层一、批量归一化层一、深度可分离层二、批量归一化层二、最大池化层一组成，其中，深度可分离卷积层为3
×
3的卷积核进行特征提取，采用填充，保证图片卷积前后大小一致；激活函数采用relu函数进行非线性化，残差模块主要依次由普通卷积层一、批量归一化层三、普通卷积层二和批量归一化层四组成，其中，普通卷积层采用3
×
3的卷积核进行特征提取，最后将残差模块和深度可分离卷积模块提取到的深层特征进行线性融合。
46.如图4所示，辅助分类器依次由两个卷积块，senet通道注意力模块，自适应平均池化层，展平层，softmax激活函数层组成，最终输出预测结果，其中两个卷积块依次由3
×
3卷积核的普通卷积和批量归一化层组成。
47.其中主分类器主要依次由一个卷积核为3
×
3的卷积层，自适应平均池化层和softmax激活函数层组成，通过自适应平均池化层对将所有空间位置上的特征都压缩到一个单一的特征值中有效地减少需要学习的参数数量，使模型变得更加轻量化，提高模型的识别速率，利用softmax激活函数对面部表情进行预测分类。
48.最后，将辅助分类器面部表情预测结果和主分类器面部表情预测结果进行自适应加权平均融合，更好地利用每个分类器的优势，提高融合结果的质量，通过自适应加权融合能够有效地降低模型过拟合或者欠拟合问题，降低整个系统的风险并提高鲁棒性，将各个分类器的优势相互补充，也能提高整个系统的泛化能力。
49.s102、准备人脸图像数据集，按比例划分为训练集和测试集；所述网络模型采用fer2013人脸表情数据集进行模型训练，fer2013人脸表情数据集由35886张人脸表情图片组成，每张图片都是由大小固定的48
×
48的灰度图像组成，共有7种表情，我们按照8：2的划分比例将数据集划分为训练集和测试集。
50.s103、将训练集中的人脸图像数据输入所述带有辅助分类器的轻量化卷积神经网络模型中进行训练；对训练集的图像进行多角度翻转图像,缩放图像和平移图像预处理，将预处理后的所有人脸图像数据输入模型进行训练，通过预处理操作，可以增加训练集的数量，多角度翻转图像，平移，缩放等操作可以提高网络的特征提取能力，模型采用随机梯度下降的方式进行训练，模型的初始训练参数学习率lr＝0.01，动量moment＝0.9,nesterov＝true,采用nag算法提高收敛度，权重衰减weight_decay＝0.0001，学习率缩放因子factor＝0.5,patience＝2，当检测指标不再改变后，等待两个批次开始调整学习率。模型训练中应用l2正则化，正则化系数为0.01，即对所有权重参数的平方和乘以0.01进行惩罚，以帮助控制模型的复杂度并提高其泛化性能。模型的损失函数为多分类对数损失函数，评价指标为准确度。
51.s104、在测试集中测试所属带有辅助分类器的轻量化卷积神经网络模型，优化卷积神经网络模型的参数；将s102中所述的测试集输入到s103中已经训练好的网络模型中，测试模型的训练效果，根据模型面部表情预测的准确度和采用对数损失函数的损失对模型
进行微调来得到最好预测效果，保存模型参数。
52.s105、将待测人脸图像数据输入优化后的带有辅助分类器的轻量化卷积神经网络模型中，得到情绪分类的预测结果；先采集待识别的人脸数据，利用haar级联分类器从输入图像中检测出人脸信息，haar级联分类器在检测人脸时已经对所述人脸图像进行灰度转换，转换为灰度图像；对灰度转换后的人脸图像进行长宽尺寸的校正，使所述人脸图像的长宽调整至预设的尺寸；对所述人脸图像按照预设的人脸部位规则进行分割，并复制该面部区域将所有图像作为数据样本图像输入至s104中训练好的网络模型中进行面部表情预测。
53.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，其特征在于：该方法具体包括如下步骤，s101、构建带有辅助分类器的轻量化卷积神经网络模型；s102、准备人脸图像数据集，按比例划分为训练集和测试集；s103、将训练集中的人脸图像数据输入所述带有辅助分类器的轻量化卷积神经网络模型中进行训练；s104、在测试集中测试所述带有辅助分类器的轻量化卷积神经网络模型，优化卷积神经网络模型的参数；s105、将待识别的人脸图像数据输入优化后的卷积神经网络模型中，得到情绪分类的预测结果。2.根据权利要求1所述的一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，其特征在于：所述步骤s101中构建带有辅助分类器的轻量化卷积神经网络模型包括底层卷积模块，深度可分离卷积模块，残差模块，辅助分类器，主分类器；底层卷积模块，通过多次普通卷积和批量归一化来提取人脸图像数据的纹理等浅层特征；深度可分离卷积模块，得到的浅层特征数据通过深度可分离卷积执行深度卷积和逐点卷积操作来提取人脸图像数据的深层特征；残差模块，得到的浅层特征数据通过普通卷积运算和批量归一化处理输出残差特征图；辅助分类器，输入深层的融合特征并通过普通卷积层和senet通道注意力模块，自适应平均池化层和展平层，最后利用softmax激活函数进行面部表情预测分类；主分类器，输入提取到深层特征后，通过自适应平均池化后进行面部表情预测分类。3.根据权利要求2所述的一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，其特征在于：所述深度可分离卷积模块通过深度可分离卷积执行逐通道卷积操作，并将结果应用于所有通道来提升模型的深度并实现参数共享，减小模型的参数，使模型变得轻量化。4.根据权利要求2所述的一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，其特征在于：所述辅助分类器引入senet通道注意力机制，通过构建各个特征通道的重要程度来增强或者抑制不同的通道，提高辅助分类器的识别准确度。5.根据权利要求2所述的一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，其特征在于：所述残差模块络利用残差模块中梯度信号可以通过“跳跃连接”实现一层的输出作为输入传递给体系结构的另一层，降低了模型过拟合和梯度爆炸的可能性。6.根据权利要求2所述的一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，其特征在于：所述模型采用fer2013人脸表情数据集来进行训练，按照8：2的比例将其划分为训练集和测试集。

技术总结
本发明属于人工智能技术领域，尤其为一种带有辅助分类器的轻量化卷积网络面部情绪识别方法，该方法具体包括如下步骤，S101、构建带有辅助分类器的轻量化卷积神经网络模型；S102、准备人脸图像数据集，按比例划分为训练集和测试集；S103、将训练集中的人脸图像数据输入所述带有辅助分类器的轻量化卷积神经网络模型中进行训练；S104、在测试集中测试所述带有辅助分类器的轻量化卷积神经网络模型，优化卷积神经网络模型的参数。本发明通过采用深度可分离卷积，利用深度可分离卷积中的逐点卷积在增加模型深度同时起到降维作用，同时也引入残差网络，来进一步降低模型过拟合和梯度爆炸的可能性。炸的可能性。炸的可能性。


技术研发人员：颜飞 尚育杰 刘云清 李棋 张琼
受保护的技术使用者：长春理工大学
技术研发日：2023.05.08
技术公布日：2023/8/13