一种基于注意力机制和迁移学习的装配区域目标识别方法

1.本发明涉及图像识别技术领域，特别涉及一种基于注意力机制和迁移学习的装配区域目标识别方法。


背景技术：

2.随着我国工业的发展，对于非标机械产品的需求也在日益增加，但在生产制造过程中，受不利因素影响，流水线各装配区域易发生漏装的问题，导致产品组装失败，造成经济损失。因此实现装配区域的精准目标识别，对于提升设备生产效率和企业经济效益具有重要意义。
3.早期，仅依靠人工和传统机器视觉方法，主观性强且准确率不高。近年来，随着深度学习的发展，卷积神经网络凭借自适应特征提取能力在图像识别领域中得到广泛应用，许多研究人员尝试将卷积神经网络模型应用于各类目标的分类识别。虽然深度学习方法在图像识别领域中取得了良好的结果，但仍存在以下问题：(1)装配区域众多且目标种类丰富，可直接采用的目标样本相对较少，深度网络无法充分训练且训练耗时较长，硬件设备要求较高。(2)当目标处于复杂背景中时，现有算法针对类间相似的样本识别性能一般，并且对于目标特征信息的关注能力欠缺，导致精度受限；
4.因此需要设计一种能够解决现有技术所存在的特征提取困难、精度低的目标识别方法


技术实现要素：

5.本发明提供一种基于注意力机制和迁移学习的装配区域目标识别方法，可以解决背景技术中所指出的问题。
6.一种基于注意力机制和迁移学习的装配区域目标识别方法，包括如下步骤：
7.s1、获取装配区域图像并构成数据集，对数据集进行区域划分预处理；
8.s2、构建基于注意力机制和迁移学习的装配区域目标识别模型；
9.s3、迁移在imagenet数据集上完成预训练的alexnet结构参数至改进模型中，利用权重微调策略完成模型训练。
10.s4、通过目标识别模型对输入图像进行特征提取，得到特征图像；
11.s5、通过注意力模块增强特征图像中目标区域的位置信息；
12.s6、将特征图像展平为一维的特征向量；
13.s7、通过softmax函数计算特征向量中各类别的归属概率分布，并输出最大概率对应的标签值，判断该区域输入图像是否完成目标装配。
14.s2中所构建的目标识别模型包括五层卷积模块层、三层池化层、注意力模块层、全连接层以及分类层；
15.五层卷积模块以及三层池化层用于对输入图像进行特征提取，并将提取的特征图像输入注意力模块中，经过增强后的特征图像输入全连接层中；
16.s5中用于增强特征图像中目标区域的位置信息的注意力机制所采用的函数为：
[0017][0018][0019]
其中，f
′
是经过通道注意力模块的特征图像，f
″
是经过卷积注意力模块的特征图像，mc和ms是分别是通道注意力图和空间注意力图像，是对应元素相乘。
[0020]
s4中进行特征提取的步骤如下：
[0021]
s41、特征图像经过一对并行的最大池化层和平均池化层，聚合特征映射的空间信息；
[0022]
s42、利用多层感知机柜特征图像通道数进行压缩，先降维至c/r，再升纬至c，其中c为通道数，r为缩减比例；
[0023]
s43、采用如下计算公式对特征图像逐元素加和并完成激活操作，将特征图像与原图像进行对应元素相乘，重新调整特征图中的通道权重，完成通道注意力操作；
[0024][0025]
其中，σ(
·
)是sigmoid函数，mlp是多层感知机，avgpool是平均池化，maxpool是最大池化，和是分别表示原图f经过平均池化和最大池化生成特征图，w1和w0是多层感知机的共享权重；
[0026]
s44、通过最大池化和平均池化得到两张通道数为1的张量特征图并叠加；
[0027]
s45、利用7
×
7的卷积层进行降维操作；
[0028]
s46、再和输入图像逐元素相乘完成空间注意力操作，突出装配区域目标的位置信息，具体计算过程如下：
[0029][0030]
其中，σ(
·
)是sigmoid函数，avgpool和maxpool分别是平局池化和最大池化，和是分别表示原图f通过平均池化层和最大池化层生成的结果，f7×7代表尺寸为7
×
7的卷积核。
[0031]
利用权重微调策略优化训练过程的步骤为：
[0032]
s31、基于s2构建的装配区域目标识别模型，利用预训练的alexnet参数初始化模型权值；
[0033]
其中，卷积层和池化层的初始值与预训练模型参数一致并作为训练过程的浅层结构，全连接层权重参数w服从正态分布，并作为训练过程的浅层结构；
[0034]
s32、输入训练图像并完成前向传播，根据公式计算每轮迭代过程批量样本的损失函数值；
[0035]
s33、模型进行方向传播，通过链式法则进行梯度计算，设置学习参数进行模型训练，逐层更新权值；
[0036]
s34、重复s32、s33，实时监控验证集的损失函数值，直至验证集上的损失函数值不再下降，即判定为模型已经完成收敛，结束训练过程，保存模型权重文件。
[0037]
s33中所设置的学习参数为：深层结构学习率设置为0.001，浅层结构设置为0.0001，衰减率设置为每10个epoch衰减为10％。
[0038]
s7中的softmax函数公式为：
[0039][0040]
其中，si是预测对象为第k类的概率，zi为上层输出结果。
[0041]
s32中所采用的计算公式如下：
[0042][0043]
其中，wg为权重因子用于调整不同类别之间损失的权重，以解决数据不平衡问题，z包含了模型对每个类别的预测得分，z[c]表示向量z中目标类别c对应的预测得分的负值。
[0044]
与现有技术相比，本发明的有益效果是：本发明通过引入卷积注意力模块，提升模型对于目标特征的提取能力，将imagenet数据集上完成预训练的alexnet部分参数迁移至改进模型，利用权重微调策略完成训练，避免因数据集样本维度偏小对识别结果造成不利影响；最终实现装配区域更鲁棒的识别，解决了现有技术特征提取困难、精度不足等问题；
[0045]
本发明使用注意力机制，有效增强输入特征图像中有益信息的权重，弱化背景干扰因素的影响，使模型更加关注目标区域位置，提升整体识别精度；
[0046]
本发明引入迁移学习，解决了目标数据样本偏少导致的识别性能不佳的问题，利用泛化性能良好的初始化参数帮助模型学习到了更有效、更具辨识度的语义信息。
附图说明
[0047]
图1为本发明的识别算法结构示意图；
[0048]
图2为本发明的识别算法流程图；
[0049]
图3为本发明的卷积注意模块结构示意图；
[0050]
图4为本发明的迁移学习流程图；
[0051]
图5为训练过程准确率变化图；
[0052]
图6为训练过程损失函数值变化图。
具体实施方式
[0053]
下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
[0054]
如图1至图6所示，本发明实施例提供的一种基于注意力机制和迁移学习的装配区域目标识别方法，包括如下步骤：
[0055]
s1、获取装配区域图像并构成数据集，对数据集进行区域划分预处理；
[0056]
s2、构建基于注意力机制和迁移学习的装配区域目标识别模型；
[0057]
s3、迁移在imagenet数据集上完成预训练的alexnet结构参数至改进模型中，利用权重微调策略完成模型训练；
[0058]
s4、通过目标识别模型对输入图像进行特征提取，得到特征图像；
[0059]
s5、通过注意力模块增强特征图像中目标区域的位置信息；
[0060]
s6、将特征图像展平为一维的特征向量；
[0061]
s7、通过softmax函数计算特征向量中各类别的归属概率分布，并输出最大概率对应的标签值，判断该区域输入图像是否完成目标装配；
[0062]
s2中所构建的目标识别模型包括五层卷积模块层、三层池化层、注意力模块层、全连接层以及分类层；
[0063]
五层卷积模块以及三层池化层用于对输入图像进行特征提取，并将提取的特征图像输入注意力模块中，经过增强后的特征图像输入全连接层中；
[0064]
s5中用于增强特征图像中目标区域的位置信息的注意力机制所采用的函数为：
[0065][0066][0067]
其中，f
′
是经过通道注意力模块的特征图像，f
″
是经过卷积注意力模块的特征图像，mc和ms是分别是通道注意力图和空间注意力图像，是对应元素相乘。
[0068]
s4中进行特征提取的步骤如下：
[0069]
s41、特征图像经过一对并行的最大池化层和平均池化层，聚合特征映射的空间信息；
[0070]
s42、利用多层感知机柜特征图像通道数进行压缩，先降维至c/r，再升纬至c，其中c为通道数，r为缩减比例；
[0071]
s43、采用如下计算公式对特征图像逐元素加和并完成激活操作，将特征图像与原图像进行对应元素相乘，重新调整特征图中的通道权重，完成通道注意力操作；
[0072][0073]
其中，σ(
·
)是sigmoid函数，mlp是多层感知机，avgpool是平均池化，maxpool是最大池化，和是分别表示原图f经过平均池化和最大池化生成特征图，w1和w0是多层感知机的共享权重；
[0074]
s44、通过最大池化和平均池化得到两张通道数为1的张量特征图并叠加；
[0075]
s45、利用7
×
7的卷积层进行降维操作；
[0076]
s46、再和输入图像逐元素相乘完成空间注意力操作，突出装配区域目标的位置信息，具体计算过程如下：
[0077]
[0078]
其中，σ(
·
)是sigmoid函数，avgpool和maxpool分别是平局池化和最大池化，和是分别表示原图f通过平均池化层和最大池化层生成的结果，f7×7代表尺寸为7
×
7的卷积核。
[0079]
利用权重微调策略优化训练过程的步骤为：
[0080]
s31、基于s2构建的装配区域目标识别模型，利用预训练的alexnet参数初始化模型权值；
[0081]
其中，卷积层和池化层的初始值与预训练模型参数一致并作为训练过程的浅层结构，全连接层权重参数w服从正态分布，并作为训练过程的浅层结构；
[0082]
s32、输入训练图像并完成前向传播，根据公式计算每轮迭代过程批量样本的损失函数值；
[0083]
公式如下：
[0084][0085]
其中，wg为权重因子用于调整不同类别之间损失的权重，以解决数据不平衡问题，z包含了模型对每个类别的预测得分，z[c]表示向量z中目标类别c对应的预测得分的负值；
[0086]
w＝weig t[c]，{c≠ignore_index}；
[0087]
s33、模型进行方向传播，通过链式法则进行梯度计算，设置学习参数进行模型训练，逐层更新权值；
[0088]
s34、重复s32、s33，实时监控验证集的损失函数值，直至验证集上的损失函数值不再下降或损失函数值波动幅度不大或平稳，即判定为模型已经完成收敛，结束训练过程，保存模型权重文件。
[0089]
s33中所设置的学习参数为：深层结构学习率设置为0.001，浅层结构设置为0.0001，衰减率设置为每10个epoch衰减为10％；
[0090]
s7中的softmax函数公式为：
[0091][0092]
其中，si是预测对象为第k类的概率，zi为上层输出结果；
[0093]
仿真结果及结果分析如下：
[0094]
为验证上述实施例中基于注意力机制和迁移学习的装配区域目标识别方法有效性，在测试集上进行对比实验，对比算法主要包括lenet模型、vgg16模型、resnet模型和inception v1模型等6类识别模型；
[0095]
在本次实验过程中采用定量分析，即通过计算评价指标判断跟踪性能。实验中采用的评价指标有精确率(precision)、召回率(recall)。具体计算公式如下：
[0096][0097][0098]
式中：tp是正样本识别正确的个数；fp是正样本识别错误的个数；fn是负样本识别错误的个数。
[0099]
模型训练结果如图5所示；图5和图6分别是所提算法在训练时准确率和损失函数值的变化曲线，横轴为迭代次数，纵轴分别为准确率和损失值，从图5和图6中可以看出，训练模型在迭代80次时已经完成收敛，且验证损失值和训练训练损失值拟合程度较好，所提方法也取得了较高的验证准确率。
[0100]
将训练完成的模型在测试集上与其他模型进行对比仿真，实验结果如下表所示：
[0101][0102]
上表为与其他模型的对比结果，训练时间代表模型完成训练所耗费时间，时间越少表示模型计算量越少；时间越多表示模型待学习参数多，网络结构复杂；实验表明，所提方法取得最高的精确率和召回率指标，训练时间略长，但不是最耗费时间。其中lenet模型作为浅层网络，提取深层特征困难，所以精确率和召回率指标偏低，但因为模型复杂度较低，因此迭代所需时间较少；而其他模型作为大型深度学习网络，重头开始训练对于数据集样本数量和计算平台设备要求较高，但由于装配区域目标数据集较少，导致网络参数无法充分学习特征信息，造成网络性能表现一般；
[0103]
综上所述，基于注意力机制和迁移学习的装配区域目标识别算法在测试集上综合表现优于以上对比算法，精确率为99.33％，召回率为99.33％。
[0104]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0105]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，包括如下步骤：s1、获取装配区域图像并构成数据集，对数据集进行区域划分预处理；s2、构建基于注意力机制和迁移学习的装配区域目标识别模型；s3、迁移在imagenet数据集上完成预训练的alexnet结构参数至改进模型中，利用权重微调策略完成模型训练。s4、通过目标识别模型对输入图像进行特征提取，得到特征图像；s5、通过注意力模块增强特征图像中目标区域的位置信息；s6、将特征图像展平为一维的特征向量；s7、通过softmax函数计算特征向量中各类别的归属概率分布，并输出最大概率对应的标签值，判断该区域输入图像是否完成目标装配。2.如权利要求1所述的一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，所述s2中所构建的目标识别模型包括五层卷积模块层、三层池化层、注意力模块层、全连接层以及分类层；五层卷积模块以及三层池化层用于对输入图像进行特征提取，并将提取的特征图像输入注意力模块中，经过增强后的特征图像输入全连接层中。3.如权利要求1所述的一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，所述s5中用于增强特征图像中目标区域的位置信息的注意力机制所采用的函数为：为：其中，f
′
是经过通道注意力模块的特征图像，f
″
是经过卷积注意力模块的特征图像，m
c
和m
s
是分别是通道注意力图和空间注意力图像，是对应元素相乘。4.如权利要求1所述的一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，所述s4中进行特征提取的步骤如下：s41、特征图像经过一对并行的最大池化层和平均池化层，聚合特征映射的空间信息；s42、利用多层感知机柜特征图像通道数进行压缩，先降维至c/r，再升纬至c，其中c为通道数，r为缩减比例；s43、采用如下计算公式对特征图像逐元素加和并完成激活操作，将特征图像与原图像进行对应元素相乘，重新调整特征图中的通道权重，完成通道注意力操作；其中，σ(
·
)是sigmoid函数，mlp是多层感知机，avgpool是平均池化，maxpool是最大池化，和是分别表示原图f经过平均池化和最大池化生成特征图，w1和w0是多层感知机的共享权重；s44、通过最大池化和平均池化得到两张通道数为1的张量特征图并叠加；s45、利用7
×
7的卷积层进行降维操作；
s46、再和输入图像逐元素相乘完成空间注意力操作，突出装配区域目标的位置信息，具体计算过程如下：其中，σ(
·
)是sigmoid函数，avgpool和maxpool分别是平局池化和最大池化，和是分别表示原图f通过平均池化层和最大池化层生成的结果，f7×7代表尺寸为7
×
7的卷积核。5.如权利要求1所述的一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，利用权重微调策略优化训练过程的步骤为：s31、基于s2构建的装配区域目标识别模型，利用预训练的alexnet参数初始化模型权值；其中，卷积层和池化层的初始值与预训练模型参数一致并作为训练过程的浅层结构，全连接层权重参数w服从正态分布，并作为训练过程的浅层结构；s32、输入训练图像并完成前向传播，根据公式计算每轮迭代过程批量样本的损失函数值；s33、模型进行方向传播，通过链式法则进行梯度计算，设置学习参数进行模型训练，逐层更新权值；s34、重复s32、s33，实时监控验证集的损失函数值，直至验证集上的损失函数值不再下降，即判定为模型已经完成收敛，结束训练过程，保存模型权重文件。6.如权利要求5所述的一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，所述s33中所设置的学习参数为：深层结构学习率设置为0.001，浅层结构设置为0.0001，衰减率设置为每10个epoch衰减为10％。7.如权利要求1所述的一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，所述s7中的softmax函数公式为：其中，s
i
是预测对象为第k类的概率，z
i
为上层输出结果。8.如权利要求5所述的一种基于注意力机制和迁移学习的装配区域目标识别方法，其特征在于，所述s32中所采用的计算公式如下：其中，wg为权重因子用于调整不同类别之间损失的权重，以解决数据不平衡问题，z包含了模型对每个类别的预测得分，z[c]表示向量z中目标类别c对应的预测得分的负值。

技术总结
本发明公开了一种基于注意力机制和迁移学习的装配区域目标识别方法，通过引入卷积注意力模块，提升模型对于目标特征的提取能力，将ImageNet数据集上完成预训练的AlexNet部分参数迁移至改进模型，利用权重微调策略完成训练，避免因数据集样本维度偏小对识别结果造成不利影响；最终实现装配区域更鲁棒的识别，解决了现有技术特征提取困难、精度不足等问题；使用注意力机制，有效增强输入特征图像中有益信息的权重，弱化背景干扰因素的影响，使模型更加关注目标区域位置，提升整体识别精度；在此基础上又引入迁移学习，解决了目标数据样本偏少导致的识别性能不佳的问题，利用泛化性能良好的初始化参数帮助模型学习到了更有效、更具辨识度的语义信息。具辨识度的语义信息。具辨识度的语义信息。


技术研发人员：高齐 符诗语 尹明锋 游丽萍 谢涛 孙锦 庄子涵 林勇 卞恩远 王志威 朱欣宇
受保护的技术使用者：江苏理工学院
技术研发日：2023.04.18
技术公布日：2023/7/12