一种基于对比学习的输送带磨损识别方法与流程

1.本发明属于输送带磨损识别的技术领域，尤其涉及一种基于对比学习的输送带磨损识别方法。


背景技术：

2.传送带在持续工作过程中，会出现不同程度的磨损，当传送带在没有监控的情况下出现断裂时，轻则传送带上的货物受损，重则出现事故，因此，急需设备系统对传送进行自动监测，目前现有技术如下：
3.1.(201510392423.7)一种基于对比学习的输送带磨损识别方法
4.该专利公开了一种基于对比学习的输送带磨损识别方法，该方法包括以下几个步骤：首先采集实时图像，获取灰度图像，利用边缘检测器检测灰度图像中个对象的边缘，接着基于形状和方向性的滤波模板对边缘图像滤波，获得与输送带运行方向相同的直线型边缘图像，采用了一维向量对边缘进行标记，根据已知的、输送带未撕裂时的输送带基准宽度和设计宽度阈值确定输送带是否撕裂。该方法基于传统的图像检测算法对输送带撕裂进行检测，该方法仅仅基于固定角度的传送带撕裂进行检测且根据输送带的边缘进行撕裂检测，对输送带中心部位的撕裂无法进行检测导致对大部分输送带中心撕裂的情况无法做出识别。
5.2.(201510469098.x)输送带表面破损自动检测方法
6.该发明公开了一种输送带表面破损自动检测方法，用线阵摄像头采集输送带运行图像，利用图像的同列所感受强光的一致性，建立了抑制行向量，列向量均值曲线进行边缘保真去噪，提取破损特征参数，对表面破损进行快速识别。该方法采用传统图像特征提取的方法，仅仅只能检测边缘破损，且无法针对不同视角检测不同的输送带且具有一定的局限性。
7.3.(202011171382.9)一种基于检测系统的检测传送带磨损的方法及传送带
8.该方法公开了一种基于检测系统的检测传送带磨损的方法及传送带，涉及物料输送技术领域，传送带包括第一传送设备和第二传送设备，第一传送设备和第二传送设备通过转轴组件翻转式连接；其中，第一传送设备包括第一输送段和第二输送段，第一输送段前后侧壁安装有第一防护板，第二输送段连接第二传送设备，第二传送设备前后侧壁安装有第二防护板，第二防护板的长度小于第二输送段的长度，相比于现有技术，本发明中的方法可以对导辊实时进行监控，当导辊被卡死或者其转动出现异常时，工作人员可以及时发现。该发放需要加入防护设备，且需要耗费大量资金以及安装费用，不适合大规模部署。


技术实现要素：

9.为了解决了上述技术问题，本发明提出了一种基于对比学习的输送带磨损识别方法，具体技术方案如下：
10.一种基于对比学习的输送带磨损识别方法，包括以下步骤：
11.s1、将训练样本图片通过n个串联的mobileconvnext特征提取模块和t个swintransformer特征提取模块、注意块来进行对比学习训练；
12.s2、在注意块attentionblock后增加分类头，所述分类头包括两层mlp、sigmoid函数，两层mlp之间通过relu激活函数连接，所述sigmoid函数输出二分类结果；
13.s3、进入预测阶段，设置预测置信度阈值，将图片及热力图采集设备固定一定的角度对需要采集的设备进行定点拍摄，获取对应器件的rgb三通道图片以及对应的单通道热力图，将二者融合图输入步骤s2获得的模型中进行气体溢出分类预测。
14.具体地说，步骤s1具体为
15.s11、通过n个串联的mobileconvnext特征提取模块和t个swintransformer特征提取模块对应得到特征f
cn
以及特征f
st
；
16.s12、在注意块attentionblock中，将输出特征f
cn
和特征f
st
通过concate模块进行合并得到特征f
fusion
，并将特征f
fusion
输入至van网络得到特征f
out
。
17.具体地说，n个串联的mobileconvnext特征提取模块得到特征f
cn
的具体步骤如下：
18.sa111、将训练样本图片首先通过3*3卷积子模块，然后将卷积获得的特征输入至中layernorm子模块得到特征f
ln
；
19.sa112、将f
ln
输入到空间可分离卷积子模块中得到特征f
mc
，所述空间可分离卷积子模块的卷积核为4，步长为4；
20.sa113、将特征f
mc
输入到aspp子模块中得到特征图f
aspp
；特征f
mc
分别输入到空洞率为6、12以及18的空洞卷积单元分别得到特征图f
dc1
,f
dc2
,f
dc3
，同时，特征f
mc
逐次经过1x1最大池化单元、第一1x1卷积单元、上采样单元后得到特征图f
pcu
；将特征图f
dc1
,f
dc2
,f
dc3
和特征图f
pcu
进行第一合并单元后经过第二1x1卷积单元，最终得到特征图f
aspp
；
21.sa114、将特征图f
aspp
输入到第一深度可分离卷积子模块中得到特征f
dc
，将特征f
dc
图输入到线性子模块进行4倍升维，得到特征f
lyu
，然后将特征f
lyu
输入到激活函数δ
gelu
得到特征f
ld
，最后将该特征f
ld
乘theta得到特征f
gamma
；
22.sa115、将特征f
gamma
与特征f
aspp
经过第二合并子模块进行合并的到该网络最终输出特征f
c1
；
23.sa116、将步骤sa115中的特征f
c1
替换步骤sa11中的训练样本图片作为输入，重复步骤sa111-sa115，得到特征f
c2
，循环n次，直至得到特征f
cn
。
24.具体地说，所述swintransformer特征提取模块包括补丁分区子模块、t个swintransformerblock子模块；步骤具体如下：
25.sb111、将训练样本图片输入至补丁分区子模块中得到图片补丁，然后将图片补丁输入至线性嵌入层中得到图片通证特征z
l-1
；
26.sb112、将特征z
l-1
输入至串联的t个swintransformerblock子模块得到特征f
st
。
27.具体地说，步骤sb12具体为：
28.sb1121、将z
l-1
作为输入，依次经过第一ln单元、w-msa单元得到的特征与z
l-1
合并得到特征
29.sb1122、将特征作为输入，依次经过第二ln单元、第一mlp单元得到的特征与特征和并得到z
l
；
30.sb1123、将特征z
l
作为输入，依次经过第三ln单元、sw-msa单元得到的特征与特征z
l
合并得到特征
31.sb1124、将特征作为输入，依次经过第四ln单元、第二mlp单元得到的特征与特征合并后得到特征z
l+1
作为特征f
s1
；
32.sb1125、将f
s1
替换步骤sb1121最为输入，重复步骤sb1121-sb1124,循环t次，提取最后的到特征f
st
。
33.具体地说，步骤s12具体如下：
34.s121、所述van网络将输入的特征通过下采样子模块的操作，将特征f
fusion
作为输入依次经过第三1x1卷积子模块、第一batchnormalization子模块以及gelu激活函数，得到特征f
bg
；
35.s122、将特征f
bg
输入到lka子模块得到特征f
lka
；
36.s123、将特征f
lka
依次输入至第二batchnormalization子模块、ffn子模块得到的特征与f
lka
相加，最终得到特征f
out
。
37.具体地说，特征f
lka
的求取过程为：特征f
bg
输入到第二深度可分离卷积子模块后将其输出结果输入到深度可分离空洞卷积子模块，并最终输入到第四1x1卷积子模块得到注意力特征f
attention
；将注意力特征f
attention
与输入特征f
bg
进行相乘得到的特征与输入特征f
bg
相加得到特征f
lka
。
38.具体地说，步骤s1中建立的分类模型采用的损失函数为infonce损失函数。
39.具体地说，步骤s2中建立的模型采用的损失函数为交叉熵损失函数。
40.本发明的优点在于：
41.(1)本专利提出了一种对比学习的方法进行图片特征的提取，该方法可以基于无监督的方式进行特征提取，特征提取阶段减少了人工标注成本同时可以提取更为丰富的特征信息，同时基于自监督学习的方法可以更好的加快模型训练收敛速度。
42.(2)仅仅基于拍摄信息即可对不同角度的传送带进行检测，无需其他设备，即可同时检测输送带边缘及中心任何部位的破损，且可以通过输送带任意破损的地方进行破损分类。
43.(3)本专利基于破损识别任务发明了基于卷积及transformer合并的csnet对比神经网络进行特征提取最终接入分类头得到预测模型contrastiveclassificationnet。
附图说明
44.图1为整体流程图。
45.图2为得到特征f
cn
的流程图。
46.图3为得到特征f
st
的流程图。
具体实施方式
47.一种基于对比学习的输送带磨损识别方法，包括以下步骤：
48.s1、使用通过n个串联的mobileconvnext特征提取模块和t个swintransformer特征提取模块、注意块attentionblock进行对比学习训练，具体步骤如下：
49.如图1-3所示，s11、将训练样本图片通过n个串联的mobileconvnext特征提取模块
和t个swintransformer特征提取模块来提取特征，对应得到特征f
cn
以及特征f
st
；
50.n个串联的mobileconvnext特征提取模块得到特征f
cn
的具体步骤如下：
51.sa111、将训练样本图片首先通过3*3卷积子模块，然后将卷积获得的特征输入至中layernorm子模块得到特征f
ln
；
52.sa112、将f
ln
输入到空间可分离卷积子模块中得到特征f
mc
，所述空间可分离卷积子模块的卷积核为4，步长为4；
53.sa113、将特征f
mc
输入到aspp子模块中得到特征图f
aspp
；特征f
mc
分别输入到空洞率为6、12以及18的空洞卷积单元分别得到特征图f
dc1
,f
dc2
,f
dc3
，同时，特征f
mc
逐次经过1x1最大池化单元、第一1x1卷积单元、上采样单元后得到特征图f
pcu
；将特征图f
dc1
,f
dc2
,f
dc3
和特征图f
pcu
进行第一合并单元后经过第二1x1卷积单元，最终得到特征图f
aspp
；
54.sa114、将特征图f
aspp
输入到第一深度可分离卷积子模块中得到特征f
dc
，将特征f
dc
图输入到线性子模块进行4倍升维，得到特征f
lyu
，然后将特征f
lyu
输入到激活函数δ
gelu
得到特征f
ld
，最后将该特征f
ld
乘theta得到特征f
gamma
；
55.sa115、将特征f
gamma
与特征f
aspp
经过第二合并子模块进行合并的到该网络最终输出特征f
c1
；
56.sa116、将步骤sa115中的特征f
c1
替换步骤sa11中的训练样本图片作为输入，重复步骤sa111-sa1115，得到特征f
c2
，循环n次，直至得到特征f
cn
.
57.所述swintransformer特征提取模块包括补丁分区子模块、t个swintransformerblock子模块；步骤具体如下：
58.sb111、将训练样本图片输入至补丁分区子模块中得到图片补丁，然后将图片补丁输入至线性嵌入层中得到图片通证特征z
l-1
；
59.sb112、将特征z
l-1
输入至串联的t个swintransformerblock子模块得到特征f
st
；每个所述swintransformerblock子模块包括依次设置的第一ln单元、w-msa单元、第二ln单元、第一mlp单元、第三ln单元、sw-msa单元、第四ln单元、第二mlp单元，步骤具体如下：
60.sb1121、将z
l-1
作为输入，依次经过第一ln单元、w-msa单元得到的特征与z
l-1
合并得到特征
61.sb1122、将特征作为输入，依次经过第二ln单元、第一mlp单元得到的特征与特征和并得到z
l
；
62.sb1123、将特征z
l
作为输入，依次经过第三ln单元、sw-msa单元得到的特征与特征z
l
合并得到特征
63.sb1124、将特征作为输入，依次经过第四ln单元、第二mlp单元得到的特征与特征合并后得到特征z
l+1
作为特征f
s1
；
64.sb1125、将f
s1
替换步骤sb1121最为输入，重复步骤sb1121-sb1124,循环t次，提取最后的到特征f
st
.
65.s12、在注意块attentionblock中，将输出特征f
cn
和特征f
st
通过concate模块进行合并得到特征f
fusion
，并将特征f
fusion
输入至van网络得到特征f
out
。具体如下：
66.s121、所述van网络将输入的特征通过下采样子模块的操作，将特征f
fusion
作为输入依次经过第三1x1卷积子模块、第一batchnormalization子模块以及gelu激活函数，得到
特征f
bg
；
67.s122、将特征f
bg
输入到lka子模块得到特征f
lka
；特征f
bg
输入到第二深度可分离卷积子模块后将其输出结果输入到深度可分离空洞卷积子模块，并最终输入到第四1x1卷积子模块得到注意力特征f
attention
；将注意力特征f
attention
与输入特征f
bg
进行相乘得到的特征与输入特征f
bg
相加得到特征f
lka
；
68.s123、将特征f
lka
依次输入至第二batchnormalization子模块、ffn子模块得到的特征与f
lka
相加，最终得到特征f
out
。
69.s13、特征f
out
经过注意块后输出维度为2x1的大小，得到正负两分类的输出。
70.在训练的过程中每次随机挑选正负样本对,首先对于每一张图我们设置成为一个锚点anchor,对于正样本通过数据增广的方式生成正样本.这里的增光增广包括随机裁剪、cutout、色彩变换、sobel过滤、随机噪音、随机模糊以及随机旋转.对于负样本则选择非正样本的图片以及其随机增广的图片.这样可以用anchor图片与正样本或负样本得到不同的正样本对或负样本对.这样针对得到特征f
out
分别称之为zi以及zj特征，这里训练的损失函数为infonce损失函数,损失函数如下所示:
[0071][0072]
τ为温度系数。
[0073]
s2、在注意块attentionblock后增加分类头，所述分类头包括两层mlp、sigmoid函数，两层mlp之间通过relu激活函数连接，所述sigmoid函数输出二分类结果。此步骤是在步骤s1的对比学习的预训练权重的基础上进行的微调,训练出最终的分类模型，本模型中采用的损失函数为交叉熵损失函数。
[0074]
s3、预测阶段；将图片及热力图采集设备固定一定的角度对需要采集的设备进行定点拍摄，获取对应器件的rgb三通道图片以及对应的单通道热力图，将二者融合图输入步骤s2获得的模型中进行气体溢出分类预测，这里设置预测置信度阈值为0.75,如果预测漏气的置信度大于0.75,则认为该部位的器件有漏气,就需要发出警报提醒工作人员来检查。
[0075]
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

技术特征：
1.一种基于对比学习的输送带磨损识别方法，其特征在于，包括以下步骤：s1、将训练样本图片通过n个串联的mobileconvnext特征提取模块和t个swintransformer特征提取模块、注意块来进行对比学习训练；s2、在注意块attentionblock后增加分类头，所述分类头包括两层mlp、sigmoid函数，两层mlp之间通过relu激活函数连接，所述sigmoid函数输出二分类结果；s3、进入预测阶段，设置预测置信度阈值，将图片及热力图采集设备固定一定的角度对需要采集的设备进行定点拍摄，获取对应器件的rgb三通道图片以及对应的单通道热力图，将二者融合图输入步骤s2获得的模型中进行气体溢出分类预测。2.根据权利要求1所述的一种基于对比学习的输送带磨损识别方法，其特征在于，步骤s1具体为s11、通过n个串联的mobileconvnext特征提取模块和t个swintransformer特征提取模块对应得到特征f
cn
以及特征f
st
；s12、在注意块attentionblock中，将输出特征f
cn
和特征f
st
通过concate模块进行合并得到特征f
fusion
，并将特征f
fusion
输入至van网络得到特征f
out
。3.根据权利要求2所述的一种基于对比学习的输送带磨损识别方法，其特征在于，n个串联的mobileconvnext特征提取模块得到特征f
cn
的具体步骤如下：sa111、将训练样本图片首先通过3*3卷积子模块，然后将卷积获得的特征输入至中layernorm子模块得到特征f
ln
；sa112、将f
ln
输入到空间可分离卷积子模块中得到特征f
mc
，所述空间可分离卷积子模块的卷积核为4，步长为4；sa113、将特征f
mc
输入到aspp子模块中得到特征图f
aspp
；特征f
mc
分别输入到空洞率为6、12以及18的空洞卷积单元分别得到特征图f
dc1
,f
dc2
,f
dc3
，同时，特征f
mc
逐次经过1x1最大池化单元、第一1x1卷积单元、上采样单元后得到特征图f
pcu
；将特征图f
dc1
,f
dc2
,f
dc3
和特征图f
pcu
进行第一合并单元后经过第二1x1卷积单元，最终得到特征图f
aspp
；sa114、将特征图f
aspp
输入到第一深度可分离卷积子模块中得到特征f
dc
，将特征f
dc
图输入到线性子模块进行4倍升维，得到特征f
lyu
，然后将特征f
lyu
输入到激活函数δ
gelu
得到特征f
ld
，最后将该特征f
ld
乘theta得到特征f
gamma
；sa115、将特征f
gamma
与特征f
aspp
经过第二合并子模块进行合并的到该网络最终输出特征f
c1
；sa116、将步骤sa115中的特征f
c1
替换步骤sa11中的训练样本图片作为输入，重复步骤sa111-sa115，得到特征f
c2
，循环n次，直至得到特征f
cn
。4.根据权利要求3所述的一种基于对比学习的输送带磨损识别方法，其特征在于，所述swintransformer特征提取模块包括补丁分区子模块、t个swintransformerblock子模块；步骤具体如下：sb111、将训练样本图片输入至补丁分区子模块中得到图片补丁，然后将图片补丁输入至线性嵌入层中得到图片通证特征z
l-1
；sb112、将特征z
l-1
输入至串联的t个swintransformerblock子模块得到特征f
st
。5.根据权利要求4所述的一种基于对比学习的输送带磨损识别方法，其特征在于，步骤sb12具体为：
sb1121、将z
l-1
作为输入，依次经过第一ln单元、w-msa单元得到的特征与z
l-1
合并得到特征sb1122、将特征作为输入，依次经过第二ln单元、第一mlp单元得到的特征与特征和并得到z
l
；sb1123、将特征z
l
作为输入，依次经过第三ln单元、sw-msa单元得到的特征与特征z
l
合并得到特征sb1124、将特征作为输入，依次经过第四ln单元、第二mlp单元得到的特征与特征合并后得到特征z
l+1
作为特征f
s1
；sb1125、将f
s1
替换步骤sb1121最为输入，重复步骤sb1121-sb1124,循环t次，提取最后的到特征f
st
。6.根据权利要求2所述的一种基于对比学习的输送带磨损识别方法，其特征在于，步骤s12具体如下：s121、所述van网络将输入的特征通过下采样子模块的操作，将特征f
fusion
作为输入依次经过第三1x1卷积子模块、第一batchnormalization子模块以及gelu激活函数，得到特征f
bg
；s122、将特征f
bg
输入到lka子模块得到特征f
lka
；s123、将特征f
lka
依次输入至第二batchnormalization子模块、ffn子模块得到的特征与f
lka
相加，最终得到特征f
out
。7.根据权利要求6所述的一种基于对比学习的输送带磨损识别方法，其特征在于，特征f
lka
的求取过程为：特征f
bg
输入到第二深度可分离卷积子模块后将其输出结果输入到深度可分离空洞卷积子模块，并最终输入到第四1x1卷积子模块得到注意力特征f
attention
；将注意力特征f
attention
与输入特征f
bg
进行相乘得到的特征与输入特征f
bg
相加得到特征f
lka
。8.根据权利要求1所述的一种基于对比学习的输送带磨损识别方法，其特征在于，步骤s1中建立的分类模型采用的损失函数为infonce损失函数。9.根据权利要求1所述的一种基于对比学习的输送带磨损识别方法，其特征在于，步骤s2中建立的模型采用的损失函数为交叉熵损失函数。

技术总结
一种基于对比学习的输送带磨损识别方法，包括以下步骤：S1、将训练样本图片通过N个串联的MobileConvNeXt特征提取模块和T个SwinTransformer特征提取模块、注意块来进行对比学习训练；S2、在注意块AttentionBlock后增加分类头，所述分类头包括两层MLP、sigmoid函数，所述sigmoid函数输出二分类结果；S3、进入预测阶段，设置预测置信度阈值，将图片及热力图采集设备固定一定的角度对需要采集的设备进行定点拍摄，获取对应器件的RGB三通道图片以及对应的单通道热力图，将二者融合图输入步骤S2获得的模型中进行气体溢出分类预测。该方法可以基于无监督的方式进行特征提取，减少了人工标注成本同时可以提取更为丰富的特征信息，同时基于自监督学习的方法可以更好的加快模型训练收敛速度。快模型训练收敛速度。快模型训练收敛速度。


技术研发人员：郑博超 胡懋成 王秋阳 汪玉冰 凤阳
受保护的技术使用者：合肥赛为智能有限公司
技术研发日：2023.03.30
技术公布日：2023/8/5