一种基于对比学习气体溢出检测方法与流程

1.本发明属于气体溢出检测的技术领域，尤其涉及一种基于对比学习气体溢出检测方法。


背景技术：

2.气体的安全使用是气体的陈放的重要考虑因素，为了实现气体溢出的监测，不仅仅使用传感器，还包括以下技术：
3.1.(cn202011618527.2)基于图像识别的液体、气体跑冒滴漏识别方法及系统
4.该发明提出一种基于图像识别的液体、气体跑冒滴漏识别方法及系统，目的在于提高对跑冒滴漏现象识别的准确率；该方法是：通过摄像设备对监控现场进行视频素材收集；对视频素材进行分解以获得多个图片素材；通过线上标注工具对图片素材进行标注，即选中图片中的液体、气体跑冒滴漏区域；由以上来训练获得ai模型，并布局于监控设备当中；由布局有所述ai模型的监控设备对现场采集的视频素材进行分解和识别，当存在液体、气体跑冒滴漏区域时，对分解获得的图片素材进行标注，并进行告警。该系统包括布局于监控现场的若干个监控设备，所述监控设备包括：摄像模块、分解处理模块、检测模块、归类模块以及告警模块。该专利仅仅根据目标检测进行识别，在识别的过程中需要大量的训练样本，来进行特征提取，尤其是对负样本的收集有大的局限性，从而导致模型训练的困难。
5.2.(cn202111526834.2)一种基于图像的气体泄漏监测方法
6.该发明涉及气体泄漏监测，具体涉及一种基于图像的气体泄漏监测方法，基于泄漏气体红外辐射模型和气体温度生成气体浓度查找表，获取各待测区域的红外全景图像和实时气体温度，并结合气体浓度查找表得到各像素点对应的气体浓度值，将各待测区域的红外全景图像以及各像素点对应的气体浓度值发送至控制终端，控制终端得到整个待测区域的气体浓度空间分布数据，并在整个待测区域内确定泄漏源位置；本发明提供的技术方案能够有效克服现有技术所存在的难以对检测结果进行实时量化处理、无法快速准确确定泄漏源位置的缺陷。该发明仅仅基于红外图片通过温度信息对气体泄漏进行检测，往往受环境温度影响，且仅仅只能检测被检测气体与周围气体温度较大的气体，有很大的局限性。
7.3.(cn112131993a)一种基于图像识别技术的气体泄漏视觉检测系统及方法
8.该发明公开了一种基于图像识别技术的气体泄漏视觉检测系统及方法，所述系统包括：设置有气敏色变材料的检测模块、待检测气体储存装置、图像采集装置和处理器，多个所述设置有气敏色变材料的检测模块安装在所述待检测气体储存装置的表面，所述图像采集装置用于采集所述设置有气敏色变材料的检测模块的图像，多组所述图像采集装置与所述处理器通信连接，所述处理器用于识别气敏色变材料的颜色变化。本发明提供的基于图像识别技术的气体泄漏视觉检测系统及方法，利用气敏色变材料的变色特点，通过采集和识别设置有气敏色变材料的检测模块，就可以快速、准确实现气体泄漏检测，具有自动化水平高、实施简单、成本低的特点。该发明需要基于气敏材料进行检测，检测的气体种类有一定的局限性，无法准确的进行气体泄漏检测。


技术实现要素：

9.为解决背景技术中的问题，为此，本发明提出了一种基于对比学习气体溢出检测方法，具体方案如下：
10.一种基于对比学习气体溢出检测方法，包括以下步骤：
11.s1、对比学习训练阶段，训练图片特征提取的模型权重，所述模型包括三个分支分别进行特征提取，然后将三个特征进行融合得到最终的图片特征io；
12.s2、将步骤s1中最后的模型冻结，并在之后连接两个全连接层，全连接层之间通过sigmoid激活函数得到非线性特征，最后输出特征特定维度大小的特征图，得出正负两分类的输出，代表是否有气体溢出的分类；
13.s3、预设漏气的置信度阈值，将图片及热力图采集设备固定一定的角度对需要采集的设备进行定点拍摄，获取对应器件的rgb三通道图片以及对应的单通道热力图，将二者融合图输入步骤s2获得的模型中进行气体溢出分类预测，预测漏气的置信度是否大于设定值。
14.具体地说，s11、步骤s1中三条分支分别提取的步骤如下：
15.第一条分支为：
16.sa11、将输入的图片及热力图在concate合并模块合并得到图ii；
17.sa12、将图ii输入到第一条分支中，得到特征f
dbr
；具体步骤为：
18.sa121、对图ii通过第一普通卷积单元得到输入特征，将输入特征输入到seblock模块中得到特征f
se
，具体步骤如下：
19.sa122、将特征f
se
再经过两个串联的seblock模块、convblock模块得到特征f
cc
，之后将得到的f
cc
输入到深度可分离卷积块得到特征f
dbr
；
20.第二条分支为：
21.sb11、将输入的图片输入到空间可分离卷积块中；所述空间可分离卷积块由空间可分离卷积、layernorm以及silu激活函数构成，输入图片通过该4个串联的空间可分离卷积块得到特征f
sc
；
22.第三条分支为：
23.sc11、将图片输入至普通卷积模块，得到特征f
cb
；所述普通卷积模块由普通卷积以及relu激活函数构成；
24.sc12、将特征f
cb
输入到cbam注意模块中得到特征f
cbam
，并将特征f
cbam
输入到ppm模块得到特征f
ppm
；所述ppm模块包括并列设置的3x3,5x5,7x7,9x9不同大小的卷积核，将特征f
cbam
进行卷积分别得到不同尺寸大小的特征，然后分别进行反卷积得到三个统一尺寸大小的特征；
25.sc13、将三个特征通过concate模块并通过unsampling的方式进行上采样并与特征f
cbam
进行相加且通过空洞率为3的空洞卷积得到特征f
ppm
。
26.具体地说，步骤sa121具体为：
27.sa1211、输入特征依次经过第一1x1卷积单元、第一leakyrelu单元、第一batchnorm单元串联模块的输入，最终得到特征f
c1
；
28.sa1212、将特征f
c1
作为3*3卷积单元、第一gelu激活函数单元、batchnorm单元串联模块的输入，得到特征f
c2
；
29.sa1213、将特征f
c2
输入至selayout单元中，得到特征f
sel
,接着将其作为串联的第二1x1卷积单元、第二leakyrelu单元、第二batchnorm单元的输入，得到特征f
c3
,将特征f
c3
与图ii通过普通卷积得到的输入特征通过concate单元的合并后输入至第一relu激活函数单元得到特征f
se
。
30.具体地说，s12、将三个分支通过pce融合模块进行融合得到最终的图片io；具体步骤如下：
31.s121、将特征f
dbr
、特征f
sc
分别通过卷积操作得到特征f
dbrc
以及特征f
scc
；
32.s122、特征f
dbrc
以及特征分别与对应的输入特征f
dbr
、特征f
sc
进行concate得到特征f
df
与特征f
csf
；
33.s123、将特征f
df
与特征f
csf
通过concate得到特征ff；
34.s124、将ff输入到卷积块及batchnorm中并通过上采样得到特征f
cbu
；
35.s125、特征f
ppm
通过空洞卷积以及relu激活函数与特征f
cbu
进行相乘得到特征f
dfm
；
36.s125、对特征f
dfm
进行反卷积以及反池化操作得到图io。
37.具体地说，步骤s2最终输出特征维度为2x1大小的特征图。
38.具体地说，在步骤s1中计算获得图io与ii之间的损失函数使用mse损失函数。
39.具体地说，步骤s21-s22训练的模型使用的损失函数为交叉熵损失函数。
40.本发明的有益效果在于：
41.(1)本专利基于气体泄漏图片以及气体热力图图片进行多模态信息融合的方式进行气体泄漏识别，即可以通过光学信息及热力学信息进行特征抽取，可以更好的识别气体泄漏检测。
42.(2)本专利基于对比学习的方式进行特征提取极大的解决了因缺少大量负样本而导致特征提取效果较差的问题，可以让模型更充分的理解气体泄漏特征从而提升模型的准确性。
43.(3)本专利基于多种注意力机制发明的ihnet网络进行气体泄漏检测，基于图像及热力图进行特征抽取，对多种气体都有很好的兼容特征，提高了模型对气体泄漏检测的准确度。
附图说明
44.图1为本发明提出的一种基于对比学习气体溢出检测方法的结构图。
具体实施方式
45.如图1所示，一种基于对比学习气体溢出检测方法，包括以下步骤：
46.s1、对比学习训练阶段，训练图片特征提取的模型权重，所述模型包括三个分支分别进行特征提取，然后将三个特征进行融合得到最终的图片特征；
47.s11、三条分支分别提取的步骤如下：
48.第一条分支为：
49.sa11、将输入的图片及热力图在concate合并模块合并得到图ii；
50.sa12、将图ii输入到第一条分支中，得到特征f
dbr
；具体步骤为：
51.sa121、对图ii通过第一普通卷积单元得到输入特征，将输入特征输入到seblock
模块中，具体步骤如下：
52.sa1211、输入特征依次经过第一1x1卷积单元、第一leakyrelu单元、第一batchnorm单元串联模块的输入，最终得到特征f
c1
；
53.sa1212、将特征f
c1
作为3*3卷积单元、第一gelu激活函数单元、batchnorm单元串联模块的输入，得到特征f
c2
；
54.sa1213、将特征f
c2
输入至selayout单元中，设置减缩因子为8，得到特征f
sel
,接着将其作为串联的第二1x1卷积单元、第二leakyrelu单元、第二batchnorm单元的输入，得到特征f
c3
,将特征f
c2
与图ii通过普通卷积得到的输入特征通过concate单元的合并后输入至第一relu激活函数单元得到特征f
se
。
55.sa122、将特征f
se
再经过两个串联的seblock模块、convblock模块得到特征f
cc
，之后将得到的f
cc
输入到深度可分离卷积块得到特征f
dbr
。
56.所述convblock模块是由串联的第二普通卷积单元与gelu激活函数以及batchnorm函数组成；述深度可分离卷积块是由串联的深度可分离卷积、batchnorm以及relu构成。
57.第二条分支为：
58.sb11、将输入的图片输入到空间可分离卷积块中；所述空间可分离卷积块由空间可分离卷积、layernorm以及silu激活函数构成，输入图片通过该4个串联的空间可分离卷积块得到特征f
sc
；
59.第三条分支为：
60.sc11、将图片输入至普通卷积模块，得到特征f
cb
；所述普通卷积模块由普通卷积以及relu激活函数构成；
61.sc12、将特征f
cb
输入到cbam注意模块中得到特征f
cbam
，并将特征f
cbam
输入到ppm模块得到特征f
ppm
；
62.所述ppm模块包括并列设置的3x3,5x5,7x7,9x9不同大小的卷积核，将特征f
cbam
进行卷积分别得到不同尺寸大小的特征，然后分别进行反卷积得到三个统一尺寸大小的特征；
63.sc13、将三个特征通过concate模块并通过unsampling的方式进行上采样并与特征f
cbam
进行相加且通过空洞率为3的空洞卷积得到特征f
ppm
。
64.s12、将三个分支通过pce融合模块进行融合得到最终的图片io；具体步骤如下：
65.s121、将特征f
dbr
、特征f
sc
分别通过卷积操作得到特征f
dbrc
以及特征f
scc
；
66.s122、特征f
dbrc
以及特征分别与对应的输入特征f
dbr
、特征f
sc
进行concate得到特征f
df
与特征f
csf
；
67.s123、将特征f
df
与特征f
csf
通过concate得到特征ff；
68.s124、将ff输入到卷积块及batchnorm中并通过上采样得到特征f
cbu
；
69.s125、特征f
ppm
通过空洞卷积以及relu激活函数与特征f
cbu
进行相乘得到特征f
dfm
；
70.s125、对特征f
dfm
进行反卷积以及反池化操作得到图io；
71.求图io与ii之间的损失函数为mse损失函数，最终得到对图像特征提取的网络。
72.s2、将步骤s1中最后的模型冻结，并在之后连接两个全连接层，全连接层之间通过sigmoid激活函数得到非线性特征，最后输出特征特定维度大小的特征图，得出正负两分类
的输出，代表是否有气体溢出的分类，具体步骤如下：
73.s21、将得到的fdfm的权重进行冻结，并在之后连接两个全连接层，所述全连接层之间通过sigmoid激活函数得到非线性特征；
74.s22、最后输出特征维度为2x1大小的特征图，得出正负两分类的输出，代表是否有气体溢出的分类，所述分类分别为有漏气以及没有漏气两种类别。
75.步骤s21-s22训练的模型使用的损失函数为交叉熵损失函数。
76.s3、测试阶段；将图片及热力图采集设备固定一定的角度对需要采集的设备进行定点拍摄，获取对应器件的rgb三通道图片以及对应的单通道热力图，将二者融合图输入步骤s2获得的模型中进行气体溢出分类预测，这里设置预测置信度阈值为0.75,如果预测漏气的置信度大于0.75,则认为该部位的器件有漏气,就需要发出警报提醒工作人员来检查。
77.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于对比学习气体溢出检测方法，其特征在于，包括以下步骤：s1、对比学习训练阶段，训练图片特征提取的模型权重，所述模型包括三个分支分别进行特征提取，然后将三个特征进行融合得到最终的图片特征i
o
；s2、将步骤s1中最后的模型冻结，并在之后连接两个全连接层，全连接层之间通过sigmoid激活函数得到非线性特征，最后输出特征特定维度大小的特征图，得出正负两分类的输出，代表是否有气体溢出的分类；s3、预设漏气的置信度阈值，将图片及热力图采集设备固定一定的角度对需要采集的设备进行定点拍摄，获取对应器件的rgb三通道图片以及对应的单通道热力图，将二者融合图输入步骤s2获得的模型中进行气体溢出分类预测，预测漏气的置信度是否大于设定值。2.根据权利要求1所述的一种基于对比学习气体溢出检测方法，其特征在于，s11、步骤s1中三条分支分别提取的步骤如下：第一条分支为：sa11、将输入的图片及热力图在concate合并模块合并得到图i
i
；sa12、将图i
i
输入到第一条分支中，得到特征f
dbr
；具体步骤为：sa121、对图i
i
通过第一普通卷积单元得到输入特征，将输入特征输入到seblock模块中得到特征f
se
，具体步骤如下：sa122、将特征f
se
再经过两个串联的seblock模块、convblock模块得到特征f
cc
，之后将得到的f
cc
输入到深度可分离卷积块得到特征f
dbr
；第二条分支为：sb11、将输入的图片输入到空间可分离卷积块中；所述空间可分离卷积块由空间可分离卷积、layernorm以及silu激活函数构成，输入图片通过该4个串联的空间可分离卷积块得到特征f
sc
；第三条分支为：sc11、将图片输入至普通卷积模块，得到特征f
cb
；所述普通卷积模块由普通卷积以及relu激活函数构成；sc12、将特征f
cb
输入到cbam注意模块中得到特征f
cbam
，并将特征f
cbam
输入到ppm模块得到特征f
ppm
；所述ppm模块包括并列设置的3x3，5x5，7x7，9x9不同大小的卷积核，将特征f
cbam
进行卷积分别得到不同尺寸大小的特征，然后分别进行反卷积得到三个统一尺寸大小的特征；sc13、将三个特征通过concate模块并通过unsampling的方式进行上采样并与特征f
cbam
进行相加且通过空洞率为3的空洞卷积得到特征f
ppm
。3.根据权利要求1所述的一种基于对比学习气体溢出检测方法，其特征在于，步骤sa121具体为：sa1211、输入特征依次经过第一1x1卷积单元、第一leakyrelu单元、第一batchnorm单元串联模块的输入，最终得到特征f
c1
；sa1212、将特征f
c1
作为3*3卷积单元、第一gelu激活函数单元、batchnorm单元串联模块的输入，得到特征f
c2
；sa1213、将特征f
c2
输入至selayout单元中，得到特征f
sel
，接着将其作为串联的第二1x1卷积单元、第二leakyrelu单元、第二batchnorm单元的输入，得到特征f
c3
，将特征f
c3
与图i
i
通过普通卷积得到的输入特征通过concate单元的合并后输入至第一relu激活函数单元得到特征f
se
。4.根据权利要求1所述的一种基于对比学习气体溢出检测方法，其特征在于，s12、将三个分支通过pce融合模块进行融合得到最终的图片i
o
；具体步骤如下：s121、将特征f
dbr
、特征f
sc
分别通过卷积操作得到特征f
dbrc
以及特征f
scc
；s122、特征f
dbrc
以及特征分别与对应的输入特征f
dbr
、特征f
sc
进行concate得到特征f
df
与特征f
csf
；s123、将特征f
df
与特征f
csf
通过concate得到特征f
f
；s124、将f
f
输入到卷积块及batchnorm中并通过上采样得到特征f
cbu
；s125、特征f
ppm
通过空洞卷积以及relu激活函数与特征f
cbu
进行相乘得到特征f
dfm
；s125、对特征f
dfm
进行反卷积以及反池化操作得到图i
o
。5.根据权利要求1所述的一种基于对比学习气体溢出检测方法，其特征在于，步骤s2最终输出特征维度为2x1大小的特征图。6.根据权利要求1所述的一种基于对比学习气体溢出检测方法，其特征在于，在步骤s1中计算获得图i
o
与i
i
之间的损失函数使用mse损失函数。7.根据权利要求1所述的一种基于对比学习气体溢出检测方法，其特征在于，步骤s21-s22训练的模型使用的损失函数为交叉熵损失函数。

技术总结
一种基于对比学习气体溢出检测方法，包括以下步骤：S1、对比学习训练阶段，训练图片特征提取的模型权重，所述模型包括三个分支分别进行特征提取，然后将三个特征进行融合得到最终的图片特征I


技术研发人员：胡懋成 王秋阳 郑博超 汪玉冰 凤阳 刘丹
受保护的技术使用者：合肥赛为智能有限公司
技术研发日：2023.03.30
技术公布日：2023/8/5