一种气体污染红外图像视觉辅助检测方法与流程

1.本发明涉及图像数据处理技术领域，具体涉及一种气体污染红外图像视觉辅助检测方法。


背景技术：

2.在气体检测领域，红外成像探测具有便捷准确，高效率的优势，但是由于当气体量小或者背景具有较强的干扰时，会导致在进行气体污染的视觉判断时，难以有效的准确的进行气体污染判断。进而了提高对管道泄露造成的气体污染的红外图像细节感知，现有对红外图像进行图像增强的方法，常见的有限制对比度直方图均衡化方法，但是由于在图像增强时，是依赖整个图像的数据信息，但是在图像增强时，对气体部分的增强效果不明显。


技术实现要素：

3.本发明提供一种气体污染红外图像视觉辅助检测方法，以解决现有的问题。
4.本发明的一种气体污染红外图像视觉辅助检测方法采用如下技术方案：本发明一个实施例提供了一种气体污染红外图像视觉辅助检测方法，该方法包括以下步骤：通过生产线上布置的相机采集产品的rgb图像和红外图像，根据rgb图像进行语义分割得到rgb图像上的管道语义边缘，将rgb图像上的管道语义边缘对应到红外图像上得到红外图像的管道语义边缘；利用红外图像的管道语义边缘得到管道边缘图像，在管道边缘图像上，对不同像素点进行区域划分得到若干管道区域；根据管道区域得到连通域顺序集合，获取连通域顺序集合中每个连通域的目标连通域，根据目标连通域与管道区域的距离对目标连通域进行排序得到每个连通域的连通域序列，获取每个连通域的连通域序列中的温度变化量，根据每个连通域的连通域序列中的温度变化量得到每个连通域的温度距离倾向率，根据每个连通域的温度变化量以及温度距离倾向率得到每个连通域的对比度映射参数；根据每个连通域的对比度映射参数对不同连通域进行图像增强得到增强后的连通域，重新计算增强后的连通域的温度距离倾向率，并判断增强后的连通域的温度距离倾向率是否超过预设的增强阈值，若超出增强阈值则存在气体污染，否则不存在气体污染。
5.优选的，所述根据管道区域得到连通域顺序集合，包括的具体步骤如下：利用边缘检测算法对管道区域进行边缘检测，得到管道边缘图像上的边缘像素点，利用边缘像素点进行向量分类得到自适应分区后的若干连通域，并对连通域进行排序得到连通域顺序集合。
6.优选的，所述对连通域进行排序得到连通域顺序集合，包括的具体步骤如下：在管道边缘图像上，得到红外图像的所有管道语义边缘像素点，计算所有连通域的质心，并计算每个连通域的质心与距离最近的边缘像素点之间的距离，记为每个连通域的连通域距离，将所有连通域按照连通域距离从大到小的顺序进行排列得到连通域顺序集
合。
7.优选的，所述获取连通域顺序集合中每个连通域的目标连通域，包括的具体步骤如下：在连通域顺序集合中，获取每个连通域的温度变化量和每个连通域的质心，计算边缘像素点的中心，根据每个连通域的质心与边缘像素点的中心连成直线得到所在直线经过的所有连通域，记为每个连通域的目标连通域。
8.优选的，所述连通域的温度变化量的具体获取方法如下：在每个连通域内，将红外图像与上一帧的红外图像的图像数值进行作差，并将差值取绝对值，得到各个像素点对应的温度变化量，进而将每个连通域中所有像素点对应的温度变化量进行累加，将累加值记为每个连通域的温度变化量。
9.优选的，所述根据每个连通域的温度变化量以及温度距离倾向率得到每个连通域的对比度映射参数，包括的具体计算公式如下：其中，是第个连通域的对比度映射参数，是连通域顺序集合中第个连通域相邻的前一个连通域的对比度映射参数，是第个连通域对应的温度变化量，是第个连通域的温度距离倾向率，是预设的调参系数，表示函数。
10.优选的，所述根据每个连通域的连通域序列中的温度变化量得到每个连通域的温度距离倾向率，包括的具体步骤如下：对任意连通域，将连通域中的所有目标连通域的温度变化量按照目标连通域与管道点的距离值从大到小的顺序进行排序得到连通域序列，所述连通域序列中包含连通域，获取连通域序列中在连通域之后的若干个目标连通域的温度变化量值，根据若干个目标连通域的温度变化量值得到连通域的温度距离倾向率。
11.优选的，所述根据若干个目标连通域的温度变化量值得到连通域的温度距离倾向率，包括的具体步骤如下：利用连通域的目标连通域的温度变化量值组成连通域的温度变化量序列，利用线性拟合的方法，将连通域的温度变化量序列拟合成线性函数，获取该线性函数的斜率值，记为连通域的温度距离倾向率。
12.优选的，所述根据每个连通域的对比度映射参数对不同连通域进行图像增强得到增强后的连通域，包括的具体步骤如下：根据每个连通域的对比度映射参数得到拟合函数；根据拟合函数得到不同连通域的对比度值，获取对比度值大于预设的对比度阈值的连通域，将对比度值大于预设的对比
度阈值的连通域进行图像增强得到增强后的连通域。
13.优选的，所述根据每个连通域的对比度映射参数得到拟合函数，包括的具体步骤如下：根据每个连通域的对比度映射参数计算管道边缘图像上所有连通域的对比度映射参数，利用所有连通域的对比度映射参数构建一个对比度映射参数和对比度映射表；对对比度映射参数和对比度进行非线性拟合，得到对比度映射参数和对比度之间的拟合函数。
14.本发明的技术方案的有益效果是：通过对红外图像区域进行不同位置的划分，依据气体泄漏造成污染的过程，进行了自适应的红外图像增强，使得增强效果具有对气体的针对性，并能够依据气体的扩散进行增强调整，得到稳定准确的图像增强效果，进而用于气体污染辅助监测。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明一种气体污染红外图像视觉辅助检测方法的步骤流程图。
具体实施方式
17.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种气体污染红外图像视觉辅助检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
19.下面结合附图具体的说明本发明所提供的一种气体污染红外图像视觉辅助检测方法的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的一种气体污染红外图像视觉辅助检测方法的步骤流程图，该方法包括以下步骤：s001：通过生产线上布置的相机采集产品的rgb图像和红外图像，根据rgb图像进行语义分割得到rgb图像上的管道语义边缘，将rgb图像上的管道语义边缘对应到红外图像上得到红外图像的管道语义边缘。
21.具体的，在待污染区域安装红外摄像头和彩色工业摄像头，采集待监控区域的红外图像和图像。将红外摄像头和彩色工业摄像头与数据处理中心以有线的方式进行数据连接传输，在红外摄像头和彩色工业摄像头在采集得到图像数据后，发送至数据处理中心。数据处理中心在得到待检测区域的红外图像和图像后，将由相机采集得
到管道图像输入到训练完成的神经网络中，利用语义分割网络对图像进行识别，得到图像中在待检测区域中的管道，其中本实施例具体采用神经网络进行语义分割，训练集由具有相关经验人员进行采集标注，标注过程中为像素级别的标注，将属于管道的像素点标注为1，背景像素点标注为0，之后采用编码方式进行编码，其中神经网络的训练过程和编码方式为公知内容，本实施例不在此赘述。得到图像中在待检测区域中的管道部分，其中rgb图像和红外成像预先进行标定，使得在同一红外图像中的像素点和在同一图像中的像素点表示现实世界中同一视角下同一物体的同一位置，进而得到在红外图像中的管道语义边缘。
22.至此，得到了在红外图像中的管道语义边缘。
23.s002：利用红外图像的管道语义边缘得到管道边缘图像，在管道边缘图像上，对不同像素点进行区域划分得到若干管道区域。
24.需要说明的是，在距离管道不同位置下，气体量不同，背景不同，其中当气体量不太明显时，对气体污染检测的效果往往更加不好，当具有大量的气体时，则不用明显的图像增强，即可完成气体污染检测。当在进行气体污染检测时，由于气体污染由管道开始向外扩散，所以在进行红外图像增强时，优先检测距离管道越近的区域，进而图像增强。
25.进一步需要说明的是，在得到红外图像中管道区域后，由于气体污染由管道开始向外扩散，所以在进行红外图像增强时，优先保证距离管道越近的区域，则对应的细节增强应当越明显，解决由于气体占比整个图像比重较小，导致在进行红外图像增强时，红外图像增强效果依赖全局红外信息，从而出现红外图像增强后的红外图像中拍摄的气体数据仍然不明显的问题，因此需要根据图像中像素距离管道的距离对像素点进行自适应划分，得到多个类别，并根据类别对图像数据进行分区得到若干类别区域。同时，由于相机固定，管道位置不变，则自适应划分之后的类别区域的位置也固定。
26.具体的，将红外图像中的管道语义边缘中的所有红外像素点提取至空白图像上得到一幅新图像，将新图像记为管道边缘图像，利用边缘检测算法，进行边缘检测，得到管道边缘图像中属于边缘的像素点；进而计算第个像素点到管道语义边缘对应像素点的欧式距离值，其中由于边缘像素点有多个，进而选择从第个像素点到所有边缘像素点之间欧式距离值的最小值作为第个像素点到管道的距离值，其中之所以采用边缘进行欧式距离计算，而不是管道中线，是因为方法管道表面存在纹理导致增强后反而对气体造成了影响。
27.进一步的，为了降低背景对图像增强时，对图像气体增强效果的干扰，本实施例选择将各个像素点的坐标信息和对应到管道的距离值组成一个三维向量，利用算
法对应所有像素点的三维向量进行分类，进而可以将位置近似且值近似的分为一类，得到不同类别对应图像上的若干个管道区域，完成不同像素点之间的区域划分。
28.至此，得到了若干个管道区域。
29.s003：根据管道区域获取每个连通域的连通域序列中的温度变化量，根据每个连通域的连通域序列中的温度变化量得到每个连通域的温度距离倾向率，根据每个连通域的温度变化量以及温度距离倾向率得到每个连通域的对比度映射参数，进一步得到对比度映射参数和对比度之间的拟合函数。
30.需要说明的是，在完成自适应的区域划分后，为了使得不同区域之间具有不同程度的红外图像增强效果，本实施例选择采用限制对比度直方图均衡化方法，进行不同区域之间不同程度的图像增强。其中对比度的值越大，则增强效果越明显，并且对于管道周围气体应当具有更高的增强效果。但是需要计算连续帧之间在红外图像中同一位置之间的温度变化量（即帧差图像），但是如果当前气体污染程度较大，或者没有污染时，变化量较小，则对应的增强效果应当降低，当前污染程度轻微时，也会具有较小的温度变化量。但是由于气体是向外扩散的过程，如果温度变化量随着管道由近至远时，温度变化量随之递增，则当距离越远时，表示当前气体污染程度越严重；如果温度变化量随着管道由近至远时，温度变化量不变，保持较小或者为的状态时，表示当前气体存在泄露污染程度，如果温度变化量随着管道由近至远时，温度变化量随之递减，则表示当前气体污染程度具有一定量的泄露，但是此时气体处于不易观测状态，需要更强的红外图像增强效果。进而本实施例结合不同区域与管道之间的距离信息和不同区域的对应的温度变化量，得到不同区域所需的对比度系数，用于不同限制对比度下的图像增强效果，以实现整个红外图像的增强。通过计算得到第个区域的距离权重，根据相邻区域之间斜率的变化，反应当前第个区域处于气体量较大、气体量为0或者气体量较小的区域，进而进行不同程度的增强。
31.具体的，将当前红外图像与上一帧的红外图像的图像数值进行作差，并将差值取绝对值，得到各个像素点对应的温度变化量，进而将当前第个区域中所有像素点对应的温度变化量进行累加记为当前第个区域对应的温度变化量，其值越大，表示当前区域中各像素点对应的温度值与上一帧之间的温度值存在一定的变化量，其中变化量越大则越容易观测，变化量越小的则越不容易观测，所有变化量越小的区域对应的限制对比度值应当越大。所以利用函数进行负相关映射。
32.进一步，在管道边缘图像上，得到红外图像的所有管道语义边缘像素点，并计算所有管道语义边缘像素的横纵坐标的算术均值记为管道点；根据连通域定义得到第个区域对应的连通域，所述连通域是平行于管道区域的一系列平行连通域且连通域形状与管道区域相似，并将第个区域对应的温度变化量作为第个连通域的温度变化量，计算所有连通域的质心，并计算第个连通域的质心与距离最近的边缘像素点之间的距离，记为第
个连通域的连通域距离，将所有连通域按照连通域距离从大到小的顺序进行排列得到连通域顺序集合；在管道边缘图像上计算第个连通域的质心，将第个连通域的质心与距离其最近的管道语义边缘像素点进行连线得到直线，获取该直线经过的连通域，将直线经过的所有连通域记为目标连通域，获取该直线经过的每个连通域的温度变化量，对该些连通域的温度变化量按照与管道点的距离值按照从大到小的顺序进行排序得到连通域序列，获取连通域序列中在第个连通域之后的个连通域的温度变化量值组成第个连通域的温度变化量序列，其中本实施例以为例进行说明，若第个连通域的之后的连通域不足6个，则取第个连通域之后的所有连通域的温度变化量值组成第个连通域的温度变化量序列；利用线性拟合的方法，将第个连通域的温度变化量序列拟合成线性函数，获取该线性函数的斜率值，记为第个连通域的温度距离倾向率，并计算第个连通域的对比度映射参数的递推式，具体计算公式如下：其中，是第个连通域的对比度映射参数，是连通域顺序集合中第个连通域相邻的前一个连通域的对比度映射参数，是第个连通域对应的温度变化量，是第个连通域的温度距离倾向率，是调参系数，其中本实施例以为例进行说明，表示对括号内的内容进行函数计算，表示对的值进行负相关映射。如果的值大于0，且越大，则越表示当前第个区域对应的气体污染量为气体量较大的区域，但是由于量大的区域比较容易观测，在增强后可能会引发过度增强，所以此处需要较小程度的增强效果甚至不增强；如果的值近乎为0，则表示当前第个区域对应的气体污染量为气体量为0的区域，而由于气体是扩散模型，所以这种情况下是不存在气体污染的；如果的值小于0，且越小，则越表示当前第个区域对应的气体污染量为气体量较少的区域，且在之后的区域也在逐渐降低，所以此处需要较大程度的增强效果。需要特殊说明的是，当时，本实施例设置的对比度映射参数的初始值为0，表示该区域内的气体不需要增强。越大，表示第个区域在图像增强时越需要较大对比度限制值，用于局部区域的图像增强，使得气体变得更加明显。
33.进一步，得到各个连通域对应的对比度映射参数后，通过建立对比度映射参数和
对比度关系映射表，实现不同连通域的自适应图像增强，以用于气体污染监测。具体步骤如下：通过具有相关经验人员对不同连通域进行不同对比限制下的图像增强，由该相关经验人员选择不同连通域对应的最佳对比度限制值，对不同连通域对应的最佳对比度值和对比度映射参数进行记录，得到一个对比度映射参数和对比度映射表，进而利用最小二乘法对对比度映射参数和对比度进行非线性拟合，得到对比度映射参数和对比度之间的拟合函数。
34.至此，得到了对比度映射参数和对比度之间的拟合函数。
35.s004：根据每个连通域的对比度映射参数和对比度之间的拟合函数进行不同程度的图像增强得到增强后的气体红外图像，实现气体污染红外图像视觉辅助检测。
36.本实施例根据实际经验得到一个对比度阈值和一个增强阈值，其中本实施例以和为例进行叙述，本实施例不进行具体限定，两个阈值可根据具体实施情况而定。
37.具体的，进而在之后的气体污染监测中，利用拟合函数求取每个连通域的对比度映射参数，利用对比度映射参数和对比度之间的拟合函数，得到不同连通域对应的对比度值；在对比度值大于的连通域，采用直方图均衡化对其进行图像增强得到不同连通域上不同增强效果的红外图像。
38.进一步，在得到不同连通域上不同增强效果的红外图像后，重新计算第个连通域对应的值的绝对值,当时，则认为当前产生了气体泄漏造成了气体污染，否则认为当前无泄漏，由具有相关经验人员进行不同程度的红外图像增强，完成气体污染辅助检测。
39.至此，完成了气体污染辅助检测。
40.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种气体污染红外图像视觉辅助检测方法，其特征在于，该方法包括以下步骤：通过生产线上布置的相机采集产品的rgb图像和红外图像，根据rgb图像进行语义分割得到rgb图像上的管道语义边缘，将rgb图像上的管道语义边缘对应到红外图像上得到红外图像的管道语义边缘；利用红外图像的管道语义边缘得到管道边缘图像，在管道边缘图像上，对不同像素点进行区域划分得到若干管道区域；根据管道区域得到连通域顺序集合，获取连通域顺序集合中每个连通域的目标连通域，根据目标连通域与管道区域的距离对目标连通域进行排序得到每个连通域的连通域序列，获取每个连通域的连通域序列中的温度变化量，根据每个连通域的连通域序列中的温度变化量得到每个连通域的温度距离倾向率，根据每个连通域的温度变化量以及温度距离倾向率得到每个连通域的对比度映射参数；根据每个连通域的对比度映射参数对不同连通域进行图像增强得到增强后的连通域，重新计算增强后的连通域的温度距离倾向率，并判断增强后的连通域的温度距离倾向率是否超过预设的增强阈值，若超出增强阈值则存在气体污染，否则不存在气体污染。2.根据权利要求1所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述根据管道区域得到连通域顺序集合，包括的具体步骤如下：利用边缘检测算法对管道区域进行边缘检测，得到管道边缘图像上的边缘像素点，利用边缘像素点进行向量分类得到自适应分区后的若干连通域，并对连通域进行排序得到连通域顺序集合。3.根据权利要求2所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述对连通域进行排序得到连通域顺序集合，包括的具体步骤如下：在管道边缘图像上，得到红外图像的所有管道语义边缘像素点，计算所有连通域的质心，并计算每个连通域的质心与距离最近的边缘像素点之间的距离，记为每个连通域的连通域距离，将所有连通域按照连通域距离从大到小的顺序进行排列得到连通域顺序集合。4.根据权利要求1所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述获取连通域顺序集合中每个连通域的目标连通域，包括的具体步骤如下：在连通域顺序集合中，获取每个连通域的温度变化量和每个连通域的质心，计算边缘像素点的中心，根据每个连通域的质心与边缘像素点的中心连成直线得到所在直线经过的所有连通域，记为每个连通域的目标连通域。5.根据权利要求4所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述连通域的温度变化量的具体获取方法如下：在每个连通域内，将红外图像与上一帧的红外图像的图像数值进行作差，并将差值取绝对值，得到各个像素点对应的温度变化量，进而将每个连通域中所有像素点对应的温度变化量进行累加，将累加值记为每个连通域的温度变化量。6.根据权利要求1所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述根据每个连通域的温度变化量以及温度距离倾向率得到每个连通域的对比度映射参数，包括的具体计算公式如下：
其中，是第个连通域的对比度映射参数，是连通域顺序集合中第个连通域相邻的前一个连通域的对比度映射参数，是第个连通域对应的温度变化量，是第个连通域的温度距离倾向率，是预设的调参系数，表示函数。7.根据权利要求1所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述根据每个连通域的连通域序列中的温度变化量得到每个连通域的温度距离倾向率，包括的具体步骤如下：对任意连通域，将连通域中的所有目标连通域的温度变化量按照目标连通域与管道点的距离值从大到小的顺序进行排序得到连通域序列，所述连通域序列中包含连通域，获取连通域序列中在连通域之后的若干个目标连通域的温度变化量值，根据若干个目标连通域的温度变化量值得到连通域的温度距离倾向率。8.根据权利要求7所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述根据若干个目标连通域的温度变化量值得到连通域的温度距离倾向率，包括的具体步骤如下：利用连通域的目标连通域的温度变化量值组成连通域的温度变化量序列，利用线性拟合的方法，将连通域的温度变化量序列拟合成线性函数，获取该线性函数的斜率值，记为连通域的温度距离倾向率。9.根据权利要求1所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述根据每个连通域的对比度映射参数对不同连通域进行图像增强得到增强后的连通域，包括的具体步骤如下：根据每个连通域的对比度映射参数得到拟合函数；根据拟合函数得到不同连通域的对比度值，获取对比度值大于预设的对比度阈值的连通域，将对比度值大于预设的对比度阈值的连通域进行图像增强得到增强后的连通域。10.根据权利要求9所述一种气体污染红外图像视觉辅助检测方法，其特征在于，所述根据每个连通域的对比度映射参数得到拟合函数，包括的具体步骤如下：根据每个连通域的对比度映射参数计算管道边缘图像上所有连通域的对比度映射参数，利用所有连通域的对比度映射参数构建一个对比度映射参数和对比度映射表；对对比度映射参数和对比度进行非线性拟合，得到对比度映射参数和对比度之间的拟合函数。

技术总结
本发明涉及图像数据处理技术领域，具体涉及一种气体污染红外图像视觉辅助检测方法，包括：采集产品的RGB图像和红外图像，利用RGB图像得到红外图像上对应的管道区域；利用边缘像素点进行向量分类得到自适应分区后的若干连通域，并对连通域进行排序得到连通域顺序集合；获取每个连通域的温度变化量并拟合每个连通域的温度距离倾向率得到每个连通域的对比度映射参数；根据对比度映射参数对不同连通域进行图像增强得到增强后的连通域，完成辅助检测。本发明通过自适应的区间划分，对不同区间进行不同程度的图像增强，降低图像背景在图像增强效果中的影响，完成了对气体污染红外图像的视觉辅助检测。的视觉辅助检测。的视觉辅助检测。


技术研发人员：余广彬 刘胜发 刘元泉 马若男 丁莹莹
受保护的技术使用者：山东昆仲信息科技有限公司
技术研发日：2023.08.21
技术公布日：2023/9/16