一种基于改进UNet的管道焊缝图像分割方法

一种基于改进unet的管道焊缝图像分割方法
技术领域
1.本发明涉及管道焊缝图像分割与深度学习领域，具体涉及是一种基于改进unet的管道焊缝图像分割方法。


背景技术：

2.管道的焊缝质量对油气管道运输安全性起着至关重要的作用。无损检测能够在不损伤油气管道焊缝组织的前提下，对焊缝内部缺陷的类型与性质进行检测，其已成为管道焊缝检测的主要方法。x射线数字成像检测是油气管道焊缝无损检测的重要方法之一，该方法首先应用x射线机对管道焊缝进行照射，再利用x射线胶片来查看焊缝的缺陷情况。传统的人工评片效率低下且受人主观因素影响大，难以满足工业应用的需求，故利用计算机实现管道焊缝图像缺陷的自动检测与识别迫在眉睫。x射线焊缝图像背景干扰信息较大，难以直接进行焊缝缺陷的检测与识别，因此国内外学者利用计算机视觉中图像分割的方法提取出准确的焊缝位置，以便更有效的辅助焊缝缺陷的识别与检测。
3.近年来，基于深度学习的焊缝图像分割算法取得突破性进展。其中，《王睿,胡云雷,李海涛,高少泽,王刚.x射线焊缝图像缺陷实例分割算法[j].哈尔滨工业大学学报,2022,第54卷(5):140-145,116》利用轻量级残差结构结合多层视觉融合机制fpn，实现了低成本硬件焊缝区域的准确分割；《夏君霏.基于深度学习自编码网络的圆柱管道内壁环形焊缝图像分割[d].云南师范大学,2021》提出了基于环形卷积操作的图像自编码网络实现了焊缝图像的有效分割；《bin wang,fengshun li,rongjian lu,xiaoyu,wenhan zhu.weld feature extraction based on semantic segmentation network[j].sensors,2022,vol.22(11):4130》设计了结合通道注意机制的轻量化erf-net网络，在提升分割效率的同时有96％的分割准确率；但其原有深度学习对于焊缝的特征提取能力不足，受焊缝图像背景因素影响较大，分割精度仍有待提高。


技术实现要素：

[0004]
为了克服现有方法的缺陷，提出了一种基于改进unet网络的管道焊缝图像分割方法，首先利用密集连接网络作为编码器主要的下采样模块，对焊缝图像的全局特征进行提取，结合并行注意力机制，提升网络编码器对于焊缝区域的感知力与特征提取能力，以解决图像焊缝区域灰度区分不明显、背景干扰较大的问题；然后，利用深度可分离卷积代替原有卷积块，其包含不同卷积核的特点，在提取焊缝更多特征的同时减少了模型参数量、提升了运算效率；最后，结合交叉熵损失函数和dice loss来训练dsen-unet网络，解决焊缝区域与背景区域占比不平衡的问题。
[0005]
为实现所述发明目的，所提供的技术方案是一种基于改进unet的管道焊缝图像分割方法，其特征在于包括以下步骤：
[0006]
步骤1：获取管道焊缝图像数据，并利用图像浏览器对图像进行数据预处理，具体方式为：
[0007]
(1)对获得的焊缝图像进行增强与去噪处理，将图像调整为n
×
n像素大小的尺寸，n∈z
+
；
[0008]
(2)将处理后的图像根据焊缝缺陷检测工作人员提供的标准做好焊缝分割标注，并将标注好的图像划分为训练集与测试集；
[0009]
步骤2：构建改进unet焊缝分割网络，具体处理方式为：
[0010]
(1)构建改进密集连接块，密集连接块由卷积convn
×
n、bn、relu激活函数、conv1
×
1、bn、relu激活函数以及设计的并行注意力机制组成，卷积结构计算结构如下：
[0011]
x1＝r(b(convn×n(x
input
)))
[0012]
x
output
＝r(b(conv1×1(x1)))
[0013]
式中，x
input
代表模型的输入图像，x
output
代表模型的输出图像，convn×n为n
×
n卷积，n∈z
+
,b(
·
)为归一化操作，r(
·
)为relu线性操作；
[0014]
(2)构建并行注意力机制，并行注意力机制由通道注意力，空间注意力与融合机制组成，其中通道注意力结构如下：
[0015][0016][0017]
式中，为第i个通道权值的第j个权重参数，j∈[1,k]，i∈(0,j)，为第i个通道k个相邻通道全局特征图集合，c为通道数，υ和b为超参数，|a|
odd
为与a相邻最近的奇数，ω,k,c,υ,b∈z
+
；
[0018]
空间注意力结构如下：
[0019][0020]
式中，σ为relu激活函数，为两个特征图对应位置数据的点积，f为输入特征图；
[0021]
融合机制由concat特征融合与selu激活函数构成，concat的操作公式如下：
[0022][0023]
式中，x、y均为该通道输入的特征图且x＝y，k表示输入特征图x的通道数，d为输入特征图y的通道数，i∈[1,k]，j∈[1,d]；
[0024]
selu激活函数为：
[0025][0026]
式中，z为模型输出特征图，λ∈z,α∈z
+
；
[0027]
(3)unet分割网络包含上采样、下采样与跳跃连接结构，上采样由改进密集连接块与深度可分离卷积构成，下采样由conv1
×
1卷积与深度可分离卷积连接构成，上采样与下采样之间由concat进行跳跃连接；
[0028]
(4)利用交叉熵函数与计算模型训练f1分数的dice loss进行分别加权构建混合
损失函数，所述混合损失函数为：
[0029][0030]
其中，x为像素预测类别；y表示像素标记类别；x∩y为两者的交集；|x|+|y|为两者合集的元素个数；h、c为焊缝图像的宽和高；y表示像素标记类别；y
′
表示像素预测类别；λ为焊缝区域在整个焊缝图像中的占比；1-λ为非焊缝区域的在整个焊缝图像中的占比，λ∈(0，1)；
[0031]
步骤3：将训练集输入到步骤2中构建的分割网络模型进行训练，训练完成的模型选择在训练过程中损失函数最小的模型；
[0032]
步骤4：将测试集输入训练完成的参数模型中进行焊缝分割，得到焊缝分割结果。
[0033]
本发明创新点表现在：
[0034]
(1)本发明的焊缝分割方法采用密集连接结构结合并行注意力机制以及使用深度可分离卷积作为网络主要卷积模块，在实现网络特征提取能力增强的同时参数量的少量增长或不增长；
[0035]
(2)本发明的焊缝分割方法采用并行注意力机制同时考虑了模型的空间注意力与通道注意力的双重因素；
[0036]
(3)本发明的焊缝分割方法利用dice loss与交叉熵函数构建混合损失函数训练识别模型；
[0037]
有益效果：
[0038]
与现有技术相比，本发明具有一下有益效果：
[0039]
(1)本发明研究了深度学习焊缝分割模型在面对背景前景差别较大的焊缝图像时的表现效果，用密集连接结构结合并行注意力机制以及使用深度可分离卷积作为网络主要卷积模块进行网络的焊缝特征提取，使得本发明专利提出的焊缝图像方法在背景前景差别较大的焊缝图像时具有很好的焊缝分割效果；
[0040]
(2)本发明提出的dice loss与交叉熵函数构建混合损失函数，能有效解决焊缝区域与背景区域占比不平衡的问题；
附图说明
[0041]
图1是本发明具体实施流程图；
[0042]
图2是本管道焊缝图像分割方法的改进unet网络结构图；
[0043]
图3是本发明焊缝分割方法训练与测试损失函数曲线图；
[0044]
图4是本发明焊缝分割方法与焊缝分割方法的分割效果对比，图中(a)原图、(b)人工标注、(c)segnet，(d)deeplab，(e)unet，(f)本发明模型；
[0045]
图5是本发明焊缝分割方法与焊缝分割方法的分割混淆矩阵对比，图中(a)segnet、(b)deeplab、(c)unet，(d)本发明模型；
具体实施方式
[0046]
本发明是一种基于改进unet的管道焊缝图像分割方法，其具体流程，如图1所示，其特征在于包括以下步骤：
[0047]
步骤1：获取管道焊缝图像数据，并利用图像浏览器对图像进行数据预处理，具体方式为：
[0048]
(1)对获得的焊缝图像进行增强与去噪处理，将图像调整为n
×
n像素大小的尺寸，n∈z
+
；
[0049]
(2)将处理后的图像根据焊缝缺陷检测工作人员提供的标准做好焊缝分割标注，并将标注好的图像划分为训练集与测试集；
[0050]
步骤2：构建改进unet焊缝分割网络，具体处理方式为：
[0051]
(1)构建改进密集连接块，密集连接块由卷积convn
×
n、bn、relu激活函数、conv1
×
1、bn、relu激活函数以及设计的并行注意力机制组成，卷积结构计算结构如下：
[0052]
x1＝r(b(convn×n(x
input
)))
[0053]
x
output
＝r(b(conv1×1(x1)))
[0054]
式中，x
input
代表模型的输入图像，x
output
代表模型的输出图像，convn×n为n
×
n卷积，n∈z+,b(
·
)为归一化操作，r(
·
)为relu线性操作；
[0055]
(2)构建并行注意力机制，并行注意力机制由通道注意力，空间注意力与融合机制组成，其中通道注意力结构如下：
[0056][0057][0058]
式中，为第i个通道权值的第j个权重参数，j∈[1,k]，i∈(0,j)，为第i个通道k个相邻通道全局特征图集合，c为通道数，υ和b为超参数，|a|
odd
为与a相邻最近的奇数，ω,k,c,υ,b∈z
+
；
[0059]
空间注意力结构如下：
[0060][0061]
式中，σ为relu激活函数，为两个特征图对应位置数据的点积，f为输入特征图；
[0062]
融合机制由concat特征融合与selu激活函数构成，concat的操作公式如下：
[0063][0064]
式中，x、y均为该通道输入的特征图且x＝y，k表示输入特征图x的通道数，d为输入特征图y的通道数，i∈[1,k]，j∈[1,d]；
[0065]
selu激活函数为：
[0066]
[0067]
式中，z为模型输出特征图，λ∈z,α∈z
+
；
[0068]
(3)unet分割网络包含上采样、下采样与跳跃连接结构，上采样由改进密集连接块与深度可分离卷积构成，下采样由conv1
×
1卷积与深度可分离卷积连接构成，上采样与下采样之间由concat进行跳跃连接；
[0069]
(4)利用交叉熵函数与计算模型训练f1分数的dice loss进行分别加权构建混合损失函数，所述混合损失函数为：
[0070][0071]
其中，x为像素预测类别；y表示像素标记类别；x∩y为两者的交集；|x|+|y|为两者合集的元素个数；h、c为焊缝图像的宽和高；y表示像素标记类别；y
′
表示像素预测类别；λ为焊缝区域在整个焊缝图像中的占比；1-λ为非焊缝区域的在整个焊缝图像中的占比，λ∈(0，1)；
[0072]
步骤3：将训练集输入到步骤2中构建的分割网络模型进行训练，训练完成的模型选择在训练过程中损失函数最小的模型；
[0073]
步骤4：将测试集输入训练完成的参数模型中进行焊缝分割，得到焊缝分割结果。
[0074]
综上所述，仅为本管道焊缝图像分割方案推荐方法的效果较佳实施例而已，并不是用来约束本发明，凡在本发明的精神与原则范围内所作的相关修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于改进unet的管道焊缝图像分割方法，其特征在于包括以下步骤：步骤1：获取管道焊缝图像数据，并利用图像浏览器对图像进行数据预处理，具体方式为：(1)对获得的焊缝图像进行增强与去噪处理，将图像调整为n
×
n像素大小的尺寸，n∈z
+
；(2)将处理后的图像根据焊缝缺陷检测工作人员提供的标准做好焊缝分割标注，并将标注好的图像划分为训练集与测试集；步骤2：构建改进unet焊缝分割网络，具体处理方式为：(1)构建改进密集连接块，密集连接块由卷积convn
×
n、bn、relu激活函数、conv1
×
1、bn、relu激活函数以及设计的并行注意力机制组成，卷积结构计算结构如下：x1＝r(b(conv
n
×
n
(x
input
)))x
output
＝r(b(conv1×1(x1)))式中，x
input
代表模型的输入图像，x
output
代表模型的输出图像，conv
n
×
n
为n
×
n卷积，n∈z
+
,b(
·
)为归一化操作，r(
·
)为relu线性操作；(2)构建并行注意力机制，并行注意力机制由通道注意力，空间注意力与融合机制组成，其中通道注意力结构如下：成，其中通道注意力结构如下：式中，为第i个通道权值的第j个权重参数，j∈[1,k]，i∈(0,j)，为第i个通道k个相邻通道全局特征图集合，c为通道数，υ和b为超参数，|a|
odd
为与a相邻最近的奇数，ω,k,c,υ,b∈z
+
；空间注意力结构如下：式中，σ为relu激活函数，为两个特征图对应位置数据的点积，f为输入特征图；融合机制由concat特征融合与selu激活函数构成，concat的操作公式如下：式中，x、y均为该通道输入的特征图且x＝y，k表示输入特征图x的通道数，d为输入特征图y的通道数，i∈[1,k]，j∈[1,d]；selu激活函数为：式中，z为模型输出特征图，λ∈z,α∈z
+
；(3)unet分割网络包含上采样、下采样与跳跃连接结构，上采样由改进密集连接块与深度可分离卷积构成，下采样由conv1
×
1卷积与深度可分离卷积连接构成，上采样与下采样
之间由concat进行跳跃连接；(4)利用交叉熵函数与计算模型训练f1分数的dice loss进行分别加权构建混合损失函数，所述混合损失函数为：其中，x为像素预测类别；y表示像素标记类别；x∩y为两者的交集；|x|+|y|为两者合集的元素个数；h、c为焊缝图像的宽和高；y表示像素标记类别；y
′
表示像素预测类别；λ为焊缝区域在整个焊缝图像中的占比；1-λ为非焊缝区域的在整个焊缝图像中的占比，λ∈(0，1)；步骤3：将训练集输入到步骤2中构建的分割网络模型进行训练，训练完成的模型选择在训练过程中损失函数最小的模型；步骤4：将测试集输入训练完成的参数模型中进行焊缝分割，得到焊缝分割结果。

技术总结
本发明提出一种基于改进UNet的管道焊缝图像分割方法。该方法首先先对采集到的管道焊缝图像数据进行预处理并建立数据集，然后构建改进UNet网络管道焊缝图像分割模型，具体实施方法为：首先利用密集连接块结合并行注意力机制构建网络下采样模块，提升模型特征提取能力，再利用深度可分离卷积代替普通卷积，减少了模型计算量与计算量，最后使用加权Dice和交叉熵函数结合的新损失函数，缓和管道焊缝图像中焊缝区域与非焊缝区域占比不均衡的情况；最后利用数据训练集对模型进行参数训练，并将测试集图像输入训练好的网络模型，得到分割后的图像；本发明的分割模型对管道焊缝图像的目标分割精度高，分割效果好。分割效果好。分割效果好。


技术研发人员：罗仁泽 李华督 唐祥 王磊 雷璨如 陈翔 吴涛 刘恒 林泓宇 罗任权 邓治林 余泓 谭亮 武娟 曹瑞 赵丹 王清松 易玺 廖波
受保护的技术使用者：西南石油大学
技术研发日：2023.04.12
技术公布日：2023/7/12