基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法

1.本发明属于图像处理技术领域，具体涉及一种基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法。


背景技术：

2.已建堤坝存在堤段沉陷、渗水、裂缝或建筑物本身不同程度损坏等问题，在汛期设计洪水标准内仍会发生不同程度险情，其中渗漏是最为常见的一种堤坝险情。如何对渗漏险情进行检测，实现堤坝常见险情快速发现、精准定位，提升巡堤效率，减少人员投入和危险暴露率，在洪水防御中具有重要作用和现实意义。
3.堤坝渗漏检测问题是一种利用图像进行目标检测问题。目前，已有较多的基于深度学习的目标检测方法被提出，并且在众多领域中取得令人瞩目的成绩。但是由于渗漏的形状与地形有关，所以渗漏没有固定的形状。而在目标检测模型中，目标的形状对模型而言是一种重要信息。
4.unet模型是一个基于卷积神经网络的图像分割网络，主要用于医学图像分割上，该模型最初提出时是用于细胞壁的分割，之后在眼底视网膜上的血管提取等方面都有着出色的表现。但unet模型结构相对简单，在跳跃连接的过程中，不同重要程度的信息分配的计算资源是相同的，导致在特征提取的时候没有侧重点，并且传播的过程中没有考虑到可能会出现的网络退化的问题，存在优化的空间。
5.为了提升堤坝渗漏检测精度，本发明建立基于多任务辅助的unet模型的热红外图像堤坝渗漏险情检测方法，该方法首先对unet模型结构进行改进，其次建立多任务辅助损失函数以提升堤坝渗漏检测精度。本发明可用于基于无人机热红外图像的堤坝渗漏险情检测，具有检测速度快，成本低的优势。目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。


技术实现要素：

6.本发明的目的是针对现有技术的不足，提供一种基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，可用于堤坝的巡查。
7.为实现上述目的，本发明采用了下述技术方案：基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练unet模型（卷积神经网络模型）、利用改进和训练unet模型的堤坝渗漏险情检测两个过程。
8.进一步的，改进和训练unet模型，具体步骤如下：步骤s1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；步骤s2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；步骤s3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立
训练集、验证集和测试集；步骤s4，改进unet模型：在unet模型上增加注意力门、空间注意力模块和残差模块，同时在unet模型上引入小目标检测任务、rgb图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；步骤s5，训练改进的unet模型：采用损失函数通过自适应运动估计优化算法adam对改进的unet模型不断优化，使损失函数误差不断减小，直到改进的unet模型收敛，损失函数包括dice loss损失函数和通过三个辅助任务构建相应的三个损失函数。
9.进一步的，利用改进和训练unet模型的堤坝渗漏险情检测，具体步骤如下：步骤s6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；步骤s7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入到步骤s5训练好的unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。
10.进一步的，步骤s1中数据采集是采集热红外图像数据和可见光图像数据相同区域作为训练样本，相同区域包括小的水体、灌木丛、草丛、阴影和正常堤体。
11.进一步的，步骤s2中制作样本，具体过程为：步骤s21，从数据采集到的热红外图像数据中选取包含渗漏相似的区域（如水体和植被）进行标注，选择的区域像素大小为320*320；步骤s22，利用数据标注工具（如labelme等）标出所有疑似区域，使用矩形框进行标注，获得一组与热红外图像对应的标注集；
12.步骤s23，最后选取一些没有险情的常见的堤坝热红外图像作为负样本。
13.进一步的，步骤s2中易干扰堤坝渗漏险情的检测的地物包括小的水体、灌木丛、草丛、阴影这4个类别。
14.进一步的，步骤s3中生成样本和划分数据集，具体过程为：采用随机比例尺缩放、翻转、裁剪、模糊和改变对比度、亮度、随机排布扩增样本；所有的样本统一缩放为320*320像素；将生成的样本和采集到的训练样本按照6:2:2随机划分为训练集、验证集、测试集；使用聚类分析算法（k-means）对训练集中标注的候选框进行聚类以优化预测框的大小。
15.进一步的，步骤s4中改进unet模型，由基础unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成；具体如下：首先，尺寸为320*320输入图像经过第一个残差模块，得到尺寸为320*320*64的特征图a；接着，特征图a经过2*2最大池化的输出经过第二个残差模块，得到尺寸为160*160*128的特征图b；接着，特征图b经过2*2最大池化的输出经过第三个残差模块，得到尺寸为80*80*256的特征图c；接着，特征图c经过2*2最大池化的输出经过第四个残差模块，得到尺寸为40*40*516的特征图d；接着，特征图d经过一次2*2上采样的输出与特征图c跨接在一起，并经过第五个残差模块，得到尺寸为80*80*256的特征图e；
接着，特征图e通过1*1的卷积得到识别结果3；接着，接着，特征图e经过一次2*2上采样的输出与特征图b跨接在一起，并经过第六个残差模块，得到尺寸为160*160*128的特征图f；接着，特征图f通过1*1的卷积得到识别结果2；接着，特征图f经过一次2*2上采样的输出g与特征图a跨接在一起，并经过ag注意力门和sam空间注意力模块得到320*320*64的特征图h；接着，特征图h并经过第七个残差模块，得到尺寸为320*320*64的特征图i；接着，特征图i通过1*1的卷积得到识别结果1；接着，根据识别结果1利用公式（1）计算rgb直方图损失函数rgbl：（1）；其中， 分别是欧式距离，分别是预测值区域的三个通道的灰度值分布直方图，分别是实际值检测为水体的区域对应的rgb颜色直方图；通过计算检测区域与水体模板；接着，利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪，将裁剪的图像分别通过公式（2）的交叉熵损失函数计算小目标检测损失，并调整权重为面积的反比；（2）；其中，是小目标检测损失，coe为固定系数，用于控制小目标检测损失的数量级，cel为交叉熵损失函数，为真实值第i个矩形框内的特征值，为第i个矩形框内预测值相同位置的特征值，为第i个矩形框内的面积；小目标的面积越小，则占的比重越高；接着，利用识别结果1根据交叉熵损失函数计算尺度1损失cel1；接着，利用识别结果2根据交叉熵损失函数计算尺度2损失cel2；接着，利用识别结果3根据交叉熵损失函数计算尺度3损失cel3；通过3个尺度的结果构建多尺度损失；接着，通过公式（3）计算总的损失函数（3）；其中，为总的损失函数，，并且；为各损失函数调节系数，是一个可学习参数，通过模型训练自动获取；接着，利用总的损失函数和自适应运动估计优化算法adam对unet模型进行优化，通过不断循环迭代，直到模型趋于稳定，完成模型的训练。本发明的有益效果：（1）本发明利用增加注意力门和空间注意力模块和结合残差块结构对基础unet模
型进行了改进，通过空间注意力机制自适应分配不同位置下特征权重的能力，分割模型能够在训练过程中将更多的计算资源分配在对任务效果更有意义的特征上和通过引入残差模块通过恒等映射有效解决网络退化的问题；（2）引入rgb图像识别任务，利用rgb图像中的额外信息优化阴影检测问题；通过小目标识别任务优化小目标的漏检测问题；通过多尺度检测任务对上采样的过程进行监督，提升中间层学习特征的能力，缓解训练过程中潜在的梯度消失问题；（3）本发明将堤坝渗漏险情与背景分离的二分类问题转换成多分类问题，通过对这些易干扰堤坝渗漏险情的检测的地物进行识别，有利于提升堤坝渗漏险情的检测精度；（4）本发明针对堤坝渗漏险情小目标检测问题对unet模型进行了改进，提升的检测的精度和速度。
附图说明
16.图1为本发明改进后的unet模型的网络结构图。
具体实施方式
17.为了使本领域的技术人员更好的理解本技术方案，下面对本技术实施例中的技术方案进行清晰，完整，详细的描述，且所描述的实施例部分为本技术的一部分实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范畴。
18.本发明采用了下述技术方案：基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练unet模型（卷积神经网络模型）、利用改进和训练unet模型的堤坝渗漏险情检测两个过程。
19.进一步的，改进和训练unet模型，具体步骤如下：步骤s1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；步骤s2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；步骤s3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立训练集、验证集和测试集；步骤s4，改进unet模型：在unet模型上增加注意力门、空间注意力模块和残差模块，同时在unet模型上引入小目标检测任务、rgb图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；步骤s5，训练改进的unet模型：采用损失函数通过自适应运动估计优化算法adam对改进的unet模型不断优化，使损失函数误差不断减小，直到改进的unet模型收敛，损失函数包括dice loss损失函数和通过三个辅助任务构建相应的三个损失函数。
20.进一步的，利用改进和训练unet模型的堤坝渗漏险情检测，具体步骤如下：步骤s6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；步骤s7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入
到步骤s5训练好的unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。
21.本发明的改进unet模型：对原始unet模型的进行具体优化为：（1）基于基础unet模型基础上增加 ag注意力门和sam(spatial attention module)空间注意力模块和结合残差块结构，提出一种改进的unet模型用于完成热红外遥感图像的渗漏险情检测任务；（2）引入小目标检测任务、rgb图像识别任务、深度监督任务三个辅助任务，并通过构建三个辅助任务相应的损失函数以提升检测精度；（3）原始unet具有4次下采样和上采样过程，为了提升小目标检测能力，本发明删除了一次下采样以及一次上采样的过程，故编码部分共有3次下采样的过程。本发明的改进后的unet模型如图1所示，其中，rgbl为rgb直方图损失函数；sol为小目标损失函数；cel1为尺度1交叉损失函数；cel2为尺度2交叉损失函数；cel3为尺度3交叉损失函数；relu为relu函数。改进unet模型由一般unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成。具体如下：首先，尺寸为320*320输入图像经过第一个残差模块，得到尺寸为320*320*64的特征图a；接着，特征图a经过2*2最大池化的输出经过第二个残差模块，得到尺寸为160*160*128的特征图b；接着，特征图b经过2*2最大池化的输出经过第三个残差模块，得到尺寸为80*80*256的特征图c；接着，特征图c经过2*2最大池化的输出经过第四个残差模块，得到尺寸为40*40*516的特征图d；接着，特征图d经过一次2*2上采样的输出与特征图c跨接在一起，并经过第五个残差模块，得到尺寸为80*80*256的特征图e；接着，特征图e通过1*1的卷积得到识别结果3；接着，特征图e经过一次2*2上采样的输出与特征图b跨接在一起，并经过第六个残差模块，得到尺寸为160*160*128的特征图f；接着，特征图f通过1*1的卷积得到识别结果2；接着，特征图f经过一次2*2上采样的输出g与特征图a跨接在一起，并经过ag注意力门和sam空间注意力模块得到320*320*64的特征图h；接着，特征图h并经过第七个残差模块，得到尺寸为320*320*64的特征图i；接着，特征图i通过1*1的卷积得到识别结果1；接着，根据识别结果1利用公式（1）计算rgb直方图损失函数rgbl：（1）；其中， 分别是欧式距离，分别是预测值区域的三个通道的灰度值分布直方图，分别是实际值检测为水体的区域对应的rgb颜色直方图；通过计算检测区域与水体模板；
22.接着，利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪，将裁剪的图像分别通过公式（2）的交叉熵损失函数计算小目标检测损失，并调整权重为面积的反比；（2）；其中，是小目标检测损失，coe为固定系数，用于控制小目标检测损失的数量级，cel为交叉熵损失函数，为真实值第i个矩形框内的特征值，为第i个矩形框内预测值相同位置的特征值，为第i个矩形框内的面积；小目标的面积越小，则占的比重越高；接着，利用识别结果1根据交叉熵损失函数计算尺度1损失cel1；接着，利用识别结果2根据交叉熵损失函数计算尺度2损失cel2；接着，利用识别结果3根据交叉熵损失函数计算尺度3损失cel3；通过3个尺度的结果构建多尺度损失。
23.接着，通过公式（3）计算总的损失函数（3）；其中，为总的损失函数，，并且；为各损失函数调节系数，是一个可学习参数，通过模型训练自动获取；接着，利用总的损失函数和自适应运动估计优化算法adam对unet模型进行优化，通过不断循环迭代，直到模型趋于稳定，完成模型的训练。
24.在本实施例中，残差模块、ag注意力门模块和sam空间注意力模块，见图1所示，所述残差模块分两部分组成，一部分为与unet模型相同的两个卷积层组成，通过两次3
×
3的卷积与线性整流函数relu激活后得到分辨率w
×
h通道数为c`的特征矩阵。另一部分为1
×
1的卷积，调整卷积核的个数为与第一部分第二次卷积相同的通道数c`，得到与第一部分分辨率以及维度都相等的输出值，将两个部分的值进行求和得到残差模块的输出值。
25.在sam空间注意力模块中，输入特征分别做通道维度的平均值池化以及最大值池化，再将二者进行通道维度的拼接得到通道数为2的特征图，对特征图进行卷积操作，得到通道数为1的特征图，即权重矩阵，将该权重矩阵通过神经网络的激活函数（sigmoid函数）激活后与输入特征相乘即可得到采用空间注意力机制的输出特征。
26.在ag注意力门模块中，首先将下采样的特征图与上采样的特征图分别进行卷积操作得到分辨率相同但通道数为2/1的特征，接着将两组维度分辨率完全相同的特征进行相加得到新的特征图，然后将新的特征图通过卷积以及神经网络的激活函数（sigmoid函数）激活后得到通道为1的分辨率权重，最后将分辨率权重与下采样的特征图相乘，得到最后的输出的特征图。
27.在本实施例中，通过计算机编程语言（python）和开源深度学习框架（pytorch深度学习框架）实现改进的unet模型。采用coco数据集对改进unet模型进行预训练，然后再利用步骤s3中建立的训练集、验证集、测试集微调改进unet模型并测试的网络的检测效果。

技术特征：
1.基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：包括改进和训练unet模型、利用改进和训练unet模型的堤坝渗漏险情检测两个过程；改进和训练unet模型，具体步骤如下：步骤s1，数据采集：利用无人机获取堤坝的热红外图像数据和可见光图像数据；步骤s2，制作样本：手工选取热红外图像数据和可见光图像数据的一些区域，利用数据标注工具对手工选取的一些区域的数据进行标注，包括标注堤坝渗漏险情和与易干扰堤坝渗漏险情的检测的地物；步骤s3，生成样本和划分数据集：对手工选取的一些区域的数据进行扩增，并建立训练集、验证集和测试集；步骤s4，改进unet模型：在unet模型上增加注意力门、空间注意力模块和残差模块，同时在unet模型上引入小目标检测任务、rgb图像识别任务、多尺度检测任务三个辅助任务，构建三个辅助任务相应的三个损失函数；步骤s5，训练改进的unet模型：采用损失函数通过自适应运动估计优化算法adam对改进的unet模型不断优化，使损失函数误差不断减小，直到改进的unet模型收敛，损失函数包括dice loss损失函数和通过三个辅助任务构建相应的三个损失函数。2.根据权利要求1所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：利用改进和训练unet模型的堤坝渗漏险情检测，具体步骤如下：步骤s6，堤坝渗漏险情的确定：通过携带热红外传感器的无人机获取堤坝的热红外图像和可见光图像；步骤s7，堤坝渗漏险情检测：将无人机获取堤坝的热红外图像和可见光图像输入到步骤s5训练好的unet模型，设置置信度阈值，得到置信度超过阈值的预测框的中心点位置、大小、类别及置信度；再利用加权非极大抑制剔除重叠预测框，得到最终检测结果。3.根据权利要求2所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤s1中数据采集是采集热红外图像数据和可见光图像数据相同区域作为训练样本，相同区域包括小的水体、灌木丛、草丛、阴影和正常堤体。4.根据权利要求3所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤s2中制作样本，具体过程为：步骤s21，从数据采集到的热红外图像数据中选取包含渗漏相似的区域进行标注，选择的区域像素大小为320*320；步骤s22，利用数据标注工具标出所有疑似区域，使用矩形框进行标注，获得一组与热红外图像对应的标注集；步骤s23，最后选取一些没有险情的常见的堤坝热红外图像作为负样本。5.根据权利要求4所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤s2中易干扰堤坝渗漏险情的检测的地物包括小的水体、灌木丛、草丛、阴影这4个类别。6.根据权利要求5所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：
步骤s3中生成样本和划分数据集，具体过程为：采用随机比例尺缩放、翻转、裁剪、模糊和改变对比度、亮度、随机排布扩增样本；所有的样本统一缩放为320*320像素；将生成的样本和采集到的训练样本按照6:2:2随机划分为训练集、验证集、测试集；使用聚类分析算法对训练集中标注的候选框进行聚类以优化预测框的大小。7.根据权利要求6所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：步骤s4中改进unet模型，由基础unet模型、空间注意力模块、残差模块及三个辅助任务损失函数组成；具体如下：首先，尺寸为320*320输入图像经过第一个残差模块，得到尺寸为320*320*64的特征图a；接着，特征图a经过2*2最大池化的输出经过第二个残差模块，得到尺寸为160*160*128的特征图b；接着，特征图b经过2*2最大池化的输出经过第三个残差模块，得到尺寸为80*80*256的特征图c；接着，特征图c经过2*2最大池化的输出经过第四个残差模块，得到尺寸为40*40*516的特征图d；接着，特征图d经过一次2*2上采样的输出与特征图c跨接在一起，并经过第五个残差模块，得到尺寸为80*80*256的特征图e；接着，特征图e通过1*1的卷积得到识别结果3；接着，特征图e经过一次2*2上采样的输出与特征图b跨接在一起，并经过第六个残差模块，得到尺寸为160*160*128的特征图f；接着，特征图f通过1*1的卷积得到识别结果2；接着，特征图f经过一次2*2上采样的输出g与特征图a跨接在一起，并经过ag注意力门和sam空间注意力模块得到320*320*64的特征图h；接着，特征图h并经过第七个残差模块，得到尺寸为320*320*64的特征图i；接着，特征图i通过1*1的卷积得到识别结果1。8.根据权利要求7所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：根据识别结果1利用公式（1）计算rgb直方图损失函数rgbl：（1）；其中，分别是欧式距离，分别是预测值区域的三个通道的灰度值分布直方图，分别是实际值检测为水体的区域对应的rgb颜色直方图；通过计算检测区域与水体模板；利用识别结果1根据对应矩形框做出获取预测值后根据外接矩形坐标将预测图像与真实图像进行裁剪，将裁剪的图像分别通过公式（2）的交叉熵损失函数计算小目标检测损失，并调整权重为面积的反比；
（2）；其中，是小目标检测损失，coe为固定系数，用于控制小目标检测损失的数量级，cel为交叉熵损失函数，为真实值第i个矩形框内的特征值，为第i个矩形框内预测值相同位置的特征值，为第i个矩形框内的面积；小目标的面积越小，则占的比重越高。9.根据权利要求8所述的基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，其特征在于：接着，利用识别结果1根据交叉熵损失函数计算尺度1损失cel1；接着，利用识别结果2根据交叉熵损失函数计算尺度2损失cel2；接着，利用识别结果3根据交叉熵损失函数计算尺度3损失cel3；通过3个尺度的结果构建多尺度损失；接着，通过公式（3）计算总的损失函数（3）；其中，为总的损失函数，，并且；为各损失函数调节系数，是一个可学习参数，通过模型训练自动获取；接着，利用总的损失函数和自适应运动估计优化算法adam对unet模型进行优化，通过不断循环迭代，直到模型趋于稳定，完成模型的训练。

技术总结
本发明公开了基于多任务辅助的热红外图像堤坝渗漏险情智能识别方法，包括改进和训练UNet模型、利用改进和训练UNet模型的堤坝渗漏险情检测两个过程。改进和训练UNet模型具有以下内容：数据采集,制作样本，生成样本和划分数据集，改进UNet模型，训练改进的UNet模型，利用改进和训练UNet模型的堤坝渗漏险情检测，堤坝渗漏险情的确定,堤坝渗漏险情检测。本发明的有益效果是：本发明将堤坝渗漏险情与背景分离的二分类问题转换成多分类问题，通过对这些易干扰堤坝渗漏险情的检测的地物进行识别，有利于提升堤坝渗漏险情的检测精度；针对堤坝渗漏险情小目标检测问题对Unet模型进行了改进，提升的检测的精度和速度。升的检测的精度和速度。升的检测的精度和速度。


技术研发人员：许小华 叶发茂 张秀平 舒望 黄萍 周信文 林淇昕
受保护的技术使用者：东华理工大学南昌校区
技术研发日：2023.07.12
技术公布日：2023/8/14