一种基于注意力机制融合的输电铁塔锈蚀检测的方法

1.本发明涉及图像识别技术领域，尤其涉及一种基于注意力机制融合的输电铁塔锈蚀检测的方法。


背景技术：

2.随着社会的发展和进步，人们生活需求和工业生产都离不开“电”，输电铁塔是保障电力资源正常运行和传输的必要条件。输电铁塔多处于山区低洼处且常年暴露于空气中，长期的阴雨天气也加速了输电铁塔的锈蚀速度，一旦发生严重的锈蚀不仅会影响输电铁塔的正常使用，而且会缩短输电铁塔的使用寿命，甚至会威胁人身安全，从而影响整个输电系统的稳定性和用电网络系统的安全性。因此，对于输电铁塔锈蚀的检测是保障用电安全的重要环节。
3.目前针对目标检测的方法主要有传统的人工检测方法和一类基于深度学习的神经网络检测方法。传统的人工检测方法需要人工高空作业检查，这种方法易对人身安全造成威胁，人工成本较高，而且对于目标检测的精确度低，不能满足输电铁塔锈蚀检查的需求；一类基于深度学习的神经网络检测方法，是需要无人机进行高空作业检查，通过图像处理算法进行目标检测。公开号为cn112465747a的专利文献公开了一种输电杆塔金具锈蚀的智能识别方法，包括s1信息采集步骤，s2信息分析步骤，s3监控报警步骤，所述s1信息采集步骤为通过无人机获取高清图片，所述信息分析步骤为通过计算机对所述图片进行识别分析，所述监控报警步骤为对所述信息分析步骤得到的结果进行展示并报警。但是，现有技术中对于无人机获取的图片进行识别分析进而得到的锈蚀检测的精确度低。


技术实现要素：

4.为此，本发明提供一种基于注意力机制融合的输电铁塔锈蚀检测的方法，可以解决现有技术检测精确度低的问题。
5.为实现上述目的，本发明提供一种基于注意力机制融合的输电铁塔锈蚀检测的方法，该方法包括：
6.步骤s100，获取输电铁塔锈蚀数据集，输电铁塔锈蚀数据集包括若干铁塔锈蚀图像，对输电铁塔锈蚀数据集内的铁塔锈蚀图像进行截取，以得到目标区域图像集；
7.步骤s200，为yolov5网络结构配置yaml文件，在所述yaml文件中增加一组用以进行目标检测的锚框，所述锚框用以抓取铁塔锈蚀图像中的目标区域，所述yolov5网络结构包括头部网络、颈部网络和主干网络，并在所述头部网络增加目标检测网络结构层，用以进行目标区域的检测；
8.步骤s300，在所述主干网络内添加注意力机制模块，用以从所述铁塔锈蚀图像中找到目标区域中的目标特征；
9.步骤s400，在所述颈部网络中添加二阶通道注意力机制模块，用以得到目标网络结构；
10.步骤s500，将所述目标区域图像集输送至所述目标网络结构中进行训练，得到最优网络结构；
11.步骤s600，将待检测铁塔锈蚀图像发送至所述最优网络结构，得到基于所述待检测铁塔锈蚀图像中的输电铁塔的锈蚀检测结果。
12.进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，对输电铁塔锈蚀数据集内的铁塔锈蚀图像进行截取，以得到目标区域图像集包括：
13.利用labelimg标注软件对输电铁塔锈蚀数据集进行标注；
14.通过在输电铁塔锈蚀数据集中进行抽取；
15.对输电铁塔锈蚀数据集中的输电铁塔锈蚀图片按照txt格式标准进行标注；
16.建立输电铁塔锈蚀标准数据集，所述输电铁塔锈蚀标准数据集为所述目标区域图像集。
17.进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，为yolov5网络结构配置yaml文件，在所述yaml文件中增加一组用以进行目标检测的锚框包括：
18.为所述yolov5网络结构进行配置yaml文件，形成第一网络结构；
19.将所述yaml文件存储在models文件夹下；
20.所述第一网络结构包括：类别数和模型深度宽度控制、初始锚框参数，主干网络、颈部网络和头部网络；
21.在所述yaml文件的初始锚框设置中增加一组小数值锚框，用以改善目标区域的检测，所述小数值锚框的检测精度大于初始锚框的检测精度。
22.进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，在所述头部网络增加目标检测网络结构层，用以进行目标区域的检测包括：
23.在yolov5网络结构的主干网络中的第17层后，继续对铁塔锈蚀图像进行上采样处理，使铁塔锈蚀图像继续扩大，同时在第20层，将获得的铁塔锈蚀图像与主干网络中的第2层铁塔锈蚀图像进行融合处理，以获取更大的铁塔锈蚀图像并进行检测；
24.利用所述目标检测网络结构层的四层[21,24,27,30]对所述铁塔锈蚀图像进行检测。
[0025]
进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，在所述主干网络内添加注意力机制模块包括：在主干网络中的sppf层前添加注意力机制模块，用以从每个所述输电铁塔锈蚀图像中找到目标区域中的目标特征。
[0026]
进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，所述输电铁塔锈蚀图像中找到目标区域中的目标特征包括：
[0027]
输入维度为h
×w×
c的第一输电铁塔锈蚀图像；
[0028]
对输入维度为h
×w×
c的输电铁塔锈蚀图像进行空间特征压缩，实现空间维度全局平均池化，得到1
×1×
c的输电铁塔锈蚀图像；
[0029]
接着对压缩后的输电铁塔锈蚀图像，进行通道特征学习，通过fc全连接层操作，得到1
×1×
c通道注意力的输电铁塔锈蚀图像；
[0030]
将通道注意力的输电铁塔锈蚀图像与第一输电铁塔锈蚀图像逐通道乘以权重系数，最终输出具有通道注意力的输电铁塔锈蚀图像，所述输电铁塔锈蚀图像中包含所述目标特征。
[0031]
进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，得到目标网络结构包括：对输电铁塔锈蚀图像的全局协方差矩阵进行计算，以实现将全局协方差矩阵进行归一化。
[0032]
进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，对输电铁塔锈蚀图像的协方差矩阵进行计算包括：
[0033]
将所述全局协方差矩阵进行特征值的分解；
[0034]
将所述全局协方差矩阵进行归一化操作；
[0035]
进而将其转为特征值的1/2次幂，
[0036]
其中，
[0037]
输入输电铁塔锈蚀图像，然后通过全局协方差池，得到归一化协方差矩将这种归一化协方差矩阵求均值作为通道描述符向量z表示了通道之间的相关性,
[0038]
通道描述符向量z的第c维元素zc计算式为：
[0039][0040]
式中，h
gcp
(x)表示全局协方差池化层，h
gcp
(yc)表示经过全局池化后的分层特征yc层,i表示第i维元素；
[0041]
利用激活函数sigmod得到二阶通道注意力模块的权重w，二阶通道注意力模块的权重w计算式为：
[0042]
w＝f(wuδ(wdz)，
[0043]
wu，wd为卷积层的权重集，wu用于将通道数设置为c/r，wd用于将通道数设置为c，其中，c为通道数变量，r为缩放因子，f和δ分别表示sigmoid函数和relu激活函数；
[0044]
通过通道注意图重新调整输入得：
[0045][0046]
wc第c通道的比例因子，fc表示输电铁塔锈蚀图像。
[0047]
进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，还包括：对所述输电铁塔的锈蚀检测结果进行评估，
[0048]
通过利用准确率均值、准确率、召回率的实验结果来体现该算法的优越性，设定准确率均值采用map表示，准确率采用precision表示，召回率采用recall表示，评定指标计算公式如下：
[0049][0050][0051][0052]
其中，tp表示被正确识别的正样本数量，fp表示被错误识别为正样本数量，fn表示
被错误识别的负样本数量，k为样本数量。api表示第i样本的平均准确率。
[0053]
进一步地，基于注意力机制融合的输电铁塔锈蚀检测的方法，所述主干网络用以进行输电铁塔锈蚀图特征提取，所述颈部网络，用以进行多尺度融合处理。
[0054]
与现有技术相比，本发明的有益效果在于，通过在原有的yolov5网络中的锚框增加一组小的目标检测层，以及对注意力机制模块与二阶通道注意力机制模块的融合，从而提高了输电铁塔锈蚀检测的精确度，缩短了输电铁塔检测的时间和提高检测效率，满足了输电铁塔锈蚀检测实时性和准确性的需求。
[0055]
尤其，在yolov5网络的yaml文件的初始锚框设置中增加一组小数值锚框，用以改善目标区域的检测，所述小数值锚框的检测精度大于初始锚框的检测精度，并增加了小目标检测层后，以取更大的目标区域图进行小目标检测，对于小目标铁塔锈蚀图像具有更好的检测效果，由于被检测的目标的位置和大小是不确定的，而通过在输电铁塔锈蚀图像上基于每个像素分配不同尺度的锚框，可便于匹配不同尺度和位置的目标，实现输电铁塔锈蚀的精准检测。
[0056]
尤其，在yolov5网络结构的主干网络中的sppf层前添加注意力机制模块，可以在不改变特征图大小的情况下对其进行通道特征加强，有效地提高了模型精确度。在传统的卷积池化过程中，默认特征图的每个通道是同等重要的，但在实际的问题中，不同通道的重要性是有差异的，具体问题具体看待，而意力机制模块得添加解决了在卷积池化过程中特征图的不同通道所占的重要性不同带来的损失问题。
[0057]
尤其，在yolov5网络结构的颈部网络中增加二阶通道注意力机制模块，通过关注输电铁塔锈蚀图像的二阶空间信息，为输电铁塔锈蚀图像重新分配空间权重，以获得对信息更多的辨别性的，通过关注输电铁塔锈蚀特征图空间域的细粒度信息，提高了信息的判别能力，从而使得到注意力机制融合的yolov5网络结构，有效的提高了输电铁塔锈蚀检测的精确度。
附图说明
[0058]
图1为本发明实施例提供的输电铁塔锈蚀检测方法流程图；
[0059]
图2为本发明实施例中的注意力机制模块的结构示意图；
[0060]
图3为本发明实施例中的二阶通道注意力机制模块的结构示意图；
[0061]
图4是为本发明实施例中的yolov5网络结构的示意图。
具体实施方式
[0062]
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0063]
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
[0064]
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0065]
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
[0066]
请参阅图1所示，本发明实施例提供的一种基于注意力机制融合的输电铁塔锈蚀检测的方法，该方法包括：
[0067]
步骤s100：获取输电铁塔锈蚀数据集，输电铁塔锈蚀数据集包括若干铁塔锈蚀图像，对输电铁塔锈蚀数据集内的铁塔锈蚀图像进行截取，以得到目标区域图像集；
[0068]
步骤s200：为yolov5网络结构配置yaml文件，在所述yaml文件中增加一组用以进行目标检测的锚框，所述锚框用以抓取铁塔锈蚀图像中的目标区域，所述yolov5网络结构包括头部网络、颈部网络和主干网络，并在所述头部网络增加目标检测网络结构层，用以进行目标区域的检测；
[0069]
步骤s300：在所述主干网络内添加注意力机制模块，用以从所述铁塔锈蚀图像中找到目标区域中的目标特征；
[0070]
步骤s400：在所述颈部网络中添加二阶通道注意力机制模块，用以得到目标网络结构；
[0071]
步骤s500：将所述目标区域图像集输送至所述目标网络结构中进行训练，得到最优网络结构；
[0072]
步骤s600：将待检测铁塔锈蚀图像发送至所述最优网络结构，得到基于所述待检测铁塔锈蚀图像中的输电铁塔的锈蚀检测结果。
[0073]
具体而言，在本发明实施例中的输电铁塔锈蚀数据集中包括很多铁塔锈蚀图像，铁塔锈蚀图像中的铁塔为目标区域，而铁塔上的锈迹则为目标特征。
[0074]
具体而言，本发明实施例通过对铁塔锈蚀图像中的铁塔进行放大并识别，大大提高了对目标区域的识别精度，进而便于进一步确定铁塔上的锈迹的分布情况，进而提高对锈蚀检测的检测精度。通过在原有的yolov5网络中的锚框增加一组小的目标检测层，以及对注意力机制模块与二阶通道注意力机制模块的融合，从而提高了输电铁塔锈蚀检测的精确度，缩短了输电铁塔检测的时间和提高检测效率，满足了输电铁塔锈蚀检测实时性和准确性的需求。
[0075]
具体而言，在步骤s100中，对输电铁塔锈蚀数据集内的铁塔锈蚀图像进行截取，以得到目标区域图像集包括：
[0076]
利用labelimg标注软件对输电铁塔锈蚀数据集进行标注；
[0077]
通过在输电铁塔锈蚀数据集中进行抽取；
[0078]
对输电铁塔锈蚀数据集中的输电铁塔锈蚀图片按照txt格式标准进行标注；
[0079]
建立输电铁塔锈蚀标准数据集，所述输电铁塔锈蚀标准数据集为所述目标区域图像集。
[0080]
具体而言，利用labelimg图片标注工具软件对输电铁塔锈蚀图片数据集进行标定，用以创建输电铁塔锈蚀图片数据集，这款软件的运行环境为python+lxml，yolov5，ssd等，在本发明实施例中为yolov5网络结构模型训练输电铁塔锈蚀图片数据集，用以目标检
测训练数据集中的输电铁塔锈蚀图片标注；
[0081]
利用labelimg图片标注只能导出xml格式，实际应用中需要通过创建txt格式的数据集的形式对脚本进行xml—txt转换，从而应用到yolov5网络结构中，在coco软件中建立新文件夹，其中存放利用labelimg标注的所有输电铁塔锈蚀图片数据并运行，用以得到txt格式的输电铁塔锈蚀图片数据文件；
[0082]
在所述coco的大型输电铁塔锈蚀图片数据集中进行抽取，对输电铁塔锈蚀图片按照txt格式的标准进行标注处理，建立在txt格式标准下进行运行的输电铁塔锈蚀数据集。
[0083]
具体而言，本发明实施例通过labelimg、coco软件对图像进行标注，达到了图像分割等任务，对图像进行flag形式的标注，达到了用于图像分类和清理的任务，使得输电铁塔锈蚀数据集更精准。
[0084]
具体而言，在步骤s200中，为yolov5网络结构配置yaml文件，在所述yaml文件中增加一组用以进行目标检测的锚框包括：
[0085]
为所述yolov5网络结构进行配置yaml文件，形成第一网络结构；
[0086]
将所述yaml文件存储在models文件夹下；
[0087]
所述第一网络结构包括：类别数和模型深度宽度控制、初始锚框参数，主干网络、颈部网络和头部网络；
[0088]
在所述yaml文件的初始锚框设置中增加一组小数值锚框，用以改善目标区域的检测，所述小数值锚框的检测精度大于初始锚框的检测精度。
[0089]
具体而言，初始的yolov5的网络结构的配置文件只有三个检测层，因此对应三组初始化猫框值，当输入图像尺寸为640x640时，#p3/8对应的检测层大小为80x80大小，可以用来检测大小在8x8以上的目标，#p4/16对应的检测层大小为40x40大小，可以用来检测大小在16x16以上的目标，#p5/32对应的检测层大小为20x20大小，可以用来检测32x32以上的目标。
[0090]
具体而言，在yolov5网络的yaml文件的初始锚框设置中增加一组小数值锚框，用以改善目标区域的检测，所述小数值锚框的检测精度大于初始锚框的检测精度，并增加了小目标检测层后，以取更大的目标区域图进行小目标检测，对于小目标铁塔锈蚀图像具有更好的检测效果，由于被检测的目标的位置和大小是不确定的，而通过在输电铁塔锈蚀图像上基于每个像素分配不同尺度的锚框，可便于匹配不同尺度和位置的目标，实现输电铁塔锈蚀的精准检测。
[0091]
具体而言，在步骤s200中，在所述头部网络增加目标检测网络结构层，用以进行目标区域的检测包括：
[0092]
在yolov5网络结构的主干网络中的第17层后，继续对铁塔锈蚀图像进行上采样处理，使铁塔锈蚀图像继续扩大，同时在第20层，将获得的铁塔锈蚀图像与主干网络中的第2层铁塔锈蚀图像进行融合处理，以获取更大的铁塔锈蚀图像并进行检测；
[0093]
利用所述目标检测网络结构层的四层[21,24,27,30]对所述铁塔锈蚀图像进行检测。
[0094]
具体而言，本发明实施例通过在头部网络增加通过增加目标检测网络结构层后，以取更大的目标区域图进行小目标检测，对于小目标铁塔锈蚀图像具有更好的检测效果，进一步加强了对于目标区域的检测的精准度。
[0095]
在步骤s300中，在所述主干网络内添加注意力机制模块包括：在主干网络中的sppf层前添加注意力机制模块，用以从每个所述输电铁塔锈蚀图像中找到目标区域中的目标特征。
[0096]
具体而言，本发明实施例通过在所述yolov5网络结构主干网络中的sppf层前添加注意力机制模块，可以在不改变特征图大小的情况下对其进行通道特征加强，有效地提高了模型精确度。
[0097]
具体而言，所述输电铁塔锈蚀图像中找到目标区域中的目标特征包括：
[0098]
输入维度为h
×w×
c的第一输电铁塔锈蚀图像；
[0099]
对输入维度为h
×w×
c的输电铁塔锈蚀图像进行空间特征压缩，实现空间维度全局平均池化，得到1
×1×
c的输电铁塔锈蚀图像；
[0100]
接着对压缩后的输电铁塔锈蚀图像，进行通道特征学习，通过fc全连接层操作，得到1
×1×
c通道注意力的输电铁塔锈蚀图像；
[0101]
将通道注意力的输电铁塔锈蚀图像与第一输电铁塔锈蚀图像逐通道乘以权重系数，最终输出具有通道注意力的输电铁塔锈蚀图像，所述输电铁塔锈蚀图像中包含所述目标特征。
[0102]
具体而言，所述输电铁塔锈蚀图像中找到目标区域中的目标特征，需要通过注意力机制模块，请参阅图2所示，主要包括压缩和激励两部分组成，其中，压缩部分通过在输电铁塔锈蚀图像层上执行全局平均差池化，得到输电铁塔锈蚀图像全局压缩特征量；激励部分通过两层全连接的瓶颈层结构，得到输电铁塔锈蚀图像中每个通道的权值，并将加权后的输电铁塔锈蚀图像作为下一层网络的输入。
[0103]
具体而言，在传统的卷积池化过程中，默认特征图的每个通道是同等重要的，但在实际的问题中，不同通道的重要性是有差异的，具体问题具体看待，而注意力机制模块解决了在卷积池化过程中输电铁塔锈蚀特征图不同通道所占的重要性不同带来的损失问题。
[0104]
具体而言，本发明实施例通过注意力机制模块，通过压缩和激励两部分对输入特征图进行通道特征加强，同时不改变输入特征图的大小，达到了选择性地强调输电铁塔锈蚀图像的目的，解决了在卷积池化过程中输电铁塔锈蚀图像不同通道所占的重要性不同带来的损失问题征信息。
[0105]
具体而言，得到目标网络结构包括：
[0106]
通过二阶通道注意力机制模块，对输电铁塔锈蚀图像的全局协方差矩阵进行计算，以实现将全局协方差矩阵进行归一化，其中，对输电铁塔锈蚀图像的协方差矩阵进行计算包括：
[0107]
将所述全局协方差矩阵进行特征值的分解；
[0108]
将所述全局协方差矩阵进行归一化操作；
[0109]
进而将其转为特征值的1/2次幂，
[0110]
其中，
[0111]
输入输电铁塔锈蚀图像，然后通过全局协方差池，得到归一化协方差矩将这种归一化协方差矩阵求均值作为通道描述符向量z表示了通道之间的相关性,
[0112]
通道描述符向量z的第c维元素zc计算式为：
[0113][0114]
式中，h
gcp
(x)表示全局协方差池化层，h
gcp
(yc)表示经过全局池化后的分层特征yc层,i表示第i维元素；
[0115]
利用激活函数sigmod得到二阶通道注意力模块的权重w，二阶通道注意力模块的权重w计算式为：
[0116]
w＝f(wuδ(wdz)，
[0117]
wu，wd为卷积层的权重集，wu用于将通道数设置为c/r，wd用于将通道数设置为c，其中，c为通道数变量，r为缩放因子，f和δ分别表示sigmoid函数和relu激活函数；
[0118]
通过通道注意图重新调整输入得：
[0119][0120]
wc第c通道的比例因子，fc表示输电铁塔锈蚀图像。
[0121]
具体而言，二阶通道注意力机制模块，如图3所示，所述二阶通道注意力机制模块的作用是关注特征的二阶空间信息，为输电铁塔锈蚀图像重新分配空间权重，以获得对信息更多的辨别性的，因为所述输电铁塔锈蚀特征图的协方差矩阵是个对称的半正定矩阵，所以能够对其特征值进行分解，协方差归一化通过控制对角矩阵的指数实现，最后对c个列向量分别求均值得到z，利用所述两个卷积wd和wu，通过通道的降维得到最终的通道注意图w，将第c通道的比例因子和输电铁塔锈蚀图像相乘得到新的输电铁塔锈蚀图像。
[0122]
具体而言，本发明实施例提供通过在yolov5网络结构的颈部网络中增加二阶通道注意力机制模块，通过关注输电铁塔锈蚀图像的二阶空间信息，为输电铁塔锈蚀图像重新分配空间权重，以获得对信息更多的辨别性的，通过关注输电铁塔锈蚀特征图空间域的细粒度信息，提高了信息的判别能力，从而使得到注意力机制融合的yolov5网络结构，有效的提高了输电铁塔锈蚀检测的精确度。
[0123]
在s600之后还包括：对所述输电铁塔的锈蚀检测结果进行评估，
[0124]
通过利用准确率均值、准确率、召回率的实验结果来体现该算法的优越性，设定准确率均值采用map表示，准确率采用precision表示，召回率采用recall表示，评定指标计算公式如下：
[0125][0126][0127][0128]
其中，tp表示被正确识别的正样本数量，fp表示被错误识别为正样本数量，fn表示被错误识别的负样本数量，k为类别数，api表示第i样本的平均准确率。
[0129]
具体而言，ap是计算某一类p-r曲线下的面积，map则是计算所有类别p-r曲线下面积的平均值，以计算出准确率和召回率，得到一条p-r曲线，如果一个网络结构算法的ap值
较大，也就是p-r曲线下的面积比较大。
[0130]
具体而言，用来衡量所述最优网络结构的性能，准确率和召回率存在着相反的相互依赖的关系，如果提高输出的召回率，就会降低输出的准确率，如果降低输出的召回率，就会提高输出的准确率。
[0131]
具体而言，本发明实施例所有的map都为iou阈值取0.5时的值，在iou阈值取0.5的条件下，如iou》0.5，那么认为这是一个正确检测，如果iou《0.5，那么认为这是一个错误检测，所以，利用所述评定指标，能够体现该最优网络结构的优越性。
[0132]
请参阅图4所示，所述yolov5网络结构模型，包括主干网络、颈部网络、头部网络。
[0133]
具体而言，主干网络主要作用是进行输电铁塔锈蚀图特征提取，其中，主干层底部的sppf(spatial pyramid pooling-fast)模块是空间金字塔池化层，作用是将任意大小的特征图转化为固定大小的特征向量，首先通过一个标准卷积模块将输入通道减半，然后分别进行核尺寸为5
×
5，9
×
9，13
×
13的最大池化，接着采用特征融合操作将输出进行通道拼接，最后经过卷积层将其降维输出。
[0134]
具体而言，颈部网络，主要利用类似fpn+pan的方式，对主干网络提取到的特征，进行多尺度融合处理，再送入检测层，在yolov5中，除了使用fpn结构对特征进行融合，还使用到了pan结构，pan与fpn网络正好相反，是一个倒金字塔结构，自底向上传达强定位特征，因此，yolov5网络结构采用的方法是在fpn结构基础上加入一个自底向上的金字塔作为原始fpn结构的补充，构成panet网络，网络结构，自底向上的结构通过将浅层丰富的位置信息映射叠加到深层特征来进行信息融合，将底层的位置信息再向高层传递回去，进一步加强了不同特征图之间的信息传递，准确保留了空间信息，能有效提高网络对大中型输电铁塔锈蚀图目标的检测能力。
[0135]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0136]
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，包括：获取输电铁塔锈蚀数据集，输电铁塔锈蚀数据集包括若干铁塔锈蚀图像，对输电铁塔锈蚀数据集内的铁塔锈蚀图像进行截取，以得到目标区域图像集；为yolov5网络结构配置yaml文件，在所述yaml文件中增加一组用以进行目标检测的锚框，所述锚框用以抓取铁塔锈蚀图像中的目标区域，所述yolov5网络结构包括头部网络、颈部网络和主干网络，并在所述头部网络增加目标检测网络结构层，用以进行目标区域的检测；在所述主干网络内添加注意力机制模块，用以从所述铁塔锈蚀图像中找到目标区域中的目标特征；在所述颈部网络中添加二阶通道注意力机制模块，用以得到目标网络结构；将所述目标区域图像集输送至所述目标网络结构中进行训练，得到最优网络结构；将待检测铁塔锈蚀图像发送至所述最优网络结构，得到基于所述待检测铁塔锈蚀图像中的输电铁塔的锈蚀检测结果。2.根据权利要求1所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，对输电铁塔锈蚀数据集内的铁塔锈蚀图像进行截取，以得到目标区域图像集包括：利用label img标注软件对输电铁塔锈蚀数据集进行标注；通过在输电铁塔锈蚀数据集中进行抽取；对输电铁塔锈蚀数据集中的输电铁塔锈蚀图片按照txt格式标准进行标注；建立输电铁塔锈蚀标准数据集，所述输电铁塔锈蚀标准数据集为所述目标区域图像集。3.根据权利要求2所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，为yolov5网络结构配置yaml文件，在所述yaml文件中增加一组用以进行目标检测的锚框包括：为所述yolov5网络结构进行配置yaml文件，形成第一网络结构；将所述yaml文件存储在models文件夹下；所述第一网络结构包括：类别数和模型深度宽度控制、初始锚框参数，主干网络、颈部网络和头部网络；在所述yaml文件的初始锚框设置中增加一组小数值锚框，用以改善目标区域的检测，所述小数值锚框的检测精度大于初始锚框的检测精度。4.根据权利要求3所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，在所述头部网络增加目标检测网络结构层，用以进行目标区域的检测包括：在yolov5网络结构的主干网络中的第17层后，继续对铁塔锈蚀图像进行上采样处理，使铁塔锈蚀图像继续扩大，同时在第20层，将获得的铁塔锈蚀图像与主干网络中的第2层铁塔锈蚀图像进行融合处理，以获取更大的铁塔锈蚀图像并进行检测；利用所述目标检测网络结构层的四层[21,24,27,30]对所述铁塔锈蚀图像进行检测。5.根据权利要求4所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，在所述主干网络内添加注意力机制模块包括：在主干网络中的sppf层前添加注意力机制模块，用以从每个所述输电铁塔锈蚀图像中找到目标区域中的目标特征。6.根据权利要求5所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，
所述输电铁塔锈蚀图像中找到目标区域中的目标特征包括：输入维度为h
×
w
×
c的第一输电铁塔锈蚀图像；对输入维度为h
×
w
×
c的输电铁塔锈蚀图像进行空间特征压缩，实现空间维度全局平均池化，得到1
×1×
c的输电铁塔锈蚀图像；接着对压缩后的输电铁塔锈蚀图像，进行通道特征学习，通过fc全连接层操作，得到1
×1×
c通道注意力的输电铁塔锈蚀图像；将通道注意力的输电铁塔锈蚀图像与第一输电铁塔锈蚀图像逐通道乘以权重系数，最终输出具有通道注意力的输电铁塔锈蚀图像，所述输电铁塔锈蚀图像中包含所述目标特征。7.根据权利要求6所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，得到目标网络结构包括：对输电铁塔锈蚀图像的全局协方差矩阵进行计算，以实现将全局协方差矩阵进行归一化。8.根据权利要求7所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，对输电铁塔锈蚀图像的协方差矩阵进行计算包括：将所述全局协方差矩阵进行特征值的分解；将所述全局协方差矩阵进行归一化操作；进而将其转为特征值的1/2次幂，其中，输入输电铁塔锈蚀图像，然后通过全局协方差池，得到归一化协方差矩将这种归一化协方差矩阵求均值作为通道描述符向量z表示了通道之间的相关性，通道描述符向量z的第c维元素zc计算式为：式中，h
gcp
(x)表示全局协方差池化层，h
gcp
(y
c
)表示经过全局池化后的分层特征y
c
层，i表示第i维元素；利用激活函数sigmod得到二阶通道注意力模块的权重w，二阶通道注意力模块的权重w计算式为：w＝f(w
u
δ(w
d
z)，w
u
，w
d
为卷积层的权重集，w
u
用于将通道数设置为c/r，w
d
用于将通道数设置为c，其中，c为通道数变量，r为缩放因子，f和δ分别表示sigmoid函数和relu激活函数；通过通道注意图重新调整输入得：w
c
第c通道的比例因子，f
c
表示输电铁塔锈蚀图像。9.根据权利要求8所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，还包括：对所述输电铁塔的锈蚀检测结果进行评估，设定准确率均值采用map表示，准确率采用precision表示，召回率采用recall表示，评定指标计算公式如下：
其中，tp表示被正确识别的正样本数量，fp表示被错误识别为正样本数量，fn表示被错误识别的负样本数量，k为样本数量，api表示第i样本的平均准确率。10.根据权利要求9所述基于注意力机制融合的输电铁塔锈蚀检测的方法，其特征在于，所述主干网络用以进行输电铁塔锈蚀图特征提取，所述颈部网络，用以进行多尺度融合处理。

技术总结
本发明涉及图像识别技术领域，尤其涉及一种基于注意力机制融合的输电铁塔锈蚀检测的方法，该方法包括：获取输电铁塔锈蚀数据集，对输电铁塔锈蚀数据集内的铁塔锈蚀图像进行截取，以得到目标区域图像集；为yolov5网络结构配置yaml文件，在yaml文件中增加一组用以进行目标检测的锚框，并在头部网络增加目标检测网络结构层，进行目标区域的检测；在主干网络内添加注意力机制模块，用以从铁塔锈蚀图像中找到目标区域中的目标特征；在颈部网络中添加二阶通道注意力机制模块，得到目标网络结构；将目标区域图像集输送至目标网络结构中进行训练，得到最优网络结构；将待检测铁塔锈蚀图像发送至最优网络结构，本发明提高了输电铁塔锈蚀检测的精准度。蚀检测的精准度。蚀检测的精准度。


技术研发人员：李玉青 陈祖国 卢明 陈超洋 邹莹 李沛
受保护的技术使用者：湖南科技大学
技术研发日：2023.04.28
技术公布日：2023/8/1