一种基于改进Yolov5的输电杆塔卫星遥感作业状态监测方法与流程

一种基于改进yolov5的输电杆塔卫星遥感作业状态监测方法
技术领域
1.本发明涉及及理论技术领域，具体涉及一种基于改进yolov5的输电杆塔卫星遥感作业状态监测方法。


背景技术：

2.随着科学技术的飞速发展，工业生产水平和人民生活水平的提高，各种电器设备在人民的生活中被使用，巨大的电能消耗导致旧的电网已经不能满足人们越来越高的生活需要。数据显示配电网覆盖率达到90％，输电杆塔是承载电网重要的基础设施，然而每年输电杆塔都会新建、拆除以及遭受自然、人为破坏。输电杆塔信息得不到及时的更新，将会影响电网的安全高效运行。
3.基于卫星影像的输电杆塔的自动识别在电力基础设施规划、建设、维护和灾后评估等方面具有重要意义。但卫星影像因尺度变化差异大、拍摄角度的特殊性、背景复杂多变等问题，给杆塔的自动识别带来了挑战。
4.最初遥感图像输电杆塔检测方法大多为传统的目标检测方法，一般检测流程是先对遥感图像进行预处理包括除噪、去云雾，再进行图像分割，选取候选区域、提取待测目标的特征，最后利用分类器去分类，输出最终检测的结果，是一个由粗到精的过程。基于传统输电杆塔检测方法主要有四种，基于灰度统计特征、基于显著特性检测、基于分类学习和基于模版匹配的方法。
5.近年来，深度学习模型在人工智能领域取得了突破性的成绩，受到广泛关注，一些研究者开始将其应用于遥感图像目标检测与分类中。基于深度学习的输电杆塔目标检测算法主要可以分为两大类，即基于区域型目标检测和基于回归型目标检测。基于区域型的目标检测算法two-stage是指先产生大量的含有目标特征的候选区域，再在这些候选区域内用分类器进行判别，常见的算法有r-cnn(region-convolutional neural networks)、fast r-cnn(fast region-convolutional neural networks)，以及后续学者根据特定应用场景改进的算法等。顾佼佼等人改进卷积神经网络结构，将fast r-cnn锚框的个数和大小重新设计，能有效改善遥感图像中待测目标重复检测的问题。
6.基于回归型目标检测算法one-stage是直接在输入的整张图像上进行检测识别操作，常见的有yolo(you only look once)、ssd(single shot multibox detector)等。已有不少学者在基于回归型上进行了研究。实际验证中发现，同一类别的输电杆塔大目标与小目标的特征差异较大，不同拍摄角度导致输电杆塔呈现不同形状，背景复杂且存在同一类目标相互遮挡的情况，最终导致电塔检测不准确。


技术实现要素：

7.为了解决现有技术中同一类别的输电杆塔大目标与小目标的特征差异较大，不同拍摄角度导致输电杆塔呈现不同形状，背景复杂且存在同一类目标相互遮挡的情况，最终导致电塔检测不准确的问题，本发明提出了一种基于改进yolov5的输电杆塔卫星遥感作业
状态监测方法，包括：
8.获取各输电杆塔的高分辨率卫星遥感影像；
9.基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果；
10.其中，所述改进的yolov5模型是基于yolov5模型增加微小型目标检测层，将soft-nms作为预测框筛选函数并将ciou_loss作为预测目标的边界框损失函数得到的。
11.优选的，所述改进的yolov5模型的训练过程如下所示：
12.基于yolo v5模型的网络结构进行改进，得到改进的yolov5模型网络结构；
13.基于获取的输电杆塔图片进行预处理后构建训练集、验证集和测试集；
14.基于所述训练集、验证集和测试集对改进的yolov5模型网络结构进行训练、验证和测试，得到训练好的改进的yolov5模型。
15.优选的，所述基于yolov5模型进行改进，得到改进的yolov5模型结构，包括：
16.基于所述yolov5模型中的大尺度检测层、中尺度检测层和小尺度检测层增加微小型目标检测层；
17.基于所述yolov5模型中通过concat进行特征融合改进为通过weight-concat进行特征融合；
18.基于所述yolov5模型中通过nms进行输电杆塔目标边界框的筛选改进为通过soft-nms进行输电杆塔目标边界框的筛选；
19.基于所述yolov5模型中的通过giou_loss预测目标的边界框损失函数改进为通过ciou_loss预测目标的边界框损失函数。
20.优选的，所述weight-concat的计算式如下所示：
[0021][0022][0023]
式中，y
out1
为两个层次特征融合后的输出，y
out2
为三个层次特征融合后的输出，x0为第0层次的特征，x1为第1层次的特征，x2为第2层次的特征，w0为第0层次的权重，w1为第1层次的权重，w2为第2层次的权重，ε为维稳因子，conv为卷积。
[0024]
优选的，所述soft-nms的计算式如下所述：
[0025][0026]
式中，confi为第i个目标边界框置信度的分值，bboxm为置信度得分最高对应的目标预测边界框，bboxi为第i个目标预测边界框，threshold为设定的阈值，i为目标边界框的序号，iou为损失函数。
[0027]
优选的，所述ciou_loss的计算式如下所示：
[0028][0029]
式中，ciou_loss为损失函数ciou_loss的值，ciou为损失函数ciou的值，iou为损
失函数iou的值，θ为衡量目标预测框长宽比一致性的参数，r1为最小外接矩形的对角线距离，r2为目标真实框和预测框中心点距离。
[0030]
优选的，所述基于获取的输电杆塔图片进行预处理后构建训练集、验证集和测试集，包括：
[0031]
基于获取的输电杆塔图片进行作业状态标注和输电杆塔标注，得到标注好的图片；
[0032]
基于所述标注好的图片进行旋转、平移、镜像、缩放和归一化，并将标签转换为coco格式，得到预处理后的图片；
[0033]
基于所述预处理后的图片构建训练集、验证集和测试集。
[0034]
优选的，所述基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果，包括：
[0035]
将所述高分辨率卫星遥感影像输入改进的yolov5模型进行计算，得到大尺度、中尺度、小尺度和微小型尺度下的各输电杆塔的作业状态。
[0036]
基于同一发明构思，本发明还提出了一种基于改进yolo v5的输电杆塔卫星遥感作业状态监测系统，包括：
[0037]
影像获取模块，用于获取各输电杆塔的高分辨率卫星遥感影像；
[0038]
模型求解模块，用于基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果；
[0039]
其中，所述改进的yolov5模型是基于yolov5模型增加微小型目标检测层，将soft-nms作为预测框筛选函数并将ciou_loss作为预测目标的边界框损失函数得到的。
[0040]
优选的，还包括模型训练模块，所述模型训练模块，包括：
[0041]
改进网络结构子模块，用于基于yolov5模型的网络结构进行改进，得到改进的yolov5模型网络结构；
[0042]
训练集构建子模块，用于基于获取的输电杆塔图片进行预处理后构建训练集、验证集和测试集；
[0043]
网络结构训练子模块，用于基于所述训练集、验证集和测试集对改进的yolov5模型网络结构进行训练、验证和测试，得到训练好的改进的yolov5模型。
[0044]
优选的，所述改进网络结构子模块，具体用于：
[0045]
基于所述yolov5模型中的大尺度检测层、中尺度检测层和小尺度检测层增加微小型目标检测层；
[0046]
基于所述yolov5模型中通过concat进行特征融合改进为通过weight-concat进行特征融合；
[0047]
基于所述yolov5模型中通过nms进行输电杆塔目标边界框的筛选改进为通过soft-nms进行输电杆塔目标边界框的筛选；
[0048]
基于所述yolov5模型中的通过giou_loss预测目标的边界框损失函数改进为通过ciou_loss预测目标的边界框损失函数。
[0049]
优选的，所述改进网络结构子模块中weight-concat的计算式如下所示：
[0050]
[0051][0052]
式中，y
out1
为两个层次特征融合后的输出，y
out2
为三个层次特征融合后的输出，x0为第0层次的特征，x1为第1层次的特征，x2为第2层次的特征，w0为第0层次的权重，w1为第1层次的权重，w2为第2层次的权重，ε为维稳因子，conv为卷积。
[0053]
优选的，所述改进网络结构子模块中soft-nms的计算式如下所述：
[0054][0055]
式中，confi为第i个目标边界框置信度的分值，bboxm为置信度得分最高对应的目标预测边界框，bboxi为第i个目标预测边界框，threshold为设定的阈值，i为目标边界框的序号，iou为损失函数。
[0056]
优选的，所述改进网络结构子模块中ciou_loss的计算式如下所示：
[0057][0058]
式中，ciou_loss为损失函数ciou_loss的值，ciou为损失函数ciou的值，iou为损失函数iou的值，θ为衡量目标预测框长宽比一致性的参数，r1为最小外接矩形的对角线距离，r2为目标真实框和预测框中心点距离。
[0059]
优选的，所述训练集构建子模块，具体用于：
[0060]
基于获取的输电杆塔图片进行作业状态标注和输电杆塔标注，得到标注好的图片；
[0061]
基于所述标注好的图片进行旋转、平移、镜像、缩放和归一化，并将标签转换为coco格式，得到预处理后的图片；
[0062]
基于所述预处理后的图片构建训练集、验证集和测试集。
[0063]
优选的，所述模型求解模块，具体用于：
[0064]
将所述高分辨率卫星遥感影像输入改进的yolov5模型进行计算，得到大尺度、中尺度、小尺度和微小型尺度下的各输电杆塔的作业状态。
[0065]
与现有技术相比，本发明的有益效果为：
[0066]
一种基于改进yolov5的输电杆塔卫星遥感作业状态监测方法，包括：获取各输电杆塔的高分辨率卫星遥感影像；基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果；其中，所述改进的yolov5模型是基于yolov5模型增加微小型目标检测层，将soft-nms作为预测框筛选函数并将ciou_loss作为预测目标的边界框损失函数得到的；本发明通过基于yolov5模型增加微小型目标检测层，给不同层次的特征分配不同的权重，使特征更好的融合，还提高了小目标检测精度；通过ciou_loss作为预测目标的边界框损失函数，提高了输电杆塔毗邻连接、被遮挡情况下的输电杆塔检测精度；通过soft-nms作为预测框筛选函数，提高了密集分布输电杆塔的检测精度。
附图说明
[0067]
图1为本发明的一种基于改进yolo v5的输电杆塔卫星遥感作业状态监测方法的
流程图；
[0068]
图2为本发明的总体技术路线图；
[0069]
图3为本发明的改进后的yolov5网络结构图；
[0070]
图4为本发明的diou示意图；
[0071]
图5为本发明的预测框与实际框中心点的距离相同情况示意图；
[0072]
图6为本发明的预测框筛选过程选示意图；
[0073]
图7为本发明的输电杆塔检测结果示意图；
[0074]
图8为本发明的输电杆塔检测结果示意图；
[0075]
图9为本发明的输电杆塔检测结果示意图。
具体实施方式
[0076]
本发明的目的在于提出一种基于改进yolov5的输电杆塔卫星遥感作业状态监测方法：针对遥感图像中体积小的输电杆塔难以检测的问题，增加微小型目标检测层，同时给不同层次的特征分配不同的权重，确保特征更好的融合，从而提高小目标检测精度；用ciou_loss作为预测目标的边界框损失函数，提高输电杆塔毗邻连接、被遮挡情况下的输电杆塔检测精度；使用soft-nms作为预测框筛选函数，提高密集分布输电杆塔如变电站/换流站附近大量输电杆塔的检测精度。与现有yolov5、yolov3、centernet模型相比，本发明效率提升了6.9％，输电杆塔检测精度提升了13.3％。为了更好地理解本发明，下面结合说明书附图和实施例对本发明的内容做进一步的说明。
[0077]
实施例1：
[0078]
一种基于改进yolov5的输电杆塔卫星遥感作业状态监测方法，具体过程如图1所示，包括：
[0079]
步骤1，获取各输电杆塔的高分辨率卫星遥感影像；
[0080]
步骤2，基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果；
[0081]
其中，所述改进的yolov5模型是基于yolov5模型增加微小型目标检测层，将soft-nms作为预测框筛选函数并将ciou_loss作为预测目标的边界框损失函数得到的。
[0082]
本实施例的技术方案如图2所示。
[0083]
改进的yolov5模型的训练过程如下：
[0084]
下面从网络结构的改进、损失函数的改进、预测边界框筛选的改进和模型训练进行说明。
[0085]
(一)网络结构的改进：
[0086]
yolov5原网络有大、中、小三个尺度检测层，这三个尺度检测层通过将输入图像进行下采样后输出。在研究中发现，遥感图像中部分输电杆塔目标体积非常小、排列密集，yolov5原网络的小尺度检测层对这部分输电杆塔难以正确检测识别。因此本实施例添加了一个微小型目标检测层，通过提取更低层次空间特征并将与深层次语义特征融合生成特征图。添加微小目标检测层的改进的yolov5模型，更适用于遥感图像中的输电杆塔目标检测。
[0087]
此外，yolov5原网络使用concat进行特征融合，concat融合原理是直接粗暴的将不同级别的特征连在一起，如输入两个维数分别为x和y的特征，经过concat融合后，输出特
征z的维数为x+y，没有区别考虑来自不同层次的特征。因此，本实施例在特征融合模块，给特征加权，赋予不同层次特征不同的权重，让网络学习自动调整权重，从而保证特征能够更有效的进行融合。在改进的yolov5模型网络中，使用weight-concat融合特征，计算公式如下所示：
[0088][0089]
式中，y
out
为融合后的输出，xi为来自不同层次输入的特征图，wi是学习权重系数，ε是维稳因子，值比较小，wj为网络可学习的权重，∑j为网络可学习的权重之和，∑i为特征融合后的输出，i为某层次输入的特征图，j为某层次输入的特征图。改进的yolov5模型网络架构如图3所示，新添加的微小目标检测层用虚线框表示。input为输出，focus为聚焦层，cbl为基本卷积块，bottleneckcsp为特征聚合卷积块，spp为空间金字塔池化，backbone为提取图像特征部分，weight concat为通道拼接块，upsample为上采样，neck为多尺度特征融合层，conv为卷积，output为输出，prediction为推理层，micro target detecyion layer为微小目标检测层。
[0090]
改进的yolov5模型网络总共经过六次weight-concat，设计有五个weight-concat融合了两个层次特征，一个weight-concat融合三个层次的特征，公式如下所示：
[0091][0092][0093]
式中，y
out1
为两个层次特征融合后的输出，y
out2
为三个层次特征融合后的输出，x0为第0层次的特征，x1为第1层次的特征，x2为第2层次的特征，w0为第0层次的权重，w1为第1层次的权重，w2为第2层次的权重，ε为维稳因子，conv为卷积。
[0094]
给特征加权，设计一个加权融合模块多融合一个层次特征，使网络从不同的输入特征中学习更重要的特征，从而提高输电杆塔目标的检测精度。
[0095]
(二)损失函数的改进：
[0096]
损失函数是用来评价预测目标框与目标实际框之间的误差程度，衡量着一个模型的好与坏，影响着一个模型的性能，因此损失函数的选择至关重要。原yolov5的边界框损失函数采用giou_loss，虽然缓解了iou_loss算法在真实框和预测框不相交情况下无法预测两者距离的尴尬，但giou_loss算法存在一些问题，如果目标的预测边界框在目标的真实框内，即m∩n＝n的情况下，如图4所示，三种情况下giou的值都相等，所以无法判别预测框的位置状态，导致重叠在一起的输电杆塔目标容易出现漏检误检等问题。
[0097]
为了解决上述问题，有学者考虑到两框的重叠面积以及两个框中心点之间的距离，提出了diou_loss。假设最小外接矩形c的对角线距离为r1，目标真实框和预测框中心点距离为r2，则diou_loss的计算式如下所示：
[0098][0099]
式中，diou_loss为损失函数diou_loss的值，diou为损失函数diou的值，iou为损
失函数iou的值，r1为最小外接矩形的对角线距离，r2为目标真实框和预测框中心点距离。
[0100]
但diou_loss忽略了两框之间的长宽比，如图5所示，在m∩n＝n三种状态giou值都相等且两框中心点距离也相同的情况下，使diou_loss不能解决这种问题。
[0101]
因此考虑到重叠面积、中心点距离以及长宽比，本实施例采用ciou_loss作为改进的yolov5模型网络预测目标的边界框损失函数，去预测输电杆塔目标。ciou_loss的计算式如下所示：
[0102][0103]
式中，ciou_loss为损失函数ciou_loss的值，ciou为损失函数ciou的值，iou为损失函数iou的值，θ为衡量目标预测框长宽比一致性的参数，r1为最小外接矩形的对角线距离，r2为目标真实框和预测框中心点距离。
[0104]
衡量目标预测框长宽比一致性的参数θ的计算式如下所示：
[0105][0106]
式中，θ为衡量目标预测框长宽比一致性的参数，w
gt
为预测目标的真实框的宽度，h
gt
为预测目标的真实框的长度，w
ρ
为预测目标框的宽度，h
ρ
为预测目标框的高度。
[0107]
(三)预测边界框筛选的改进：
[0108]
在目标检测的后处理过程中，针对多目标框的筛选，通常需要nms操作。yolov5中采用加权nms的方式。
[0109]
如图6所示，yolov5输电杆塔目标预测出的边界框列表为bounding box＝[bbox1，bbox2，bboxm，
……
]，边界框对应的置信度得分列表为confidence＝[score1，score2，max score，
……
]，选出置信度得分最高对应目标预测边界框bboxm，放到最终目标检测结果中；接着遍历bounding box列表，计算列表中每一个bbox与bboxm的iou值，若iou大于一定阈值，该bbox的置信度置零，如下式所示：
[0110][0111]
式中，confi为第i个目标边界框置信度的分值，bboxm为置信度得分最高对应的目标预测边界框，bboxi为第i个目标预测边界框，threshold为设定的阈值，i为目标边界框的序号，iou为损失函数。
[0112]
因此，输电杆塔目标密集排列情况下，若有一个输电杆塔目标被检测出，经过非极大值抑制后，此输电杆塔目标相邻目标的预测边界框极大可能被抑制，导致输电杆塔目标无法成功被检测，从而出现漏检现象。
[0113]
基于上述问题，本实施例使用soft-nms进行输电杆塔目标边界框的筛选。与nms不同的是，soft-nms遍历预测边界框列表中每一个bbox与bboxm的iou值，若iou大于一定阈值，对该bbox的置信度得分降低而不是直接清零，就能保留该预测目标框，如下式所示：
[0114]
[0115]
式中，confi为第i个目标边界框置信度的分值，bboxm为置信度得分最高对应的目标预测边界框，bboxi为第i个目标预测边界框，threshold为设定的阈值，i为目标边界框的序号，iou为损失函数。
[0116]
使用soft-nms可以保留目标的邻近预测边界框，能对一些密集排列、遮挡重叠的输电杆塔目标检测效果有所提升。
[0117]
(四)模型训练：
[0118]
数据收集和标注：
[0119]
收集包含不同作业状态的输电杆塔图片，对这些图片进行标注，标注出不同杆塔和杆塔上的作业状态。
[0120]
数据预处理：
[0121]
对标注好的数据进行预处理，使用了旋转、平移、镜像方法，增加图片表达能力，并对图片进行缩放和归一化，标签转换为coco格式，即每个标签包括类别、中心点坐标和边界框的宽度和高度等信息。将数据集划分为训练集、验证集和测试集。
[0122]
模型训练：
[0123]
使用改进的yolov5模型进行训练。训练过程中，采用交叉验证方法来评估模型的性能和准确度，持续对模型进行调整和优化。
[0124]
步骤1，获取各输电杆塔的高分辨率卫星遥感影像，包括：
[0125]
利用卫星遥感技术获取各输电杆塔的卫星遥感图像。
[0126]
步骤2，基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果，包括：
[0127]
将所述高分辨率卫星遥感影像输入改进的yolov5模型进行计算，得到大尺度、中尺度、小尺度和微小型尺度下的各输电杆塔的作业状态。
[0128]
实施例2：
[0129]
一种基于改进yolo v5的输电杆塔卫星遥感作业状态监测系统，包括：
[0130]
影像获取模块，用于获取各输电杆塔的高分辨率卫星遥感影像；
[0131]
模型求解模块，用于基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果；
[0132]
其中，所述改进的yolov5模型是基于yolov5模型增加微小型目标检测层，将soft-nms作为预测框筛选函数并将ciou_loss作为预测目标的边界框损失函数得到的。
[0133]
还包括模型训练模块，所述模型训练模块，包括：
[0134]
改进网络结构子模块，用于基于yolov5模型的网络结构进行改进，得到改进的yolov5模型网络结构；
[0135]
训练集构建子模块，用于基于获取的输电杆塔图片进行预处理后构建训练集、验证集和测试集；
[0136]
网络结构训练子模块，用于基于所述训练集、验证集和测试集对改进的yolov5模型网络结构进行训练、验证和测试，得到训练好的改进的yolov5模型。
[0137]
改进网络结构子模块，具体用于：
[0138]
基于所述yolov5模型中的大尺度检测层、中尺度检测层和小尺度检测层增加微小型目标检测层；
[0139]
基于所述yolov5模型中通过concat进行特征融合改进为通过weight-concat进行特征融合；
[0140]
基于所述yolov5模型中通过nms进行输电杆塔目标边界框的筛选改进为通过soft-nms进行输电杆塔目标边界框的筛选；
[0141]
基于所述yolov5模型中的通过giou_loss预测目标的边界框损失函数改进为通过ciou_loss预测目标的边界框损失函数。
[0142]
改进网络结构子模块中weight-concat的计算式如下所示：
[0143][0144][0145]
式中，y
out1
为两个层次特征融合后的输出，y
out2
为三个层次特征融合后的输出，x0为第0层次的特征，x1为第1层次的特征，x2为第2层次的特征，w0为第0层次的权重，w1为第1层次的权重，w2为第2层次的权重，ε为维稳因子，conv为卷积。
[0146]
改进网络结构子模块中soft-nms的计算式如下所述：
[0147][0148]
式中，confi为第i个目标边界框置信度的分值，bboxm为置信度得分最高对应的目标预测边界框，bboxi为第i个目标预测边界框，threshold为设定的阈值，i为目标边界框的序号，iou为损失函数。
[0149]
改进网络结构子模块中ciou_loss的计算式如下所示：
[0150][0151]
式中，ciou_loss为损失函数ciou_loss的值，ciou为损失函数ciou的值，iou为损失函数iou的值，θ为衡量目标预测框长宽比一致性的参数，r1为最小外接矩形的对角线距离，r2为目标真实框和预测框中心点距离。
[0152]
训练集构建子模块，具体用于：
[0153]
基于获取的输电杆塔图片进行作业状态标注和输电杆塔标注，得到标注好的图片；
[0154]
基于所述标注好的图片进行旋转、平移、镜像、缩放和归一化，并将标签转换为coco格式，得到预处理后的图片；
[0155]
基于所述预处理后的图片构建训练集、验证集和测试集。
[0156]
模型求解模块，具体用于：
[0157]
将所述高分辨率卫星遥感影像输入改进的yolov5模型进行计算，得到大尺度、中尺度、小尺度和微小型尺度下的各输电杆塔的作业状态。本实施例输电杆塔监测结果如图7、图8和图9所示。
[0158]
网络结构改进的有效性：
[0159]
添加一个微小尺度输电杆塔目标检测层，同时考虑特征有不同级别的区分，设计
一个加权融合模块多融合一个层次特征，使网络从不同的输入特征中学习更重要的特征，从而更有效地进行输电杆塔目标特征融合。经过添加微小目标检测层、加权特征融合后，输电杆塔各类别检测精度如下表所示：
[0160][0161]
表1网络结构改进前后的检测结果对比
[0162]
通过加权融合不同级别的特征后，三类输电杆塔检测精度均有提升，猫头塔目标检测精度提升了1.53％，鼓型塔目标检测精度提升了2.94％。耐张塔目标检测精度提升了9.33％。输电杆塔的平均精度均值提升了4.58％；由于网络层次增加了，导致网络检测速度略有下降。
[0163]
损失函数改进的有效性：
[0164]
原始yolov5的损失函数无法处理预测目标框在目标真正框内的情况，导致出现漏检、误检问题，因此考虑到预测目标边界框与目标真正位置框之间的重叠面积、中心点距离以及长宽比，采用ciou_loss作为预测输电杆塔的边界框损失函数，改进后输电杆塔目标各类别检测精度如下表所示：
[0165][0166][0167]
表2损失函数改进前后的检测结果对比
[0168]
采用ciou_loss作为损失函数后，猫头塔目标检测精度微量提升了0.93％，鼓型塔目标检测精度提升了2.09％，耐张塔目标检测精提升了4.42％。改进损失函数后，舰船平均精度均值提升了2.51％，检测速率没有变化。
[0169]
目标边界框筛选改进的有效性：
[0170]
yolov5原网络预测目标框的筛选未考虑输电杆塔密集分布的情况，若某个目标被检测出来，其相邻目标的预测框极大可能被抑制，造成变电站/换流站附近密集排列分布的输电杆塔出现漏检现象，因此使用soft-nms筛选舰船预测边界框，缓解上述问题。改进后输电杆塔目标各类别检测精度如下表所示：
[0171][0172]
表3损失函数改进前后的检测结果对比
[0173]
设计soft-nms筛选舰船预测边界框后，猫头塔目标检测精度基本上无变化，鼓型塔目标检测精度提升了1.79％；耐张塔检测精度提升3.23％，平均精度均值提升1.82％，输电杆塔检测速度较原先无任何改变。
[0174]
最终改进的yolov5模型目标检测结果分析：
[0175]
同时使用上述三种方法，增加微小目标检测层后特征加权融合、改进损失函数、更换预测目标框筛选函数，在与前面相同的实验平台、相同的输电杆塔数据集上进行训练、验证与测试，改进前后的yolov5网络对输电杆塔各类型具体检测精度如下表所示：
[0176][0177]
表4本发明改进模型的输电杆塔各类型最终检测结果对比
[0178]
数据集中，猫头塔目标体积大、多为独立分布，外形具有独特的特点，改进后的目标平均精度提升了1.93％；鼓型塔目标部分样本存在密集排列、被遮挡的情况，改进后目标平均精度提升3.22％；耐张塔目标小、密集分布情况最多、三类样本数最大、改进后平均精度提升最明显，提升11.14％，总体改进后输电杆塔目标检测平均精度均值比改进前提升了5.47％。
[0179]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0180]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0181]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0182]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0183]
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在发明待批的本发明的权利要求范围之内。

技术特征：
1.一种基于改进yolov5的输电杆塔卫星遥感作业状态监测方法，其特征在于，包括：获取各输电杆塔的高分辨率卫星遥感影像；基于所述高分辨率卫星遥感影像结合改进的yolov5模型，得到各输电杆塔的作业状态监测结果；其中，所述改进的yolov5模型是基于yolov5模型增加微小型目标检测层，将soft-nms作为预测框筛选函数并将ciou_loss作为预测目标的边界框损失函数得到的。2.根据权利要求1所述方法，其特征在于，所述改进的yolov5模型的训练过程如下所示：基于yolo v5模型的网络结构进行改进，得到改进的yolov5模型网络结构；基于获取的输电杆塔图片进行预处理后构建训练集、验证集和测试集；基于所述训练集、验证集和测试集对改进的yolov5模型网络结构进行训练、验证和测试，得到训练好的改进的yolov5模型。3.根据权利要求1所述方法，其特征在于，所述基于yolov5模型进行改进，得到改进的yolov5模型结构，包括：基于所述yolov5模型中的大尺度检测层、中尺度检测层和小尺度检测层增加微小型目标检测层；基于所述yolov5模型中通过concat进行特征融合改进为通过weight-concat进行特征融合；基于所述yolov5模型中通过nms进行输电杆塔目标边界框的筛选改进为通过soft-nms进行输电杆塔目标边界框的筛选；基于所述yolov5模型中的通过giou_loss预测目标的边界框损失函数改进为通过ciou_loss预测目标的边界框损失函数。4.根据权利要求3所述方法，其特征在于，所述weight-concat的计算式如下所示：concat的计算式如下所示：式中，y
out1
为两个层次特征融合后的输出，y
out2
为三个层次特征融合后的输出，x0为第0层次的特征，x1为第1层次的特征，x2为第2层次的特征，w0为第0层次的权重，w1为第1层次的权重，w2为第2层次的权重，ε为维稳因子，conv为卷积。5.根据权利要求3所述方法，其特征在于，所述soft-nms的计算式如下所述：式中，conf
i
为第i个目标边界框置信度的分值，bboxm为置信度得分最高对应的目标预测边界框，bbox
i
为第i个目标预测边界框，threshold为设定的阈值，i为目标边界框的序号，iou为损失函数。6.根据权利要求3所述方法，其特征在于，所述ciou_loss的计算式如下所示：
concat的计算式如下所示：concat的计算式如下所示：式中，y
out1
为两个层次特征融合后的输出，y
out2
为三个层次特征融合后的输出，x0为第0层次的特征，x1为第1层次的特征，x2为第2层次的特征，w0为第0层次的权重，w1为第1层次的权重，w2为第2层次的权重，ε为维稳因子，conv为卷积。13.根据权利要求11所述系统，其特征在于，所述改进网络结构子模块中soft-nms的计算式如下所述：式中，conf
i
为第i个目标边界框置信度的分值，bboxm为置信度得分最高对应的目标预测边界框，bbox
i
为第i个目标预测边界框，threshold为设定的阈值，i为目标边界框的序号，iou为损失函数。14.根据权利要求11所述系统，其特征在于，所述改进网络结构子模块中ciou_loss的计算式如下所示：式中，ciou_loss为损失函数ciou_loss的值，ciou为损失函数ciou的值，iou为损失函数iou的值，θ为衡量目标预测框长宽比一致性的参数，r1为最小外接矩形的对角线距离，r2为目标真实框和预测框中心点距离。15.根据权利权利要求10所述系统，其特征在于，所述训练集构建子模块，具体用于：基于获取的输电杆塔图片进行作业状态标注和输电杆塔标注，得到标注好的图片；基于所述标注好的图片进行旋转、平移、镜像、缩放和归一化，并将标签转换为coco格式，得到预处理后的图片；基于所述预处理后的图片构建训练集、验证集和测试集。16.根据权利要求9所述系统，其特征在于，所述模型求解模块，具体用于：将所述高分辨率卫星遥感影像输入改进的yolov5模型进行计算，得到大尺度、中尺度、小尺度和微小型尺度下的各输电杆塔的作业状态。

技术总结
一种基于改进Yolov5的输电杆塔卫星遥感作业状态监测方法，包括：获取各输电杆塔的高分辨率卫星遥感影像；基于高分辨率卫星遥感影像结合改进的Yolov5模型，得到各输电杆塔的作业状态监测结果；其中，改进的Yolov5模型是基于Yolov5模型增加微小型目标检测层，将Soft-NMS作为预测框筛选函数并将CIOU_LOSS作为预测目标的边界框损失函数得到的；通过增加微小型目标检测层，给不同层次的特征分配不同的权重使特征更好的融合，提高了小目标检测精度；将CIOU_LOSS作为预测目标的边界框损失函数，提高了输电杆塔检测精度；将Soft-NMS作为预测框筛选函数，提高了密集分布输电杆塔的检测精度。度。度。


技术研发人员：张强 袁和刚 杨知 张思航 牛育忠 李志军 陈华 殷占全 方永红 马伟 刘彬 李孟轩 赵彬 汉京善
受保护的技术使用者：国网宁夏电力有限公司固原供电公司 中国电力科学研究院有限公司
技术研发日：2023.05.31
技术公布日：2023/9/9