一种配网架空线路的鸟巢和悬浮物检测方法与流程

1.本发明涉及配网线路检测领域技术领域，尤其涉及一种配网架空线路的鸟巢和悬浮物检测方法。


背景技术：

2.配网架空线路的安全运营一致是线路运维人员的主要任务之一。鸟巢和悬浮物一直是影响线路正常运行的重大影响因素，而人工沿着线路进行检查往往耗时耗力，且部分复杂场景对人员的安全也有一定影响，鸟巢和悬浮物会对线路的正常稳定运行造成严重影响。
3.现有的悬浮物或者鸟巢检测主要是基于深度学习的方法，常见使用的是基于fasterrcnn、ssd、yolov3、yolov4、yolov5的检测方法。
4.基于改进fasterrcnn的配网架空线路异常状态检测的方法主要优点为检测准确性高，缺点为速度相比其他方法比较慢。yolov3是比较早期的方法，速度上相比fasterrcnn有一定改善，但准确性相对差一些。
5.基于改进yolov4的输电线路鸟巢轻量级检测算法中模型轻量化的方法是通过替换yolov5网络结构的backone网络为网上常见的轻量型网络，如resnet、mobilenet系列等。本发明不同的地方是通过直接对网络层数中用于检测大目标的模块直接去掉，该方法可以直接有效的取出无关之处以及后续的预处理模块，从而达到提高速度的目的。
6.基于纹理判断的方法在变电站等场景下是可以降低鸟巢的误识别情况，但配网输电线路下，树木或者环境更为复杂，准确性和误报的准确性上会有一定影响。挂空悬浮物会有树枝、塑料袋、衣服、绳子等各种各样的东西，直接使用yolov5或者其他深度学习模型进行检测的话，复杂场景下容易产生误报。尤其在变电站场景下，部分绳索之类的悬浮物很容易和实际的电线等发生误报或者漏报。
7.现有的鸟巢、悬浮物等算法基本都部署于云端，无人机设备本身不进行算法分析，基于此，现有的技术中存在的问题有：识别算法的准确率和速度较难达到一个较好的平衡。faster-rcnn,yolov5-l本身算法识别率较高、但同时推理速度较慢。yolov4-tiny、yolov5-tiny本身检测速度比较快，但同时想对损失了一定的精度、尤其对较小的目标漏报情况较高。部分鸟巢、悬浮物存在于较暗的场景或者傍晚场景下，鸟巢和悬浮物容易和背景融为一体而导致漏报的情况增加。配网相关线路下的相关公开数据集基本没有，基于深度学习的方法一般都需要大量的相关数据集进行训练提取特征，其识别效果与数据集的质量合数量有着很大的依赖。


技术实现要素：

8.本发明的目的在于提供一种配网架空线路的鸟巢和悬浮物检测方法。
9.本发明采用的技术方案是：
10.一种配网架空线路的鸟巢和悬浮物检测方法，其包括以下步骤：
11.步骤1，利用无人机收集鸟巢、悬浮物数据，并使用gamma矫正算法进行数据预处理，
12.步骤2，将预处理后的数据输入基于yolov5算法建立鸟巢和悬浮物检测模型进行检测处理，以确定目标图像；
13.步骤3，基于形状的悬浮物和鸟巢结果过滤剔除误报情况，过滤步骤具体为：
14.步骤3-1，获取检测出的结果output＝[x1,y1,x2,y2,cls,conf]，
[0015]
其中，x1为检测出目标框的左上角横坐标，y1为检测出目标框的左上角纵坐标，x2为检测出目标框的右下角横坐标，y2为检测出目标框的右下角横坐标，cls为模型检测出的目标框的所属类别，conf为该类别的置信度；
[0016]
步骤3-2，判断识别结果是否为鸟巢，即cls＝鸟巢；是则，执行步骤3-3；否则，执行步骤3-5；
[0017]
步骤3-3，判断置信度是否大于设定的鸟巢置信值；是则，执行步骤3-4；否则，剔除检测出的鸟巢并执行步骤3-8；
[0018]
步骤3-4，判断是否满足(y2-y1)/(x2-x1)《0.5；是则，判断当前检测出的鸟巢属于误报的情况并予以剔除并执行步骤3-8；否则，维持当前识别结果为鸟巢并执行步骤3-8；
[0019]
步骤3-5，判断识别结果是否为悬浮物，即当cls＝悬浮物；是则，执行步骤3-6；否则，执行步骤3-8；
[0020]
步骤3-6，判断置信度是否大于设定的悬浮物置信值；是则，执行步骤3-7；否则，执行步骤3-8；
[0021]
步骤3-7，判断是否满足(y2-y1)/(x2-x1)《0.6；是则，判断当前检测出的悬浮物属于误报的情况并予以剔除并执行步骤3-8；否则，维持当前识别结果为悬浮物并执行步骤3-8；
[0022]
步骤3-8，完成过滤输出最终结果。
[0023]
进一步地，步骤1的具体步骤如下：
[0024]
步骤1-1，利用gamma矫正公式对输入的待处理图像进行图像增强，并使用labelimg完成数据的初期标注，矫正公式如下：
[0025]vout
＝av
inγ
[0026]
其中，v
in
表示输入的待处理图像，γ为图像增强系数，a为常数。γ小于1可使得图像的整体亮度得到提升同时会对低对比度的地方进行改善。
[0027]
步骤1-2，单独使用高斯模糊、随机马赛克和随机对比度改变的方式进行数据扩增。
[0028]
步骤1-3，单独使用随机裁剪的方法进行数据扩增，裁剪方式为以标注的目标框中心为种子点，宽为大于等于目标宽且小于图像宽的随机数，高为大于等于目标高且小于图像高的随机数，
[0029]
进一步地，步骤1-1中本发明γ取值0.35，常数a取1。
[0030]
进一步地，步骤1-3中每个目标随机裁剪4张。
[0031]
进一步地，步骤2的具体步骤如下：
[0032]
步骤2-1，基于yolov5算法建立鸟巢和悬浮物检测模型，
[0033]
步骤2-2，获取预处理后的数据并处理得到目标数据集；
[0034]
步骤2-3，使用目标数据集对yolov5算法建立鸟巢和悬浮物检测模型进行训练，得到所述鸟巢区域检测模型。
[0035]
进一步地,本发明去除现有的yolov5的网络结构中conv2d_bn_silu及其下方的三处模块(即大目标检测的特征提取层)，提升模型的推理速度。
[0036]
进一步地，本发明中针对鸟巢和悬浮物使用不同了置信度。设定的鸟巢置信值0.8，设定的悬浮物置信值为0.5。
[0037]
本发明采用以上技术方案，利用无人拍摄的视觉图像，预处理完之后完成数据标注；在修改后的网络上用预处理标注后的数据进行训练；用利用yolov5深度学习方法训练好的模型检测出鸟巢和悬浮物的相关输出，然后用形状判断的方法完成输出过滤，可有效提升运维人员的工作效率。本发明具有以下技术优点：(1)利用形状过滤的方法有效降低了鸟巢和漂浮物误报率；(2)在标注阶段先行对数据进行自适应的gamma矫正，有效降低了光线较暗场景下的鸟巢的漏报，改善了训练效果；(3)本发明对yolov5m的基础结构进行了针对性修改，去除了检测大目标的模块，从而使得可达到预期准确率的基础上提升推理速度。
附图说明
[0038]
以下结合附图和具体实施方式对本发明做进一步详细说明；
[0039]
图1为现有的yolov5网络结构示意图；
[0040]
图2为本发明yolov5去除部分结构后的网络结构示意图；
[0041]
图3为本发明gamma矫正前后对比图之一；
[0042]
图4为本发明gamma矫正前后对比图之二；
[0043]
图5为悬浮物示意图。
具体实施方式
[0044]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图对本技术实施例中的技术方案进行清楚、完整地描述。
[0045]
如图1至5之一所示，本发明公开了一种配网架空线路的鸟巢和悬浮物检测方法，其包括以下步骤：
[0046]
步骤1，利用无人机收集鸟巢、悬浮物数据，并使用gamma矫正算法进行数据预处理，
[0047]
进一步地，步骤1的具体步骤如下：
[0048]
步骤1-1，利用gamma矫正公式对输入的待处理图像进行图像增强，并使用labelimg完成数据的初期标注，矫正公式如下：
[0049]vout
＝av
inγ
[0050]
其中，v
in
表示输入的待处理图像，γ为图像增强系数，a为常数。γ小于1可使得图像的整体亮度得到提升同时会对低对比度的地方进行改善。图3、图4为本发明gamma结果对比图。
[0051]
步骤1-2，单独使用高斯模糊、随机马赛克和随机对比度改变的方式进行数据扩增。
[0052]
步骤1-3，单独使用随机裁剪的方法进行数据扩增，裁剪方式为以标注的目标框中
心为种子点，宽为大于等于目标宽且小于图像宽的随机数，高为大于等于目标高且小于图像高的随机数，
[0053]
进一步地，步骤1-1中本发明γ取值0.35，常数a取1。
[0054]
进一步地，步骤1-3中每个目标随机裁剪4张。
[0055]
步骤2，将预处理后的数据输入基于yolov5算法建立鸟巢和悬浮物检测模型进行检测处理，以确定目标图像；
[0056]
步骤3，基于形状的悬浮物和鸟巢结果过滤剔除误报情况，过滤步骤具体为：
[0057]
步骤3-1，获取检测出的结果output＝[x1,y1,x2,y2,cls,conf]，
[0058]
其中，x1为检测出目标框的左上角横坐标，y1为检测出目标框的左上角纵坐标，x2为检测出目标框的右下角横坐标，y2为检测出目标框的右下角横坐标，cls为模型检测出的目标框的所属类别，conf为该类别的置信度；
[0059]
步骤3-2，判断识别结果是否为鸟巢，即cls＝鸟巢；是则，执行步骤3-3；否则，执行步骤3-5；
[0060]
步骤3-3，判断置信度是否大于设定的鸟巢置信值；是则，执行步骤3-4；否则，剔除检测出的鸟巢并执行步骤3-8；
[0061]
步骤3-4，判断是否满足(y2-y1)/(x2-x1)《0.5；是则，判断当前检测出的鸟巢属于误报的情况并予以剔除并执行步骤3-8；否则，维持当前识别结果为鸟巢并执行步骤3-8；
[0062]
步骤3-5，判断识别结果是否为悬浮物，即当cls＝悬浮物；是则，执行步骤3-6；否则，执行步骤3-8；
[0063]
步骤3-6，判断置信度是否大于设定的悬浮物置信值；是则，执行步骤3-7；否则，执行步骤3-8；
[0064]
步骤3-7，判断是否满足(y2-y1)/(x2-x1)《0.6；是则，判断当前检测出的悬浮物属于误报的情况并予以剔除并执行步骤3-8；否则，维持当前识别结果为悬浮物并执行步骤3-8；
[0065]
步骤3-8，完成过滤输出最终结果。
[0066]
进一步地，步骤2的具体步骤如下：
[0067]
步骤2-1，基于yolov5算法建立鸟巢和悬浮物检测模型，
[0068]
步骤2-2，获取预处理后的数据并处理得到目标数据集；
[0069]
步骤2-3，使用目标数据集对yolov5算法建立鸟巢和悬浮物检测模型进行训练，得到所述鸟巢区域检测模型。
[0070]
进一步地，针对如图1所示为现有的yolov5的网络结构示意图，图1中conv2d_bn_silu及其下方的三处模块为用于大目标检测的特征提取层，本发明去除此块可提升模型的推理速度。粗点划线框所示的yolohead3为检测大目标的输出，本发明去掉可以改善后期预处理返回结果阶段的时间。如图2所示为本发明修改后的网络结构。
[0071]
进一步地，本发明中针对鸟巢和悬浮物使用不同了置信度。设定的鸟巢置信值0.8，设定的悬浮物置信值为0.5。
[0072]
本发明收集到数据集之后，本发明首先使用自适应伽马校正算法对所有数据进行预处理。目的是对于较暗的图像进行自动增强、以减少较暗光线对鸟巢识别的影响。同样，训练完进行推理时候也应该进行同样的增强之后在进行推理预测。接着对原始收集的鸟
巢、悬浮物数据进行随机裁剪、以增加原始数据的数据量，同时对数据加入高斯噪声、随机对比度、随机马赛克噪声等操作。
[0073]
本发明为了兼顾准确率和速度，此处使用yolov5-m模型作为基础模型框架，由于无人机所拍摄的鸟巢和悬浮物目标整体不会超过整幅图面积的50％，基于此，本发明去掉了yolov5输出中用于检测大目标的yolohead模块。但是，实际的鸟巢多接近方形，本发明在此基础上增加了基于形状的长宽比判断方法，以减少相关误报的增加。实际场景中的漂浮物多为塑料袋、衣服、树枝等，如图5所示，其由于重力因素，一般纵向长度会大于横向，本发明在此基础上增加了基于形状的长宽比判断方法，以减少相关误报的增加。
[0074]
本发明采用以上技术方案，利用无人拍摄的视觉图像，再利用yolov5深度学习方法完成对鸟巢和悬浮物的检测，可有效提升运维人员的工作效率。(1)不同于现有已存在的yolov5模型的使用，本发明对yolov5-m基础模型的结构进行了修改，增加了推理速度。(2)不同于现有的在模型推理完成之后再结合传统方法处理部分光线较暗场景下鸟巢识别的情况，本发明，在数据预处理和训练前进行了预处理，直接避免了对光线较差环境下的检测，增加了识别准确性的同时减少了误报的增加。(3)本发明增加了利用鸟巢长宽比的方法减少误报的增加；(4)本发明增加了利用漂浮物长宽比的方法减少误报的增加。
[0075]
显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。

技术特征：
1.一种配网架空线路的鸟巢和悬浮物检测方法，其特征在于：其包括以下步骤：步骤1，利用无人机收集鸟巢、悬浮物数据，并使用gamma矫正算法进行数据预处理，步骤2，将预处理后的数据输入基于yolov5算法建立鸟巢和悬浮物检测模型进行检测处理，以确定目标图像；步骤3，对基于形状的确定目标图像中悬浮物和鸟巢结果过滤剔除误报情况，过滤步骤具体为：步骤3-1，获取检测出的结果output＝[x1,y1,x2,y2,cls,conf]，其中，x1为检测出目标框的左上角横坐标，y1为检测出目标框的左上角纵坐标，x2为检测出目标框的右下角横坐标，y2为检测出目标框的右下角横坐标，cls为模型检测出的目标框的所属类别，conf为该类别的置信度；步骤3-2，判断识别结果是否为鸟巢，即cls＝鸟巢；是则，执行步骤3-3；否则，执行步骤3-5；步骤3-3，判断置信度是否大于设定的鸟巢置信值；是则，执行步骤3-4；否则，剔除检测出的鸟巢并执行步骤3-8；步骤3-4，判断是否满足(y2-y1)/(x2-x1)<0.5；是则，判断当前检测出的鸟巢属于误报的情况并予以剔除并执行步骤3-8；否则，维持当前识别结果为鸟巢并执行步骤3-8；步骤3-5，判断识别结果是否为悬浮物，即当cls＝悬浮物；是则，执行步骤3-6；否则，执行步骤3-8；步骤3-6，判断置信度是否大于设定的悬浮物置信值；是则，执行步骤3-7；否则，执行步骤3-8；步骤3-7，判断是否满足(y2-y1)/(x2-x1)<0.6；是则，判断当前检测出的悬浮物属于误报的情况并予以剔除并执行步骤3-8；否则，维持当前识别结果为悬浮物并执行步骤3-8；步骤3-8，完成过滤输出最终结果。2.根据权利要求1所述的一种配网架空线路的鸟巢和悬浮物检测方法，其特征在于：步骤1的具体步骤如下：步骤1-1，利用gamma矫正公式对输入的待处理图像进行图像增强，并使用labelimg完成数据的初期标注，矫正公式如下：v
out
＝av
inγ
其中，v
in
表示输入的待处理图像，γ为图像增强系数，a为常数。γ小于1可使得图像的整体亮度得到提升同时会对低对比度的地方进行改善。图3、图4为本发明gamma结果对比图。步骤1-2，单独使用高斯模糊、随机马赛克和随机对比度改变的方式进行数据扩增。步骤1-3，单独使用随机裁剪的方法进行数据扩增，裁剪方式为以标注的目标框中心为种子点，宽为大于等于目标宽且小于图像宽的随机数，高为大于等于目标高且小于图像高的随机数。3.根据权利要求2所述的一种配网架空线路的鸟巢和悬浮物检测方法，其特征在于：步骤1-1中本发明γ取值0.35，常数a取1。4.根据权利要求2所述的一种配网架空线路的鸟巢和悬浮物检测方法，其特征在于：步骤1-3中每个目标随机裁剪4张。5.根据权利要求1所述的一种配网架空线路的鸟巢和悬浮物检测方法，其特征在于：步
骤2的具体步骤如下：步骤2-1，基于yolov5算法建立鸟巢和悬浮物检测模型，步骤2-2，获取预处理后的数据并处理得到目标数据集；步骤2-3，使用目标数据集对yolov5算法建立鸟巢和悬浮物检测模型进行训练，得到所述鸟巢区域检测模型。6.根据权利要求1所述的一种配网架空线路的鸟巢和悬浮物检测方法，其特征在于：鸟巢和悬浮物检测模型以现有的yolov5的网络结构为基础架构，去除yolov5输出中用于检测大目标的yolohead模块。7.根据权利要求1所述的一种配网架空线路的鸟巢和悬浮物检测方法，其特征在于：设定的鸟巢置信值0.8，设定的悬浮物置信值为0.5。

技术总结
本发明公开一种配网架空线路的鸟巢和悬浮物检测方法，利用无人拍摄的视觉图像，预处理完之后完成数据标注；在修改后的网络上用预处理标注后的数据进行训练；用利用yolov5深度学习方法训练好的模型检测出鸟巢和悬浮物的相关输出，然后用形状判断的方法完成输出过滤，可有效提升运维人员的工作效率。本发明利用形状过滤的方法有效降低了鸟巢和漂浮物误报率。报率。报率。


技术研发人员：杨乐超 李伟锋
受保护的技术使用者：福建和盛高科技产业有限公司
技术研发日：2023.02.17
技术公布日：2023/7/11