基于改进YOLOv7算法的雾天场景下绝缘子缺陷检测方法与流程

基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法
技术领域
1.本发明涉及绝缘子缺陷检测技术领域，具体涉及一种基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法。


背景技术：

2.近年来，随着我国输电线路规模不断扩大，建设在复杂环境下的电网设备数量也与日俱增，电网的安全、稳定、可靠运行至关重要。据统计，由绝缘子缺陷引起的事故在电力系统故障中占最大比例。这是因为绝缘子在电力传输过程中起到支撑导体和防止电流返回地面的作用，而通常情况下，绝缘子暴露在强电场环境中以及各种不利天气条件下，如烈日、台风、雷暴、冻雨、暴风雪等。这些恶劣条件会使绝缘子容易损坏，从而威胁电网系统的安全和电力的使用。传统的绝缘子缺陷检测主要依赖于人工巡检，存在检测效率低下、检测效果参差不齐等问题，并且存在一定的安全隐患，特别是在复杂环境，如光照不均、建筑物等背景干扰、其他电力设备遮挡、天气恶劣等下进行检测，人工巡检的缺点更加凸显。因此，对绝缘子位置精准定位，对缺陷进行及时检测对于电气设备巡检有着重要的意义。
3.基于深度学习的检测方法随着计算机性能的不断提高在电气设备检测领域得到了广泛的应用。在深度学习中，卷积神经网络具有优秀的隐形特征自主提取能力，可以学习图像更深层次特征，并通过大量训练更新优化网络参数，提高网络检测精度，目前已经提出了许多有效的目标检测算法。当前，基于卷积神经网络的目标检测算法大致可以分为两类，第一类是以r-cnn、faster r-cnn为代表的两阶段检测算法。第二类是以ssd和yolo系列为代表的单阶段目标检测算法，该方法将目标检测任务视为回归问题，在检测精度方面略低于两阶段检测算法，但检测实时性大幅度提升。
4.考虑到当前针对输电线路巡检研究更多是集中在正常光照环境条件下，对雾天雨天等此类能见度较差的拍摄场所探索度不高。但我国输电线路分布广泛，在一些雾天较多的山区也有布置。因此，一种足以在雾天环境下准确巡检的算法是必不可少的。在雾、雨、昏暗环境下无人机捕获的图像细节丢失严重，现有的目标检测算法无法提取足够的特征，易造成目标丢失及错误的识别。
5.目前，针对雾天下的目标检测任务，研究者大多采用“先去雾后检测的方法”，此类方法在视觉上显著提升了能见度，但去雾过程中引入噪声也对识别精度产生影响，因此效果提升不明显。


技术实现要素：

6.为解决上述技术问题，本发明提供一种基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，能够有效实现雾天环境下绝缘子目标及缺陷检测。
7.本发明采取的技术方案为：
8.基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，包括以下步骤：
9.步骤1：以绝缘子数据集为基础，通过大气散射模型生成轻雾数据集、浓雾数据集
和混合浓度数据集；
10.步骤2：将生成的不同雾气绝缘子缺陷图像数据集进行绝缘子及缺陷标注，获得yolov7算法模型所需数据集，再将数据集划分为训练集、验证集和测试集；
11.步骤3：基于改进yolov7算法，构建雾天场景下的绝缘子缺陷检测模型；
12.步骤4：使用训练集对步骤3的绝缘子缺陷检测模型进行训练，训练完成后使用划分好的测试集对绝缘子缺陷检测模型的性能进行评估。
13.所述步骤1中，以实验绝缘子数据集为基础，通过大气散射模型，采用中心点合成雾的方法，生成不同雾气浓度的绝缘子数据集；
14.实验绝缘子数据集包含600张绝缘子自爆图像，由三部分构成：
15.第一部份来自中国电力线绝缘子数据集(chinese power line insulator dataset，cplid)，共有600张正常绝缘子串图像和248张绝缘子自爆图像；
16.第二部分为百度飞桨公开的绝缘子自爆图像；
17.第三部分为真实拍摄所收集到绝缘子图像，其中：绝缘子自爆图像21张。
18.所述步骤1中，大气散射模型的数学表达式为：
19.i(x)＝j(x)t(x)+a(1-t(x))；
20.其中：i(x)为有雾图像；j(x)为无雾图像；t(x)为透射率；a为全局大气光值；a(1-t(x))为大气光强值；
21.中心点合成雾是指通过设定图片的一个点为雾化中心点进行雾合成扩散，距离雾化中心点的距离越远，雾合成的效果越弱；
22.大气透射率t(x)计算式为：
23.t(x)＝e-βd(x)
；
24.其中：
[0025][0026][0027][0028]
式中：β为散射系数；d(x)为图像各点到雾化中心的距离；a为比例系数；(i
ce
,j
ce
)为图像雾化中心；i
ce
,j
ce
分别表示雾化中心的横、纵坐标。
[0029]
h,w分别表示图像的高、宽；c为雾化尺寸；b能够控制雾气的浓度，b值越大表示雾气浓度越大；雾化尺寸c决定生成雾的大小，c值越大表示雾气范围越大。
[0030]
所述步骤2中，采用labelimg软件进行绝缘子与缺陷位置及缺陷类型的标注，所述训练集、验证集和测试集，按照8：1：1的比例进行划分。
[0031]
所述步骤3中，yolov7模型包括：主干backbone的特征提取网络、颈部neck的特征融合网络、预测端head；
[0032]
主干backbone的特征提取网络包括：cbs模块、e-elan模块、mpconv模块、sppcspc模块；
[0033]
绝缘子缺陷检测模型的构件包括以下步骤：
[0034]
s3.1：在主干backbone的特征提取网络中sppcspc模块之前和预测端head前，引入
ca注意力机制，将位置信息与通道信息相结合，来提高网络的特征提取能力；
[0035]
ca注意力机制考虑了对空间信息的编码，最终输出包含了来自于水平方向的注意力特征图和来自垂直方向的注意力特征图。两张注意力特征图中的每个元素都反应了感兴趣的对象是否存在于相应的行和列中。
[0036]
s3.2：在颈部neck的特征融合网络中，在路径聚合网络panet基础上进行bifpn_add进行特征叠加与深浅层特征的融合；使输出特征同时含有位置及语义信息，增强复杂背景中较小目标的检出能力。
[0037]
在颈部neck的特征融合网络中将8倍下采样后形成的80
×
80特征图和16倍下采样后形成的40
×
40特征图与后面的特征图通过bifpn_add进行特征叠加与深浅层特征的融合，使得位置信息提取的更加充分，减少了特征信息丢失。
[0038]
s3..3：ciou未考虑到真实框与预测框之间的方向是否匹配，导致收敛慢，将ciou损失函数改为siou损失函数；来解决了预测框与真实框之间的方向匹配问题，提升网络收敛速度。
[0039]
siou损失函数除了考虑到预测框之间的距离、重叠面积和宽高比之外，还考虑了预测框与真实框之间的方向匹配问题，重新定义了相关损失函数。检测模型采用性能更加高效的siou损失函数替代原始模型中的ciou损失函数。
[0040]
所述s3.1包括以下步骤：
[0041]
s3.1.1：坐标注意力生成将坐标信息嵌入在两个方向上生成的特征图进行拼接，使用1
×
1卷积变换函数f1对其进行变换：
[0042]
f＝δ(f1([zh,zw]))
[0043]
式中：[,]为python中numpy的concatenate函数变换；δ为非线性激活函数；zw、zh分别为沿水平方向编码生成的特征图，沿垂直方向编码生成的特征图；f1([zh,zw])表示拼接后的特征图采用1
×
1卷积变换函数f1进行变换。
[0044]
为输入特征在水平和垂直方向进行编码所得到的中间特征映射；其中：r为缩减比，用来减少f的通道数，降低模型的复杂度；r表示特征图的一个矩形框；c代表通道数。
[0045]
s3.1.2：接着对进行归一化和非线性处理，并沿空间维度将其分割为：与
[0046]fh
为进行归一化和非线性处理后沿空间维度分割出的大小为的特征图；
[0047]fw
为进行归一化和非线性处理后沿空间维度分割出的大小为的特征图；
[0048]
为表示大小为特征图的矩形框；
[0049]
为表示大小为特征图的矩形框。
[0050]fh
和fw通过两个1
×
1卷积变换fh、fw，变换成与输入x具有相同通道数量的特征图。
[0051]
s3.1.3：最后使用sigmoid激活函数进行处理，生成注意力权重gh和gw：
[0052]gh
＝σ(fh(fh),
[0053]gw
＝σ(fw(fw)；
[0054]
ca机制的最终输出为：
[0055][0056]
yc(i,j)为最终输出；xc(i,j)为输入特征；为垂直方向的注意力权重；为水平方向的注意力权重；
[0057]
ca机制考虑了对空间信息的编码，最终输出包含了来自于水平方向的注意力特征图和来自垂直方向的注意力特征图。具体如下：
[0058]
如图4所示，ca机制考虑了对空间信息的编码。首先，为了更好的保留目标位置信息，在图像输入ca结构后使用一对一维特征编码沿着水平方向和垂直方向对每个通道进行编码；然后，将两个方向的特征图进行拼接，并提取中间特征；最后，将特征图沿着水平和垂直方向分为两个张量，经过卷积及激活函数处理后生成注意力权重，再融合输入特征融合。
[0059]
所述s3.2中，bifpn将权重信息考虑在内，通过权值与权值和的比值，来进行快速归一化融合式，最终将权值归一化到[0,1]之间，提高对不同情况下目标的感知能力。
[0060]
快速归一化融合式如下所示
[0061][0062]
式中，ωi为可以学习的权重大小；ii表示输入特征；ε为0.0001，防止为0，导致分母出现0的情况，避免数值不稳定；i表示输入特征的个数；j表示的权重的个数。
[0063]
使用8倍下采样后形成的80
×
80特征图和16倍下采样后形成的40
×
40特征图与后面的特征图进行bifpn_add连接。
[0064]
如图3所示，本发明在8倍下采样后形成的80
×
80特征图和16倍下采样后形成的40
×
40特征图与后面的特征图进行bifpn_add连接。图3中bifpn_add连接为蓝色箭头。
[0065]
所述s3.3中，siou损失函数如下式所示：
[0066][0067]
交并比iou代表预测框b与真实框b
gt
的重叠率，即两框之间交集与并集的比值；
△
代表距离成本；ω为形状成本。
[0068]
所述步骤4中，对绝缘子缺陷检测模型的性能进行评估，包括计算平均精度ap、查准率p、召回率r、所有类别ap平均值map指标。
[0069]
本发明一种基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，技术效果如下：1)在数据增强方面，由于雾天场景下绝缘子故障航拍图像样本少。本发明则以实验绝缘子数据集为基础，通过大气散射模型采用中心点合成雾的方法生成轻雾数据集、浓雾数据
集和混合浓度数据集；在模型训练阶段，对雾气图像数据集采用mosaic数据增强方法，对训练数据使用随机的缩放、随机的剪裁、随机的排布的方式进行拼接，防止过拟合，同时提高了模型泛化能力。
[0070]
2)在模型改进方面，为增强模型对重点特征的注意力，本发明在主干backbone的特征提取网络中sppcspc之前和预测端head融入ca注意力机制，将位置信息与通道信息相结合，来提高网络的特征提取能力。
[0071]
3)为了更好的融合并利用网络浅层和深层信息，在neck中，本发明在panet基础上进行bifpn_add进行特征叠加与深浅层特征的融合，使输出特征同时含有位置及语义信息，增强复杂背景中较小目标的检出能力。
[0072]
4)ciou未考虑到真实框与预测框之间的方向是否匹配，导致收敛慢。本发明用siou替代ciou来解决了预测框与真实框之间的方向匹配问题，提升网络收敛速度。
附图说明
[0073]
图1(a)是初始绝缘子图像；
[0074]
图1(b)是薄雾绝缘子图像；
[0075]
图1(c)是浓雾绝缘子图像。
[0076]
图2是yolov7网络结构图；
[0077]
图2中所标注维度为模块输出维度。
[0078]
图3是本发明的改进后yolov7网络结构图。
[0079]
图4是本发明的ca注意力机制原理图。
[0080]
图5(a)不同特征金字塔结构(panet)；
[0081]
图5(b)不同特征金字塔结构(bifpn)；
[0082]
图6是本发明的siou计算示意图。
[0083]
图7为采用ciou、siou的损失对比曲线。
[0084]
图8(a)为case 1薄雾杆塔遮挡下的图片识别对比的示意图；
[0085]
图8(b)为case 2薄雾多个小目标下的图片识别对比的示意图一；
[0086]
图8(c)为case 2薄雾多个小目标下的图片识别对比的示意图二；
[0087]
图8(d)为case 3浓雾杆塔遮挡下的图片识别对比的示意图；
[0088]
图8(e)为case 4浓雾雾气遮挡下的图片识别对比的示意图；
[0089]
图8(f)为case 5真实薄雾雾气遮挡下的图片识别对比的示意图；
[0090]
图8(g)为case 6真实浓雾雾气遮挡下的图片识别对比的示意图。
具体实施方式
[0091]
本发明主要是针对现有雾天场景下绝缘子及缺陷检测模型检测精确度不高的问题，提出一种改进的yolov7算法。本发明首先在实验绝缘子数据集上使用大气散射模型生成三种不同浓度雾气模拟数据集以扩充训练样本数量；其次，为增强模型对重点特征的注意力，在主干的特征提取网络和预测端前融入ca注意力机制，将位置信息与通道信息相结合，来提高网络的特征提取能力；然后，为了更好的融合并利用网络浅层和深层信息，发明中借鉴bifpn结构在panet基础上添加bifpn_add连接，可以将提取到的特征进行快速高效
的融合，使输出特征同时含有位置及语义信息；最后，ciou未考虑到真实框与预测框之间的方向是否匹配，导致收敛慢，用siou替代ciou来解决了预测框与真实框之间的方向匹配问题，提升网络收敛速度。
[0092]
研究结果表明：改进后的yolov7在轻雾、浓雾和混合雾气状态下的平均精确率分别达到96.95％、95.58％和96.65％，与原始yolov7相比分别提升了6.65％、5.55％和6.54％，证明了改进后的yolov7在雾天环境下绝缘子目标及缺陷检测有较好的的检测性能。
[0093]
大气散射模型的数学表达式为：
[0094]
i(x)＝j(x)t(x)+a(1-t(x))
[0095]
式中：i(x)为有雾图像；j(x)为无雾图像；t(x)为透射率；a为全局大气光值。
[0096]
中心点合成雾是指通过设定图片的一个点为雾化中心点进行雾合成扩散，距离雾化中心点的距离越远，雾合成的效果越弱。
[0097]
大气透射率t(x)计算式为：
[0098]
t(x)＝e-βd(x)
[0099]
其中
[0100][0101][0102][0103]
式中：b为散射系数；d(x)为图像各点到雾化中心的距离；a为比例系数；(i
ce
,j
ce
)为图像雾化中心；(h,w)为图像的高和宽；c为雾化尺寸。b可以控制雾气的浓度，b值越大表示雾气浓度越大；雾化尺寸c决定生成雾的大小，c值越大表示雾气范围越大。通过和真实雾天场景样本对比,本发明将比例系数a设置为-0.04，为增加雾天场景多样性，本发明轻雾图像的值b在0.6-0.8的范围中随机选取，浓雾图像的b值在0.13-0.16的范围中随机选取,然后调整全局大气光值。生成的轻雾图像和浓雾图像如图1(b)、图1(c)所示。
[0104]
yolov7模型由主干backbone的特征提取网络、颈部neck的特征融合网络和预测端head三部分组成。首先，经过一系列操作，如数据增强等，将图片进行预处理，并将处理后的图片送入特征提取网络，由特征提取网络对其进行特征提取；随后，通过特征融合网络，对提取到的特征进行融合处理，生成大、中、小三种尺寸的特征；最终，将大、中、小三种尺寸的特征送入预测端，经过检测头的检测之后输出得到结果。
[0105]
yolov7网络的主干backbone的特征提取网络主要由cbs模块、e-elan模块、mpconv模块以及sppcspc模块构建而成，其中：
[0106]
e-elan模块在原有elan的基础上,采用expand、shuffle、merge cardinality的思想，在不破坏原有梯度路径的情况下，增强网络学习能力。
[0107]
sppcspc模块延用了空间金字塔池化spp的思想，在对特征图进行3次卷积后分别经过55,99,1313的最大池化后获得不同感受野下的图像特征，解决了卷积神经网络提取到图片重复特征的问题，再对不同感受野的特征融合，然后经过2次卷积，最后与经过一次卷积的特征图进行拼接，避免了由于图像处理操作所造成的图像失真等问题。
[0108]
mpconv模块中，当前特征层的感受野通过2
×
2最大池化操作进行扩张，再与正常
卷积处理后的特征信息进行融合，提高了网络的泛化性。
[0109]
yolov7的颈部neck的特征融合网络采用了路径聚合网络panet的结构，融合图像的浅层位置特征与深层语义特征，增强网络的特征融合能力，并生成不同尺寸特征图。在预测端，repconv结构对不同尺度的特征进行通道数调整，最后预测头经过1
×
1卷积输出最终结果，包括检测对象的目标分数和边界框位置信息。整个yolov7模型结构如图2所示。
[0110]
yolov7网络的损失函数，如式所示：
[0111]
loss
object
＝loss
loc
+loss
conf
+loss
class
[0112]
置信度损失loss
conf
和分类损失loss
class
均采用bcewithlogitsloss函数进行计算，而坐标损失loss
loc
采用的是ciou loss来进行计算。
[0113]
改进yolov7结构如图3所示。
[0114]
(1)、ca注意力机制：
[0115]
ca机制采用坐标信息嵌入和坐标注意力生成捕获特征的通道和位置之间的关系。
[0116]
坐标信息嵌入是将全局池化分解为两个一维特征的编码过程。输入特征x在水平坐标方向和垂直坐标方向分别用两个尺寸大小为(h，1)和(1，w)的池化核对每个通道进行编码。
[0117]
高度为h的第c个通道输出可以表示为：
[0118][0119]
xc(h,i)表示每个通道沿水平方向每列编码输出的特征；h表示的高度为h；i表示每个通道特征图的列数。
[0120]
宽度为w的第c个通道输出可以表示为：
[0121][0122]
xc(j,ω)表示每个通道沿垂直方向每行编码输出的特征；j为每个通道特征图的行数。
[0123]
这种编码方式沿着水平和垂直两个方向对特征进行聚合，形成了一对方向敏感的注意力特征图，每张特征图都包含着输入特征在一个空间方向的远程特征依赖关系以及在另外一个空间方向精确的位置信息。坐标信息的嵌入有助于网络更准确地定位感兴趣的目标。
[0124]
坐标注意力生成将坐标信息嵌入在两个方向上生成的特征图进行拼接，使用1
×
1卷积变换函数f1对其进行变换：
[0125]
f＝δ(f1([zh,zw]))
[0126]
式中：[,]为两幅分别沿水平和垂直方向编码生成的特征图的通道拼接；δ为非线性激活函数；zw、zh分别为沿水平方向编码生成的特征图，沿垂直方向编码生成的特征图；f1([zh,zw])表示拼接后的特征图采用1
×
1卷积变换函数f1进行变换。
[0127]
为输入特征在水平和垂直方向进行编码所得到的中间特征映射；其中：r为缩减比，用来减少f的通道数，降低模型的复杂度；r表示特征图的一个矩形框；c为通道数。
[0128]
接着，对进行归一化和非线性处理，并沿空间维度将其分割为与
[0129]fh
和fw通过两个1
×
1卷积变换fh、fw，变换成与输入x具有相同通道数量的特征图，
[0130]
最后，使用sigmoid激活函数进行处理，生成注意力权重gh和gw。
[0131]gh
＝σ(fh(fh),
[0132]gw
＝σ(fw(fw).
[0133]
经过如上两个步骤，ca机制的最终输出为：
[0134][0135]
yc(i,j)为最终输出；xc(i,j)为输入特征；为垂直方向的注意力权重；为水平方向的注意力权重。
[0136]
ca机制考虑了对空间信息的编码，最终输出包含了来自于水平方向的注意力特征图和来自垂直方向的注意力特征图。两张注意力特征图中的每个元素都反应了感兴趣的对象是否存在于相应的行和列中。ca机制能够更加准确的定位到感兴趣的区域，同时包含了通道信息与位置信息，减少了雾气对于模型检测效果的影响，增加了模型在不同雾气浓度下的检测能力。
[0137]
(2)、深浅层多尺度融合特征网络：
[0138]
panet作为yolov7的特征融合网络，其结构如图5(a)所示，panet基于fpn图像特征金字塔的思想，不仅进行从上到下的特征融合，而且增加了从下到上的特征融合，从而达到减少信息丢失的目的，取得了较好的检测效果。对于绝缘子检测而言，由于绝缘子环境的复杂存在大量遮挡物且一张图中可能存在着较多的小目标对象，导致原始模型存在着检测精度低、漏检的问题。bifpn增强了网络的信息提取能力，使其低层次的位置信息能够和高层次对的语义信息更好的结合，从而进一步提升网络对于目标的检测性能。原始网络的panet结构只是在通道上进行叠加，而bifpn将权重信息考虑在内，通过权值与权值之和之比来进行快速归一化融合式，最终将权值归一化到[0,1]之间，提高对不同情况下目标的感知能力。bifpn如图5(b)所示。
[0139][0140]
式中，ωi为可以学习的权重大小；ii表示输入特征；ε为0.0001，防止为0，导致分母出现0的情况，避免数值不稳定。
[0141]
本发明基于bifpn的思想，使用8倍下采样后形成的80
×
80特征图和16倍下采样后形成的40
×
40特征图与后面的特征图进行bifpn_add连接，使得位置信息提取的更加充分，减少了特征信息丢失。
[0142]
(3)、优化损失函数：
[0143]
本发明采用性能更加高效的siou替代原始模型中的ciou，增加了网络的收敛性能，从而提高模型的整体性能。
[0144]
siou损失函数所用到的参数如图6所示，siou损失函数。
[0145]
角度成本的计算公式如下所示：
[0146][0147]
其中
[0148][0149][0150]
式中，和分别为真实框和预测框的中心点；ch为真实框和预测框中心点的高度差；σ为真实框和预测框中心点的距离；实际上是角度α，可以注意到当α为或为0时，角度成本为0。在训练中，若则最小化α，否则最小化β，即距离成本：
[0151]
距离成本反映了预测框与真实框两框中心点的距离。根据上述角度成本，siou重新定义了距离成本,公式如下所示：
[0152][0153]
x，y分别代表宽、高；γ为随着角度增加的优先于距离值的参数，控制距离损失
△
朝着角度正确的方向减小；t为类型；ρ
t
为真实框和预测框中心点之间的偏离程度。
[0154]
其中：
[0155][0156]
ρ
x
为宽度偏离程度，即预测框与真实框两框中心点的宽度差与真实框和预测框最小外接矩形的宽之比的平方：
[0157][0158]
ρy为高度偏离程度，即预测框与真实框两框中心点的高度差与真实框和预测框最小外接矩形的高之比的平方
[0159]
γ＝2-λ
[0160]
式中：c
x
和cy为真实框和预测框最小外接矩形的宽和高。
[0161]
形状成本：
[0162]
形状成本的计算公式如下所示：
[0163][0164]
其中
[0165]
[0166][0167]
式中，w，h，w
gt
，h
gt
分别为预测框和真实框的宽和高；θ的值控制对形状损失的关注程度，为了避免过于关注形状损失而降低对预测框的移动，本发明设置为4。
[0168]
综上，siou的损失函数的最终定义如式所示：
[0169][0170]
交并比iou代表预测框b与真实框b
gt
的重叠率，即两框之间交集与并集的比值；
△
代表距离成本；ω代表形状成本。
[0171]
表1训练参数
[0172][0173]
轻雾绝缘子数据集和浓雾绝缘子数据集，混合浓度绝缘子数据各1800张图片，图像大小1024
×
1024。数据集统一采用labelimg工具的矩形框标注法进行标注。
[0174]
模型在训练中使用mosaic增强方式，以增强模型的泛化能力。训练集、验证集和测试集，按照8：1：1的比例进行划分。
[0175]
为了验证改进模型的可行性,将原始yolov7算法和改进后的yolov7算法分别在3种雾气数据集上进行实验分析,以平均精确均值map0.5作为评判标准,平均精确均值结果如表2所示。由表2可知，与原始yolov7相比,改进后的yolov7在轻雾、浓雾和混合雾气状态下的平均精确率分别提高了6.65％、5.55％和6.54％,因此,改进后的yolov7比原始yolov7的平均准确均值更高,检测性能更好。
[0176]
表2检测结果对比
[0177][0178]
为了验证分析本发明提出的改进方法对yolov7模型检测性能的影响，本文以混合浓度绝缘子数据集为样本，设计了6组实验,除改进部分外,每组实验使用的训练参数不变,不同改进方法对模型检测性能的影响如表3所示。
[0179]
表3消融实验对比结果
[0180][0181]
ca机制的加入帮助特征提取网络、预测端重点关注目标区域，进一步提高在雾天场景下绝缘子及缺陷检测的查准率和召回率，查准率、召回率相比原先分别提升了0.38％和3.22％，有效降低了检测模型的错检率和漏检率。ca机制将检测模型的map0.5进一步提高1.58％，达到91.69％。
[0182]
从图7可以看出，使用siou或ciou损失函数的yolov7的损失均缓慢降低并收敛于一个稳定的阙值。使用siou损失函数的损失从2.177下降到0.046附近，使用ciou损失函数的损失从3.255下降到0.050附近。经过250轮迭代后，使用siou损失函数的已收敛到0.46附近，而使用ciou损失函数的仅下降到0.051附近。与ciou损失函数相比，siou损失函数能使yolov7收敛速度更快，收敛值更小，这说明使用了siou损失函数的yolov7可以更加准确地沿梯度回传误差并更新网络权重。在使用siou损失函数后，map较使用ciou损失函数相比提升了1.04％，模型对缺陷的检测率有所提升。在特征融合网络部分基于bifpn的思想，采用bifpn_add连接，减少了特征损失，map提升了0.72％，召回率相较原先提升了1.8％，增强了网络对绝缘子及缺陷的检测能力。
[0183]
从图8(a)～图8(g)可视化检测结果可以看出，原始yolov7检测模型存在严重漏检问题，对于中远处小目标及多个小目标检测效果差,对于遮挡绝缘子检测效果差，对于浓雾中的绝缘子检测效果差。本发明提出的改进yolov7检测模型很好改善这种情况，改进后的yolov7检测模型对于被遮挡的绝缘子检测效果明显提升，漏检率大幅降低。
[0184]
图8(a)中的case 1模拟了薄雾场景下绝缘子被杆塔遮掩的情况，原始的yolov7检测模型没有检出被遮挡的绝缘子，而改进后的yolov7检测模型能检出被遮挡的绝缘子。通过图8(b)、图8(c)中的case 2实验对中远处小目标及多个小目标检测效果进行对比，改进后的yolov7检测模型虽仍有少数小目标绝缘子漏检，但检测效果有明显的提升。在第c组中，原始yolov7检测模型将高压电塔误检为绝缘子，而改进后的yolov7检测模型却不存在这种情况。图8(d)、图8(e)中的case 3、case4模拟了浓雾场景下绝缘子被杆塔、雾气遮掩的情况，从子图d2、子图e2可以看出，原始的yolov7的只检出部分绝缘子，对雾气浓度较深区域的绝缘子及被杆塔遮挡的绝缘子检测效果较差。图8(f)、图8(g)中的case 5、case6为真实雾气条件下绝缘子检测实验。从子图f2，g2中可以看出原始yolov7在真实的雾天复杂背景下只检测出小部分绝缘子，检测效果较差。从子图f3，g3可以看出改进后的yolov7在真实的雾天复杂背景下检测效果较好，证明了改进后的yolov7对于雾天环境下绝缘子目标检测方面有一定的实用性。改进后的yolov7检测模型相比原始yolov7检测模型在在浓雾复杂场景中能够更准确定位到绝缘子和缺陷所在位置。
[0185]
本发明提出的改进后的yolov7检测模型相比原始yolov7检测模型不仅能够更加精准的捕捉到绝缘子和缺陷所在的位置，而且置信度得分也有所提升，表明改进后的模型
在复杂场景下具有较强的检测能力。

技术特征：
1.基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于包括以下步骤：步骤1：以绝缘子数据集为基础，通过大气散射模型生成轻雾数据集、浓雾数据集和混合浓度数据集；步骤2：将生成的不同雾气绝缘子缺陷图像数据集进行绝缘子及缺陷标注，获得yolov7算法模型所需数据集，再将数据集划分为训练集、验证集和测试集；步骤3：基于改进yolov7算法，构建雾天场景下的绝缘子缺陷检测模型；步骤4：使用训练集对步骤3的绝缘子缺陷检测模型进行训练，训练完成后使用划分好的测试集对绝缘子缺陷检测模型的性能进行评估。2.根据权利要求1所述基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于：所述步骤1中，以实验绝缘子数据集为基础，通过大气散射模型，采用中心点合成雾的方法，生成不同雾气浓度的绝缘子数据集；大气散射模型的数学表达式为：i(x)＝j(x)t(x)+a(1-t(x))；其中：i(x)为有雾图像；j(x)为无雾图像；t(x)为透射率；a为全局大气光值；a(1-t(x))为大气光强值；中心点合成雾是指通过设定图片的一个点为雾化中心点进行雾合成扩散，距离雾化中心点的距离越远，雾合成的效果越弱；大气透射率t(x)计算式为：t(x)＝e-βd(x)
；其中：其中：其中：式中：β为散射系数；d(x)为图像各点到雾化中心的距离；a为比例系数；(i
ce
,j
ce
)为图像雾化中心；i
ce
,j
ce
分别表示雾化中心的横、纵坐标；h,w分别表示图像的高、宽；c为雾化尺寸；b能够控制雾气的浓度，b值越大表示雾气浓度越大；雾化尺寸c决定生成雾的大小，c值越大表示雾气范围越大。3.根据权利要求1所述基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于：所述步骤2中，采用labelimg软件进行绝缘子与缺陷位置及缺陷类型的标注，所述训练集、验证集和测试集按照8：1：1的比例进行划分。4.根据权利要求1所述基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于：所述步骤3中，yolov7模型包括：主干backbone的特征提取网络、颈部neck的特征融合网络、预测端head；主干backbone的特征提取网络包括：cbs模块、e-elan模块、mpconv模块、sppcspc模块绝缘子缺陷检测模型的构件包括以下步骤：s3.1：在主干backbone的特征提取网络中sppcspc模块之前和预测端head前，引入ca注
意力机制，将位置信息与通道信息相结合，来提高网络的特征提取能力；s3.2：在颈部neck的特征融合网络中，在路径聚合网络panet基础上进行bifpn_add进行特征叠加与深浅层特征的融合；使输出特征同时含有位置及语义信息，增强复杂背景中较小目标的检出能力；s3.3：将ciou损失函数改为siou损失函数。5.根据权利要求4所述基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于：所述s3.1包括以下步骤：s3.1.1：坐标注意力生成将坐标信息嵌入在两个方向上生成的特征图进行拼接，使用1
×
1卷积变换函数f1对其进行变换：f＝δ(f1([z
h
,z
w
]))式中：[,]为python中numpy的concatenate函数变换；δ为非线性激活函数；z
w
、z
h
分别为沿水平方向编码生成的特征图，沿垂直方向编码生成的特征图；f1([z
h
,z
w
])表示拼接后的特征图采用1
×
1卷积变换函数f1进行变换；为输入特征在水平和垂直方向进行编码所得到的中间特征映射；其中：r为缩减比，用来减少f的通道数，降低模型的复杂度；r表示特征图的一个矩形框；c代表通道数；s3.1.2：接着对进行归一化和非线性处理，并沿空间维度将其分割为：与f
h
为进行归一化和非线性处理后沿空间维度分割出的大小为的特征图；f
w
为进行归一化和非线性处理后沿空间维度分割出的大小为的特征图；为表示大小为特征图的矩形框；为表示大小为特征图的矩形框；f
h
和f
w
通过两个1
×
1卷积变换f
h
、f
w
，变换成与输入x具有相同通道数量的特征图；s3.1.3：使用sigmoid激活函数进行处理，生成注意力权重g
h
和g
w
：g
h
＝σ(f
h
(f
h
),g
w
＝σ(f
w
(f
w
)；ca机制的最终输出为：y
c
(i,j)为最终输出；x
c
(i,j)为输入特征；为垂直方向的注意力权重；为水平方向的注意力权重；
ca机制考虑了对空间信息的编码，最终输出包含了来自于水平方向的注意力特征图和来自垂直方向的注意力特征图。6.根据权利要求4所述基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于：所述s3.2中，bifpn将权重信息考虑在内，通过权值与权值和的比值，来进行快速归一化融合式，最终将权值归一化到[0,1]之间，提高对不同情况下目标的感知能力；快速归一化融合式如下所示式中，ω
i
为可以学习的权重大小；i
i
表示输入特征；ε为0.0001；i表示输入特征的个数；j表示的权重的个数；使用8倍下采样后形成的80
×
80特征图和16倍下采样后形成的40
×
40特征图与后面的特征图进行bifpn_add连接。7.根据权利要求4所述基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于：所述s3.3中，siou损失函数如下式所示：交并比iou代表预测框b与真实框b
gt
的重叠率，即两框之间交集与并集的比值；
△
代表距离成本；ω为形状成本。8.根据权利要求1所述基于改进yolov7算法的雾天场景下绝缘子缺陷检测方法，其特征在于：所述步骤4中，对绝缘子缺陷检测模型的性能进行评估，包括计算平均精度ap、查准率p、召回率r、所有类别ap平均值map指标。

技术总结
基于改进YOLOv7算法的雾天场景下绝缘子缺陷检测方法，包括以下步骤：步骤1：以绝缘子数据集为基础，通过大气散射模型生成轻雾数据集、浓雾数据集和混合浓度数据集；步骤2：将生成的不同雾气绝缘子缺陷图像数据集进行绝缘子及缺陷标注，获取YOLOv7算法模型所需的数据集，再将数据集划分为训练集、验证集和测试集；步骤3：基于改进YOLOv7算法，构建雾天场景下的绝缘子缺陷检测模型；步骤4：使用训练集对步骤3的绝缘子缺陷检测模型进行训练，训练完成后使用划分好的测试集对绝缘子缺陷检测模型的性能进行评估。本发明方法能够有效实现雾天环境下绝缘子目标及缺陷检测，改进后的YOLOv7在雾天环境下绝缘子目标及缺陷检测有较好的的检测性能。检测性能。检测性能。


技术研发人员：邹红波 陈俊廷 柴延辉 杨钦贺 张鹏超 卢俊 李朝瑞
受保护的技术使用者：国网湖北省电力有限公司襄阳供电公司
技术研发日：2023.06.26
技术公布日：2023/10/7