一种电力巡检图像检测方法、设备和存储介质与流程

1.本公开实施例涉及电网运检维修技术领域，尤其涉及一种电力巡检图像检测方法、设备和存储介质。


背景技术：

2.图像目标检测是计算机视觉的基础任务之一，在实际应用中发挥着重要作用，如工业检测、人脸识别等场景。在电力设备运维中，通过巡检无人机、巡检机器人、监控摄像头等获取大量巡检和监控视频，需要从中识别和定位设备缺陷。由于拍摄距离远，视角不佳，遮挡严重，导致缺陷区域在图像中占比小、成像不清晰、结构不完整，呈现小尺度的特点，运用常规目标检测方法难以实现高精度检测。
3.目标检测通常被建模为对候选框的分类和回归，按照候选区域的产生方式不同，分为二阶段(two-stage)检测和单阶段(one-stage)检测，前者的候选框通过rpn(区域推荐网络)网络产生预测信息，后者通过在特定特征图上的每个位置产生不同大小和宽高比的先验框(anchor)生成预测信息。在这种检测架构中，为了回归更加精确的目标信息，要列举出较为详尽的潜在对象位置列表，并对对象进行分类，但是目标检测器在进行枚举和分类的时候会花费大量的算力。而且，现有的目标检测通常在低分辨率特征图上进行目标检测，获得物体位置、类别信息。但是低分辨率特征图损失了目标的空间信息和细节特征，对于小目标检测效果不佳。


技术实现要素：

4.有鉴于此，本发明提供一种电力巡检图像检测方法、设备和存储介质，能够兼顾待检测电力巡检图像中的大目标和小目标检测，在不损失目标细节特征的基础上，提升待检测电力巡检图像中有缺陷的电力设备检测的精度和准确度，具有很好的实时性，更适合电力巡检图像目标检测任务。
5.根据本发明的一方面，本发明实施例提供了一种电力巡检图像检测方法，该方法包括：
6.获取待检测电力巡检图像，并将所述待检测电力巡检图像进行至少四个下采样特征提取得到对应的图像特征图；
7.将各所述图像特征图进行特征融合得到各所述下采样分别对应的融合特征图；
8.根据各所述融合特征图和预先训练好的神经网络模型确定所述待检测电力巡检图像中电力设备的检测结果，其中，所述神经网络模型中的预测网络包括至少三个预测检测头，各所述预测检测头分别包括至少三个头部特征提取模块，各所述头部特征提取模块对应相应的预测结果，各所述预测结果中包括：所述待检测电力巡检图像中目标设备的中心点位置、包围框宽高信息、中心点偏移量信息、目标设备的缺陷情况和设备类型。
9.根据本发明的另一方面，本发明实施例还提供了一种电力巡检图像检测装置，所述装置，包括：
10.下采样特征提取模块，用于获取待检测电力巡检图像，并将所述待检测电力巡检图像进行至少四个下采样特征提取得到对应的图像特征图；
11.特征融合模块，用于将各所述图像特征图进行特征融合得到各所述下采样分别对应的融合特征图；
12.检测模块，用于根据各所述融合特征图和预先训练好的神经网络模型确定所述待检测电力巡检图像中电力设备的检测结果，其中，所述神经网络模型中的预测网络包括至少三个预测检测头，各所述预测检测头分别包括至少三个头部特征提取模块，各所述头部特征提取模块对应相应的预测结果，各所述预测结果中包括：所述待检测电力巡检图像中目标设备的中心点位置、包围框宽高信息、中心点偏移量信息、目标设备的缺陷情况和设备类型。
13.根据本发明的另一方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
14.至少一个处理器；以及
15.与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的电力巡检图像检测方法。
17.根据本发明的另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的电力巡检图像检测方法。
18.本发明实施例的技术方案，通过提取不同尺度的下采样特征图，并进行特征融合得到各下采样分别对应的融合特征图，并通过神经网络模型的至少三个预测检测头对不同分辨率的融合特征图进行目标检测，其中，每个预测检测头分别包括至少三个头部特征提取模块，能够兼顾待检测电力巡检图像中的大目标和小目标检测，在不损失目标细节特征的基础上，提升待检测电力巡检图像中有缺陷的电力设备检测的精度和准确度，具有很好的实时性，更适合电力巡检图像目标检测任务。
19.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明一实施例提供的一种电力巡检图像检测方法的流程图；
22.图2为本发明一实施例提供的另一种电力巡检图像检测方法的流程图；
23.图3为本发明一实施例提供的一种神经网络模型中预测检测头的结构示意图；
24.图4为本发明一实施例提供的一种电力巡检图像检测方法中的深度神经网络的整体架构图；
25.图5为本发明实施例提供的一种标签文件制作时拉框标注示意图；
26.图6为本发明实施例提供的一种目标中心点热力图与原图叠加可视化结果的示意图；
27.图7为本发明一实施例提供的一种电力巡检图像检测装置的结构框图；
28.图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.在一实施例中，图1为本发明一实施例提供的一种电力巡检图像检测方法的流程图，本实施例可适用于对电力巡检图像中的有缺陷的电力设备进行检测时的情况，该方法可以由电力巡检检测装置来执行，该电力巡检检测装置可以采用硬件和/或软件的形式实现，该电力巡检检测装置可配置于电子设备中。
32.如图1所示，本实施例中的电力巡检图像检测方法，具体步骤包括：
33.s110、获取待检测电力巡检图像，并将待检测电力巡检图像进行至少四个下采样特征提取得到对应的图像特征图。
34.其中，待检测电力巡检图像指的是需要进行电力设备检测的巡检图像，当然，待检测电力巡检图像中可能存在一个或多个电力设备出现缺陷，也可能不存在出现缺陷的电力设备。
35.在本实施例中，下采样也可以称为降采样，可以理解为对待检测电力巡检图像进行缩小相应的倍数，本实施例中，可以对待检测电力巡检图像进行至少四次下采样特征提取，每次下采样之后的分辨率是不同的，下采样可以使得图像符合显示区域的大小，以得到相对于的缩略图。
36.在本实施例中，神经网络模型的主干网络可以包括至少四个并行的不同下采样尺度的第一特征提取模块，每个第一特征提取模块分别设置对应的通道注意力机制，以及第一自适应特征融合模块，然后通过各第一特征提取模块将待检测电力巡检图像分别进行4倍下采样特征提取、8倍下采样特征提取、16倍下采样特征提取、32倍下采样特征提取得到对应的第一图像特征图；通过自适应地给特征图的不同通道赋予不同的权重，并进行相应的自适应特征融合，得到在4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图
像特征图，经过相应的特征提取后，将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图传递给神经网络的颈部网络部分；在一些实施例中，也可以通过相应的转换公式将待检测电力巡检图像进行图像转换，以得到相应的图像特征图，本实施例在此不做限制。
37.s120、将各图像特征图进行特征融合得到各下采样分别对应的融合特征图。
38.其中，融合特征图可以理解为将不同尺度的下采样特征图像进行自适应特征融合所得到的融合特征图，需要说明的是，该融合特征图可以包括但不限于4倍下采样对应的第一融合特征图，8倍下采样对应的第二融合特征图和16倍下采样对应的第三融合特征图。
39.在本实施例中，神经网络模型的颈部网络包括至少三个分支并行的第二自适应特征融合模块，可以通过第二自适应特征融合模块将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图分别进行第二次自适应加权融合，得到4倍下采样对应的第一融合特征图，8倍下采样对应的第二融合特征图和16倍下采样对应的第三融合特征图；可以理解为，对不同下采样的图像特征图分别进行设置相对应的权值，将各权值进行相加结合以得到融合的图像特征，当然，各融合特征图形成多个分支传输至神经网络模型的预测检测头部分进行后续的处理；在一些实施例中，也可以利用变换算法将各不同下采样的图像特征图分别分解为高低频率系数；然后对不同的系数采用不同的融合策略，分层次分方向地完成融合，最后通过逆变换实现图像的融合以得到各下采样分别对应的融合特征图。
40.s130、根据各融合特征图和预先训练好的神经网络模型确定待检测电力巡检图像中电力设备的检测结果。
41.在本实施例中，神经网络模型中的预测网络包括至少三个预测检测头，各预测检测头分别包括至少三个头部特征提取模块，各头部特征提取模块对应相应的预测结果，各预测结果中包括：待检测电力巡检图像中目标设备的中心点位置、包围框宽高信息、中心点偏移量信息、目标设备的缺陷情况和设备类型。其中，目标设备可以理解为待检测电力巡检图像中有缺陷或有损坏的一个或多个电力设备。
42.在本实施例中，神经网络模型的颈部网络三个分支的输出特征图分别传递给至少三个预测检测头进行处理和预测，各预测检测头分别包括至少三个头部特征提取模块，每个头部特征提取模块输出相应的预测结果，本实施例中，可以将各融合特征图分别输入至神经网络中对应的预测检测头中的各头部特征提取模块得到该融合特征图对应的检测结果，由于存在多个检测结果，可以采用非极大值抑制方法对各检测结果进行去重操作，以确定各检测结果中概率最大的目标检测结果，将目标检测结果作为待检测电力巡检图像中电力设备的检测结果；在一些实施例中，也可以通过神经网络模型的全局池化层将各融合特征图转化为一维向量融合特征，依据神经网络模型中全连接层的卷积核最优参数和一维向量融合特征的乘积得到电网线路缺陷的诊断结果，本实施例在此不做限制。
43.本发明实施例的技术方案，通过提取不同尺度的下采样特征图，并进行特征融合得到各下采样分别对应的融合特征图，并通过神经网络模型的至少三个预测检测头对不同分辨率的融合特征图进行目标检测，其中，每个预测检测头分别包括至少三个头部特征提取模块，能够兼顾待检测电力巡检图像中的大目标和小目标检测，在不损失目标细节特征的基础上，提升待检测电力巡检图像中有缺陷的电力设备检测的精度和准确度，具有很好
的实时性，更适合电力巡检图像目标检测任务。
44.在一实施例中，神经网络模型的训练过程，包括：
45.获取电力巡检图像的训练样本集，其中，训练样本集中包括：包含至少一个设备缺陷的第一电力巡检图像集合，以及不包含设备缺陷的第二电力巡检图像集合；第一电力巡检图像集合中的第一电力巡检图像对应相应的第一标签文件；第二电力巡检图像集合中的第二电力巡检图像对应相应的第二标签文件；其中，第一标签文件中至少包括；缺陷设备的坐标信息、宽高信息、设备类型和缺陷情况；第一标签文件为空文件；
46.对第一电力巡检图像集合和第二电力巡检图像集合中分别对应的电力巡检图像进行多尺度下采样特征提取得到对应的图像特征图；
47.对各图像特征图进行特征融合得到不同尺度下采样的融合特征图；
48.通过反向传播算法、所述神经网络模型得到的各所述融合特征图的分类结果以及标签结果对所述神经网络模型进行训练，直至所述神经网络模型的损失函数达到最小，得到训练好的电力巡检图像目标检测神经网络，以通过所述训练好的电力巡检图像目标检测神经网络对所述待检测电力巡检图像进行检测。
49.在本实施例中，准备用于网络训练所需的数据集。将训练数据划分成相互独立的训练集、验证集、测试集。在图像的预处理阶段，如果图片的数据量不足，可以对电力巡检图像进行随机翻转、随机剪裁、画质调整、对抗处理、图像混合或添加白噪声处理中的一种或多种图像处理方式进行数据增强操作。
50.在本实施例中，在网络训练之前，需要设置网络训练的超参数并初始化网络的主干，颈部和预测头。为了使网络损失可以在训练的前期更加平稳的下降，可以在在主干特征提取网络处导入预训练权重。当开始网络训练时，将训练集中的图像分批次送入网络进行训练。通过反向传播算法最小化训练集损失，优化模型参数。训练过程中，每隔一定迭代次数，利用验证集数据对当前网络的训练效果进行验证，便于网络模型超参数的调节，确保网络不产生严重的过拟合现象。经过若干轮的训练，使得训练集和验证集的损失曲线下降趋于平稳，结束训练并保存网络模型文件。
51.需要说明的是，由于个预测头的特征图的下采样率不同，在对于三个特征图进行训练的时候，分别设置了对应三种分辨率不同的特征图的标签。
52.在本实施例中，获取电力巡检图像的训练样本集，其中，训练样本集中包括：包含至少一个设备缺陷的第一电力巡检图像集合，以及不包含设备缺陷的第二电力巡检图像集合；第一电力巡检图像集合中的第一电力巡检图像对应相应的第一标签文件；第二电力巡检图像集合中的第二电力巡检图像对应相应的第二标签文件；其中，第一标签文件中至少包括；缺陷设备的坐标信息、宽高信息、电力设备的类型和缺陷类别；第一标签文件为空文件；对第一电力巡检图像集合和第二电力巡检图像集合中分别对应的电力巡检图像进行多尺度下采样特征提取得到对应的图像特征图；对各图像特征图进行特征融合得到不同尺度下采样的融合特征图；通过反向传播算法、所述神经网络模型得到的各所述融合特征图的分类结果以及标签结果对所述神经网络模型进行训练，直至所述神经网络模型的损失函数达到最小，得到训练好的电力巡检图像目标检测神经网络，以通过所述训练好的电力巡检图像目标检测神经网络对所述待检测电力巡检图像进行检测。
53.在一些实施例中，标签文件的配置，包括：在为第一电力巡检图像进行标签标注的
情况下，对所述电力巡检图像中的至少一个缺陷设备进行拉框标注，得到缺陷设备的包围框标注结果，其中，包围框标注结果包含包围框内缺陷设备的左上角坐标信息、右下角坐标信息、缺陷设备的宽高信息、缺陷设备的设备类型和缺陷分类；基于包围框标注结果确定缺陷设备的中心点信息，并基于高斯分布以中心点信息为中心确定中心点热度力图；其中，中心点热度力图中，离中心点越近亮度值越大；依据中心点热度力图确定中心点偏移量信息；将中心点热度力图、中心点偏移量信息、宽高信息、缺陷设备的设备类型和缺陷分类作为第一标签文件；在为第二电力巡检图像进行标签标注的情况下，直接将第二电力巡检图像对应的第二标签文件标注为空文件。
54.在一实施例中，所述方法，还包括：
55.在神经网络模型的训练过程中，每隔预设迭代次数，利用电力巡检图像的测试样本集对神经网络模型训练的效果进行验证，其中，神经网络模型的验证，包括：
56.获取电力巡检图像的测试样本集；
57.依据预设目标检测评价指标和测试样本集中的电力巡检图像对训练好的电力巡检图像目标检测神经网络进行测试；
58.若预设目标检测评价指标达到预期结果，则使用训练好的电力巡检图像目标检测神经网络对待检测电力巡检图像进行测试；
59.若预设目标检测评价指标未达到预期结果，则调节预先配置的神经网络的预训练权重和超参数，重新训练电力巡检图像目标检测神经网络，直至预设目标检测评价指标达到预期结果。
60.在一实施例中，在神经网络模型的训练过程中，每隔预设迭代次数，利用电力巡检图像的测试样本集对神经网络模型训练的效果进行验证，在验证的过程中，需要获取电力巡检图像的测试样本集；依据预设目标检测评价指标和测试样本集中的电力巡检图像对训练好的电力巡检图像目标检测神经网络进行测试；若预设目标检测评价指标达到预期结果，则使用训练好的电力巡检图像目标检测神经网络对待检测电力巡检图像进行测试；若预设目标检测评价指标未达到预期结果，则调节预先配置的神经网络的预训练权重和超参数，重新训练电力巡检图像目标检测神经网络，直至预设目标检测评价指标达到预期结果。可以理解为，在网络的测试阶段，导入训练好的网络模型，在测试集上对其进行测试，可采用目标检测任务中常用的评价指标(如map(平均准确度均值，精度评价)，准确率(accuracy)，混淆矩阵(confusion matrix)，精确率(precision)，召回率(recall)，平均正确率(ap)等)对网络输出结果进行评估，若未达到预期则调节网络超参数，重新训练直至达到预期。若达到预期，则将网络部署到目标计算设备上，在实际场景中进行应用。
61.在一实施例中，图2为本发明一实施例提供的另一种电力巡检图像检测方法的流程图，本实施例在上述各实施例的基础上，对将待检测电力巡检图像进行至少四个下采样特征提取得到对应的图像特征图；将各图像特征图进行特征融合得到各下采样分别对应的融合特征图；根据各融合特征图和预先训练好的神经网络模型确定待检测电力巡检图像中电力设备的检测结果进行了进一步的细化。
62.如图2所示，本实施例中的电力巡检图像检测方法，具体可以包含如下步骤：
63.s210、获取待检测电力巡检图像，通过各第一特征提取模块将待检测电力巡检图像分别进行4倍下采样特征提取、8倍下采样特征提取、16倍下采样特征提取、32倍下采样特
征提取得到对应的第一图像特征图。
64.在本实施例中，神经网络模型的主干网络包括至少四个并行的不同下采样尺度的第一特征提取模块，各第一特征提取模块设置对应的通道注意力机制，以及第一自适应特征融合模块，可以通过各第一特征提取模块将待检测电力巡检图像分别进行4倍下采样特征提取、8倍下采样特征提取、16倍下采样特征提取、32倍下采样特征提取得到对应的第一图像特征图，可以理解为，主干网络采用高分辨率卷积神经网络用做基础特征提取，该网络具有4个并行的分支。不同分支提取不同尺度下采样的特征，特征图的长和宽分别为输入图像的长和宽的1/4、1/8、1/16、1/32。本实施中，不同尺度下采样的图像分辨率是不同的，示例性的，4倍下采样的特征图的特征信息是长宽为40*40，有128个通道；8倍下采样的特征图是80*80*64；16倍下采样是160*160*32。
65.s220、通过各第一特征提取模块设置的通道注意力机制对各第一图像特征图赋予相应的权重值，并通过第一自适应特征融合模块将赋予相应权重值的各第一图像特征图进行自适应特征融合，得到在4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图。
66.在本实施例中，hrnet网络整体由特征提取模块堆叠而成，为了充分提取输入图像中不同尺度目标的特征，每个hrnet分支在不同的阶段会堆叠不同数量的第一特征提取模块，且由于特征图的不同通道对网络的有效特征贡献度不同，可以在每个特征提取模块的后面都增加通道注意力机制，自适应地给特征图的不同通道赋予不同的权重，即各第一特征提取模块设置的通道注意力机制对各第一图像特征图赋予相应的权重值，并通过第一自适应特征融合模块将赋予相应权重值的各第一图像特征图进行自适应特征融合，得到在4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图。
67.s230、将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图作为神经网络中颈部网络的输入图像特征图。
68.在本实施例中，主干网络将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图传递给神经网络中颈部网络，颈部网络包括至少三个分支并行的第二自适应特征融合模块，可以将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图并行进行自适应融合。
69.s240、通过第二自适应特征融合模块将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图分别进行自适应加权融合，得到4倍下采样对应的第一融合特征图，8倍下采样对应的第二融合特征图和16倍下采样对应的第三融合特征图。
70.在本实施例中，神经网络模型的颈部网络包括至少三个分支并行的第二自适应特征融合模块；将各图像特征图进行特征融合得到不同尺度下采样分别对应的融合特征图，具体的，通过第二自适应特征融合模块将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图分别进行自适应加权融合，得到4倍下采样对应的第一融合特征图，8倍下采样对应的第二融合特征图和16倍下采样对应的第三融合特征图。
71.在本实施例中，主干网络的输出传递给具有三个分支的颈部网络，这三个分支分别采用第二自适应特征融合模块将主干网络输出的4倍下采样、8倍下采样以及16倍下采样的特征图进行自适应加权融合后再输出，形成多尺度特征输出。
72.s250、将第一融合特征图输入神经网络中对应的第一预测检测头中的各头部特征
提取模块得到第一融合特征图对应的第一检测结果。
73.其中，第一预测检测头作为第一融合特征图的预测头，第一预测检测头中包括至少三个分支的头部特征提取模块。第一检测结果为第一融合特征图输入第一预测检测头所得到的检测结果。
74.在本实施例中，神经网络模型中的各预测检测头分别包括至少三个分支的头部特征提取模块，各头部特征提取模块由2个卷积层组成，每个卷积层后进行批归一化处理。颈部网络三个分支的输出特征图分别传递给3个预测检测头进行处理和预测。本实施例中，将第一融合特征图输入神经网络中对应的第一预测检测头中的各头部特征提取模块得到第一融合特征图对应的第一检测结果，可以包括目标设备的中心点位置、包围框宽高、中心点偏移量、目标设备的缺陷情况和设备类型。当然，设备类型可以理解为有缺陷设备的设备类别，可以包括但不限于绝缘子、、避雷器等。示例性的，一张图中有一个设备杆塔，杆塔上有很多个绝缘子，其中一个绝缘子是有缺限的，设备类型即为绝缘子。可以得到有缺陷绝缘子的中心点位置、包围框宽高、中心点偏移量。
75.在本实施例中，中心点的预测是在每个目标类别对应的特征图通道上预测目标中心点，预测的中心点及其附近位置会高亮，其他位置的亮度值趋近于0，形成热度图，热度图的通道数与待检测目标类别数相同；目标包围框长宽分别在两个通道的特征图上进行预测，以特征图中各像素处神经元的输出值为预测值；各目标中心点x、y方向的偏移量分别在两个通道的特征图上进行预测，以特征图中各像素处神经元的输出值为预测值。
76.s260、将第二融合特征图输入神经网络中对应的第二预测检测头中的各头部特征提取模块得到第二融合特征图对应的第二检测结果。
77.其中，第二预测检测头作为第二融合特征图的预测头，第二预测检测头中包括至少三个分支的头部特征提取模块，各头部特征提取模块由2个卷积层组成，每个卷积层后进行批归一化处理。第二检测结果为第二融合特征图输入第二预测检测头所得到的检测结果。
78.本实施例中，将第二融合特征图输入神经网络中对应的第二预测检测头中的各头部特征提取模块得到第二融合特征图对应的第二检测结果，可以包括目标设备的中心点位置、包围框宽高、中心点偏移量、目标设备的缺陷情况和设备类型。
79.s270、将第三融合特征图输入神经网络中对应的第三预测检测头中的各头部特征提取模块得到第三融合特征图对应的第三检测结果。
80.其中，第三预测检测头作为第三融合特征图的预测头，第三预测检测头中包括至少三个分支的头部特征提取模块，各头部特征提取模块由2个卷积层组成，每个卷积层后进行批归一化处理。第三检测结果为第三融合特征图输入第三预测检测头所得到的检测结果。
81.本实施例中，将第三融合特征图输入神经网络中对应的第三预测检测头中的各头部特征提取模块得到第三融合特征图对应的第三检测结果，可以包括目标设备的中心点位置、包围框宽高、中心点偏移量、目标设备的缺陷情况和设备类型。其中，缺陷情况包括：电力设备存在设备缺陷和电力设备不存在设备缺陷。
82.s280、采用非极大值抑制方法对第一检测结果、第二检测结果和第三检测结果进行去重操作，以确定各检测结果中概率最大的目标检测结果。
83.在本实施例中，采用非极大值抑制方法对第一检测结果、第二检测结果和第三检测结果进行去重操作，以确定各检测结果中概率最大的目标检测结果，并将目标检测结果作为待检测电力巡检图像中电力设备的检测结果。
84.s290、将目标检测结果作为待检测电力巡检图像中电力设备的检测结果。
85.在一实施例中，为便于更好的理解预测检测头结构，图3为本发明一实施例提供的一种神经网络模型中预测检测头的结构示意图，如图3所示，输入8倍下采样的融合特征图至预测检测头中，预测检测头中的每个头部特征提取模块对应一个预测结果。
86.本发明实施例的技术方案，通过各第一特征提取模块将待检测电力巡检图像分别进行4倍下采样特征提取、8倍下采样特征提取、16倍下采样特征提取、32倍下采样特征提取得到对应的第一图像特征图；通过各第一特征提取模块设置的通道注意力机制对各第一图像特征图赋予相应的权重值，并通过第一自适应特征融合模块将赋予相应权重值的各第一图像特征图进行自适应特征融合，得到在4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图；通过第二自适应特征融合模块将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图分别进行自适应加权融合，得到4倍下采样对应的第一融合特征图，所述8倍下采样对应的第二融合特征图和16倍下采样对应的第三融合特征图，各预测检测头分别包括至少三个分支的头部特征提取模块，各头部特征提取模块由2个卷积层组成，根据各融合特征图和相应的预测检测头，确定待检测电力巡检图像的检测结果，能够进一步兼顾待检测电力巡检图像中的大目标和小目标检测，在不损失目标细节特征的基础上，提升待检测电力巡检图像中有缺陷的电力设备检测的精度和准确度，具有很好的实时性，更适合电力巡检图像目标检测任务。
87.在一实施例中，为便于更好的理解电力巡检图像目标检测神经网络的整体架构，图4为本发明一实施例提供的一种电力巡检检测方法中的深度神经网络的整体架构图，该深度神经网络中电力巡检图像目标检测神经网络，其结构由主干特征提取网络、颈部网络和预测头部三部分组成，构造了一个并行的多分支预测结构，其中，每个分支可以在网络颈部对于不同分辨率的特征图进行特征提取，并在网络的头部对不同分辨率的特征图进行目标的检测。除此之外，本发明在主干特征提取网络中增加了通道注意力机制以及自适应特征融合模块等模块，进一步提升关键特征的提取能力。相比现有目标检测网络，本发明提出的电力巡检图像目标检测神经网络在小目标检测上具有更高的精度，且具有较好的实时性，更适合电力巡检图像目标检测任务。
88.在本实施例中，主干网络采用高分辨率卷积神经网络用做基础特征提取，该网络具有4个并行的分支。不同分支提取不同尺度的特征，特征图的长和宽分别为输入图像的长和宽的1/4、1/8、1/16、1/32。经过4个阶段的特征提取后，将输出特征图传递给颈部网络。
89.在本实施例中，为了充分提取输入图像中不同尺度目标的特征，每个hrnet分支在不同的阶段会堆叠不同数量的特征提取模块，并在第二、三、四阶段的末尾处对不同尺度的特征图进行融合。本发明将hrnet中第三阶段和第四阶段连接处的特征融合结构替换为自适应特征融合模块。同时，由于特征图的不同通道对网络的有效特征贡献度不同，引入了通道注意力机制，自适应地给特征图的不同通道赋予不同的权重，在每个特征提取模块的后面都增加了通道注意力机制。
90.在本实施例中，主干网络的输出传递给具有三个分支的颈部网络。这三个分支分
别采用自适应特征融合模块将主干网络输出的4倍下采样、8倍下采样以及16倍下采样的特征图进行自适应加权融合后再输出，形成多尺度特征输出。
91.在本实施例中，颈部网络三个分支的输出特征图分别传递给3个预测头进行处理和预测。每个预测头包括3个分支，每个分支分别有1个头部特征提取模块对输入特征图进行处理。每个头部特征提取模块由2个卷积层组成，3个分支的末尾分别针对输入特征图进行待检测目标的中心点位置、包围框宽高和中心点偏移量进行预测，从而得到预测的目标包围框。
92.在一实施例中，为便于更好的理解神经网络模型训练中的标签的制作，图5为本发明实施例提供的一种标签文件制作时拉框标注示意图，图6为本发明实施例提供的一种目标中心点热力图与原图叠加可视化结果的示意图，如图5和图6所示，根据拉框标注结果中目标包围框的左上角、右下角坐标计算目标包围框的中心点坐标。以目标包围框的中心点为中心基于高斯分布生成中心点热度力图，离中心点越近亮度值越大，如图6所示；生成被观测目标的宽高信息标签，该标签的长、宽与输入图像相同，具有2个通道，分别存储目标包围框的宽、高信息。若标签上某个像素非目标中心点，则该像素存储的宽、高值为0；若为目标中心点，则该像素存储的该目标包围框的宽、高与目标的宽、高一致。生成中心点偏移量信息标签，该标签的长、宽与输入图像相同，具有2个通道，分别存储目标包围框中心点的x、y方向偏移量信息。中心点偏移量是为了当标签被下采样至网络预测图相同分辨率时中心点位置因取整造成的精度损失。若标签上某个像素非目标中心点，则该像素存储的x、y方向偏移量值为0；若为目标中心点，则该像素存储的该处目标中心点位置偏移量。
93.在一实施例中，图7为本发明一实施例提供的一种电力巡检图像检测装置的结构框图，该装置适用于对电力巡检图像中的电力设备进行检测时的情况，该装置可以由硬件/软件实现。可配置于电子设备中来实现本发明实施例中的一种电力巡检检测方法。
94.如图7所示，所述装置，包括：下采样特征提取模块710、特征融合模块720和检测模块730。
95.其中，下采样特征提取模块710，用于获取待检测电力巡检图像，并将所述待检测电力巡检图像进行至少四个下采样特征提取得到对应的图像特征图；
96.特征融合模块720，用于将各所述图像特征图进行特征融合得到各所述下采样分别对应的融合特征图；
97.检测模块730，用于根据各所述融合特征图和预先训练好的神经网络模型确定所述待检测电力巡检图像中电力设备的检测结果，其中，所述神经网络模型中的预测网络包括至少三个预测检测头，各所述预测检测头分别包括至少三个头部特征提取模块，各所述头部特征提取模块对应相应的预测结果，各所述预测结果中包括：所述待检测电力巡检图像中目标设备的中心点位置、包围框宽高信息、中心点偏移量信息、目标设备的缺陷情况和设备类型。
98.本发明实施例，下采样特征提取模块，通过提取不同尺度的下采样特征图，特征融合模块，进行特征融合得到各下采样分别对应的融合特征图，检测模块，通过神经网络模型的至少三个预测检测头对不同分辨率的融合特征图进行目标检测，其中，每个预测检测头分别包括至少三个头部特征提取模块，能够兼顾待检测电力巡检图像中的大目标和小目标检测，在不损失目标细节特征的基础上，提升待检测电力巡检图像中有缺陷的电力设备检
测的精度和准确度，具有很好的实时性，更适合电力巡检图像目标检测任务。
99.在一实施例中，所述神经网络模型的主干网络包括至少四个并行的不同下采样尺度的第一特征提取模块，各所述第一特征提取模块设置对应的通道注意力机制，以及第一自适应特征融合模块；下采样特征提取模块710，包括：
100.提取单元，用于通过各所述第一特征提取模块将所述待检测电力巡检图像分别进行4倍下采样特征提取、8倍下采样特征提取、16倍下采样特征提取、32倍下采样特征提取得到对应的第一图像特征图；
101.确定单元，用于通过各所述第一特征提取模块设置的通道注意力机制对各所述第一图像特征图赋予相应的权重值，并通过所述第一自适应特征融合模块将赋予相应权重值的各所述第一图像特征图进行自适应特征融合，得到在4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图；
102.输入特征图确定单元，用于将所述4倍下采样图像特征图、所述8倍下采样图像特征图和所述16倍下采样图像特征图作为所述神经网络中颈部网络的输入图像特征图。
103.在一实施例中，所述神经网络模型的颈部网络包括至少三个分支并行的第二自适应特征融合模块；特征融合模块720，包括：
104.融合单元，用于通过所述第二自适应特征融合模块将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图分别进行自适应加权融合，得到4倍下采样对应的第一融合特征图，所述8倍下采样对应的第二融合特征图和16倍下采样对应的第三融合特征图。
105.在一实施例中，各所述预测检测头分别包括至少三个分支的头部特征提取模块，各所述头部特征提取模块由2个卷积层组成，检测模块730，包括：
106.第一检测单元，用于将所述第一融合特征图输入所述神经网络中对应的第一预测检测头中的各头部特征提取模块得到所述第一融合特征图对应的第一检测结果；
107.第二检测单元，用于将所述第二融合特征图输入所述神经网络中对应的第二预测检测头中的各头部特征提取模块得到所述第二融合特征图对应的第二检测结果；
108.第三检测单元，用于将所述第三融合特征图输入所述神经网络中对应的第三预测检测头中的各头部特征提取模块得到所述第三融合特征图对应的第三检测结果；其中，所述第一检测结果、所述第二检测结果和所述第三检测结果中分别包括：所述待检测电力巡检图像中目标设备的中心点位置、包围框宽高信息、中心点偏移量信息、目标设备的缺陷情况和设备类型；其中，所述缺陷情况包括：所述电力设备存在设备缺陷和所述电力设备不存在设备缺陷；
109.第一确定单元，用于采用非极大值抑制方法对所述第一检测结果、所述第二检测结果和所述第三检测结果进行去重操作，以确定各检测结果中概率最大的目标检测结果；
110.第二确定单元，将所述目标检测结果作为所述待检测电力巡检图像中电力设备的检测结果。
111.在一实施例中，所述神经网络模型的训练过程，包括：
112.获取电力巡检图像的训练样本集，其中，所述训练样本集中包括：包含至少一个设备缺陷的第一电力巡检图像集合，以及不包含设备缺陷的第二电力巡检图像集合；所述第一电力巡检图像集合中的第一电力巡检图像对应相应的第一标签文件；所述第二电力巡检
图像集合中的第二电力巡检图像对应相应的第二标签文件；其中，所述第一标签文件中至少包括；所述缺陷设备的坐标信息、宽高信息、设备类型和缺陷情况；所述第一标签文件为空文件；
113.对所述第一电力巡检图像集合和所述第二电力巡检图像集合中分别对应的电力巡检图像进行多尺度下采样特征提取得到对应的图像特征图；
114.对各所述图像特征图进行特征融合得到不同尺度下采样的融合特征图；
115.通过反向传播算法、所述神经网络模型得到的各所述融合特征图的分类结果以及标签结果对所述神经网络模型进行训练，直至所述神经网络模型的损失函数达到最小，得到训练好的电力巡检图像目标检测神经网络，以通过所述训练好的电力巡检图像目标检测神经网络对所述待检测电力巡检图像进行检测。
116.在一实施例中，所述标签文件的配置，包括：
117.在为所述第一电力巡检图像进行标签标注的情况下，对所述电力巡检图像中的至少一个缺陷设备进行拉框标注，得到所述缺陷设备的包围框标注结果，其中，所述包围框标注结果包含包围框内所述缺陷设备的左上角坐标信息、右下角坐标信息、所述缺陷设备的宽高信息、所述缺陷设备的设备类型和缺陷分类；
118.基于所述包围框标注结果确定所述缺陷设备的中心点信息，并基于高斯分布以所述中心点信息为中心确定中心点热度力图；其中，所述中心点热度力图中，离中心点越近亮度值越大；
119.依据所述中心点热度力图确定中心点偏移量信息；
120.将所述中心点热度力图、所述中心点偏移量信息、所述宽高信息、所述缺陷设备的设备类型和所述缺陷分类作为所述第一标签文件；
121.在为所述第二电力巡检图像进行标签标注的情况下，直接将所述第二电力巡检图像对应的第二标签文件标注为空文件。
122.所述在获取电力巡检图像的训练样本集之后，还包括：
123.对所述电力巡检图像进行随机翻转、随机剪裁、画质调整、对抗处理、图像混合或添加白噪声处理中的一种或多种图像处理方式进行数据增强操作。
124.在一实施例中，所述装置，还包括：
125.验证单元，用于在所述神经网络模型的训练过程中，每隔预设迭代次数，利用所述电力巡检图像的测试样本集对所述神经网络模型训练的效果进行验证，其中，所述神经网络模型的验证，包括：
126.获取所述电力巡检图像的测试样本集；
127.依据预设目标检测评价指标和所述测试样本集中的电力巡检图像对所述训练好的电力巡检图像目标检测神经网络进行测试；
128.若所述预设目标检测评价指标达到预期结果，则使用所述训练好的电力巡检图像目标检测神经网络对待检测电力巡检图像进行测试；
129.若所述预设目标检测评价指标未达到预期结果，则调节所述预先配置的所述神经网络的预训练权重和超参数，重新训练电力巡检图像目标检测神经网络，直至所述预设目标检测评价指标达到预期结果。
130.本发明实施例所提供的电力巡检图像检测装置可执行本发明任意实施例所提供
的应用于金融系统的电力巡检图像检测方法，具备执行方法相应的功能模块和有益效果。
131.在一实施例中，图8为本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
132.如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
133.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
134.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如电力巡检图像检测方法。
135.在一些实施例中，电力巡检图像检测处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的电力巡检图像检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行电力巡检图像检测方法。
136.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
137.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程电力巡检图像检测装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功
能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
138.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
139.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
140.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
141.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
142.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
143.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种电力巡检图像检测方法，其特征在于，所述方法，包括：获取待检测电力巡检图像，并将所述待检测电力巡检图像进行至少四个下采样特征提取得到对应的图像特征图；将各所述图像特征图进行特征融合得到各所述下采样分别对应的融合特征图；根据各所述融合特征图和预先训练好的神经网络模型确定所述待检测电力巡检图像中电力设备的检测结果，其中，所述神经网络模型中的预测网络包括至少三个预测检测头，各所述预测检测头分别包括至少三个头部特征提取模块，各所述头部特征提取模块对应相应的预测结果，各所述预测结果中包括：所述待检测电力巡检图像中目标设备的中心点位置、包围框宽高信息、中心点偏移量信息、目标设备的缺陷情况和设备类型。2.根据权利要求1所述的方法，其特征在于，所述神经网络模型的主干网络包括至少四个并行的不同下采样尺度的第一特征提取模块，各所述第一特征提取模块设置对应的通道注意力机制，以及第一自适应特征融合模块；所述并将所述待检测电力巡检图像进行至少四个尺度下采样特征提取得到对应的图像特征图，包括：通过各所述第一特征提取模块将所述待检测电力巡检图像分别进行4倍下采样特征提取、8倍下采样特征提取、16倍下采样特征提取、32倍下采样特征提取得到对应的第一图像特征图；通过各所述第一特征提取模块设置的通道注意力机制对各所述第一图像特征图赋予相应的权重值，并通过所述第一自适应特征融合模块将赋予相应权重值的各所述第一图像特征图进行自适应特征融合，得到在4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图；将所述4倍下采样图像特征图、所述8倍下采样图像特征图和所述16倍下采样图像特征图作为所述神经网络中颈部网络的输入图像特征图。3.根据权利要求1所述的方法，其特征在于，所述神经网络模型的颈部网络包括至少三个分支并行的第二自适应特征融合模块；所述将各所述图像特征图进行特征融合得到不同尺度下采样分别对应的融合特征图，包括：通过所述第二自适应特征融合模块将4倍下采样图像特征图、8倍下采样图像特征图和16倍下采样图像特征图分别进行自适应加权融合，得到4倍下采样对应的第一融合特征图，所述8倍下采样对应的第二融合特征图和16倍下采样对应的第三融合特征图。4.根据权利要求3所述的方法，其特征在于，各所述预测检测头分别包括至少三个分支的头部特征提取模块，各所述头部特征提取模块由2个卷积层组成，所述根据各所述融合特征图和预先训练好的神经网络模型确定所述待检测电力巡检图像的检测结果，包括：将所述第一融合特征图输入所述神经网络中对应的第一预测检测头中的各头部特征提取模块得到所述第一融合特征图对应的第一检测结果；将所述第二融合特征图输入所述神经网络中对应的第二预测检测头中的各头部特征提取模块得到所述第二融合特征图对应的第二检测结果；将所述第三融合特征图输入所述神经网络中对应的第三预测检测头中的各头部特征提取模块得到所述第三融合特征图对应的第三检测结果；其中，所述第一检测结果、所述第二检测结果和所述第三检测结果中分别包括：所述待检测电力巡检图像中目标设备的中心点位置、包围框宽高信息、中心点偏移量信息、目标设备的缺陷情况和设备类型；其中，所述
缺陷情况包括：所述电力设备存在设备缺陷和所述电力设备不存在设备缺陷；采用非极大值抑制方法对所述第一检测结果、所述第二检测结果和所述第三检测结果进行去重操作，以确定各检测结果中概率最大的目标检测结果；将所述目标检测结果作为所述待检测电力巡检图像中电力设备的检测结果。5.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练过程，包括：获取电力巡检图像的训练样本集，其中，所述训练样本集中包括：包含至少一个设备缺陷的第一电力巡检图像集合，以及不包含设备缺陷的第二电力巡检图像集合；所述第一电力巡检图像集合中的第一电力巡检图像对应相应的第一标签文件；所述第二电力巡检图像集合中的第二电力巡检图像对应相应的第二标签文件；其中，所述第一标签文件中至少包括；所述缺陷设备的坐标信息、宽高信息、设备类型和缺陷情况；所述第一标签文件为空文件；对所述第一电力巡检图像集合和所述第二电力巡检图像集合中分别对应的电力巡检图像进行多尺度下采样特征提取得到对应的图像特征图；对各所述图像特征图进行特征融合得到不同尺度下采样的融合特征图；通过反向传播算法、所述神经网络模型得到的各所述融合特征图的分类结果以及标签结果对所述神经网络模型进行训练，直至所述神经网络模型的损失函数达到最小，得到训练好的电力巡检图像目标检测神经网络，以通过所述训练好的电力巡检图像目标检测神经网络对所述待检测电力巡检图像进行检测。6.根据权利要求5所述的方法，其特征在于，所述标签文件的配置，包括：在为所述第一电力巡检图像进行标签标注的情况下，对所述电力巡检图像中的至少一个缺陷设备进行拉框标注，得到所述缺陷设备的包围框标注结果，其中，所述包围框标注结果包含包围框内所述缺陷设备的左上角坐标信息、右下角坐标信息、所述缺陷设备的宽高信息、所述缺陷设备的设备类型和缺陷情况；基于所述包围框标注结果确定所述缺陷设备的中心点信息，并基于高斯分布以所述中心点信息为中心确定中心点热度力图；其中，所述中心点热度力图中，离中心点越近亮度值越大；依据所述中心点热度力图确定中心点偏移量信息；将所述中心点热度力图、所述中心点偏移量信息、所述宽高信息、所述缺陷设备的设备类型和缺陷情况作为所述第一标签文件；在为所述第二电力巡检图像进行标签标注的情况下，直接将所述第二电力巡检图像对应的第二标签文件标注为空文件。7.根据权利要求5所述的方法，其特征在于，所述在获取电力巡检图像的训练样本集之后，还包括：对所述电力巡检图像进行随机翻转、随机剪裁、画质调整、对抗处理、图像混合或添加白噪声处理中的一种或多种图像处理方式进行数据增强操作。8.根据权利要求5所述的方法，其特征在于，所述方法，还包括：在所述神经网络模型的训练过程中，每隔预设迭代次数，利用所述电力巡检图像的测试样本集对所述神经网络模型训练的效果进行验证，其中，所述神经网络模型的验证，包括：
获取所述电力巡检图像的测试样本集；依据预设目标检测评价指标和所述测试样本集中的电力巡检图像对所述训练好的电力巡检图像目标检测神经网络进行测试；若所述预设目标检测评价指标达到预期结果，则使用所述训练好的电力巡检图像目标检测神经网络对待检测电力巡检图像进行测试；若所述预设目标检测评价指标未达到预期结果，则调节所述预先配置的所述神经网络的预训练权重和超参数，重新训练电力巡检图像目标检测神经网络，直至所述预设目标检测评价指标达到预期结果。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述电力巡检图像检测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的电力巡检图像检测方法。

技术总结
本发明实施例公开一种电力巡检图像检测方法、设备和存储介质。该方法包括获取待检测电力巡检图像，并将待检测电力巡检图像进行至少四个下采样特征提取得到对应的图像特征图；将各图像特征图进行特征融合得到各下采样分别对应的融合特征图；根据各融合特征图和神经网络模型确定待检测电力巡检图像中电力设备的检测结果，其中，神经网络模型中的预测网络包括至少三个预测检测头，各预测检测头分别包括至少三个头部特征提取模块，各头部特征提取模块对应相应的预测结果。本发明实施例，通过上述技术方案，能够兼顾待检测电力巡检图像中的大目标和小目标检测，提升待检测电力巡检图像中有缺陷的电力设备检测的精度和准确度，具有很好的实时性。有很好的实时性。有很好的实时性。


技术研发人员：乔嘉赓 彭子平 易淑智 杨帆 陈文文 钟红 崔宫 洪焕森 史殷凯 胡玉婷 郑晨炜 彭子豪 范兴凯
受保护的技术使用者：广东电网有限责任公司韶关供电局
技术研发日：2023.06.19
技术公布日：2023/9/12