一种基于多层级多尺度特征融合的电网设备缺陷检测方法与流程

1.本发明涉及电力设备智能巡检技术领域，并且更具体地，涉及一种基于多层级多尺度特征融合的电网设备缺陷检测方法。


背景技术：

2.伴随着国家经济发展水平和人民生活水平的提高，电网的规模也在不断扩大，关注输电线路并保障电网安全可靠地运行是电力系统重要环节之一。在运行过程中由于长期暴露在野外，输电线路的杆塔、金具、绝缘子和导地线等部件容易出现锈蚀、破损、断股等异常。同时，部件安装不规范也为输电线路安全运行带来隐患。利用无人机巡检数据，通过深度学习技术高效、准确地获取输电线路本体缺陷信息对于线路缺陷巡检具有重要的实际意义。然而，输电线路所处环境复杂多变，这给缺陷识别带来了巨大的挑战。
3.目前，通过操纵无人机对输电线杆塔关键位置进行现场数据采集，然后将图像数据传回服务器，最后再由运行在服务器上的目标检测算法模型(如faster-rcnn、yolov3等)处理图像数据，从而得到设备缺陷的检测结果。电力设备缺陷种类众多，检测任务难度较大，一般经由算法模型得到的结果中还含有大量误报或者漏检，因而最终的结果还需要电网一线班组人员进行复核。
4.同时，采用无人机对输电线路巡检的工作依赖大量的机载可见光图像采集设备获得的大量的图像数据，在巡检期间，摄像头一直处于拍摄中，并将这些海量数据上传至服务器集中处理和分析或将拍摄的图像储存在机载存储设备中。由于网络带宽是时变且有限的资源，海量数据的上传至服务器进行集中处理和分析会占用大量的网络带宽，造成网络拥塞，使得整个通信过程延迟过高而无法完成故障缺陷的实时识别以至于对设备缺陷的忽略。
5.常规的目标检测算法，两阶段的检测算法虽然精度高但速度慢，一阶段算法快但精度低，进行复核需要消耗大量的人力物力，难以实现实时监控。


技术实现要素：

6.针对现有技术的不足，本发明提供一种基于多层级多尺度特征融合的电网设备缺陷检测方法。
7.根据本发明的一个方面，提供了一种基于多层级多尺度特征融合的电网设备缺陷检测方法，包括：
8.采集待检测缺陷的电网设备的巡检图像数据；
9.通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；
10.通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；
11.利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果
剔除，确定电网设备的缺陷检测结果。
12.可选地，全类缺陷检测模型用于检测电网设备巡检当前场景下涵盖的所有缺陷类型，全类缺陷检测模型包括：输电线路全类设备缺陷检测模型、配电线路全类设备缺陷检测模型、变电站全类设备缺陷检测模型以及换流站全类设备缺陷检测模型。
13.可选地，通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果，包括：
14.通过全类检测模型的特征提取层对巡检图像数据进行特征提取；
15.将提取的所有特征经过全类检测模型的融合自注意力模块后进行拼接融合；
16.对拼接融合后的数据特征进行分类和定位，确定第一缺陷检测结果。
17.可选地，单类缺陷检测模型采用nanodet-plus-m方法。
18.可选地，利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果，包括：
19.根据第一缺陷检测结果和第二缺陷检测结果分别构建多个缺陷类型的待处理候选框集，并构造一个存放最优框的集合m；
20.分别计算候选框集中每个候选框的置信度，并根据置信度对候选框集中的候选框进行排序，选出置信度最高的候选框移入到集合m；
21.遍历候选框集中的候选框，分别与集合m计算动态交并比，在交并比高于预先设置的第一阈值的情况下，将该候选框从候选框集去除，并且在交并比不高于第一阈值的情况下，将该候选框移入至集合m；
22.在候选框集为空时，依次获得多个缺陷类型的待处理候选框集对应的多个集合m，并根据多个集合m确定缺陷检测结果。
23.可选地，遍历候选框集中的候选框，分别与集合m计算动态交并比，包括：
24.根据每个候选框的缺陷类型对应的动态交并比计算公式，分别计算与集合m的交并比。
25.可选地，候选框的缺陷类型对应的动态交并比计算公式包括：
26.在候选框的缺陷类型为预设的小尺寸类缺陷或小目标缺陷的情况下，动态交并比计算公式为：
[0027][0028]
在候选框的缺陷类型为非小尺寸类缺陷或者非小目标缺陷的情况下，动态交并比的计算公式为：
[0029][0030]
其中，miou为动态交并比，d为候选框和集合m中框的中心点距离，c为包含候选框和集合m中框外接矩形的对角线，ws为候选框的宽，hs为候选框的高。
[0031]
可选地，根据多个集合m确定缺陷检测结果的操作，包括：
[0032]
分别检测多个集合m中的候选框是否有同一属性，并且损失函数是否大于预设的第二阈值；
[0033]
在多个集合m中的候选框有同一属性，并且损失函数大于预设的第二阈值的情况下，将该候选框从多个集合m中去除，确定缺陷检测结果。
[0034]
根据本发明的另一个方面，提供了一种基于多层级多尺度特征融合的电网设备缺陷检测装置，包括：
[0035]
采集模块，用于采集待检测缺陷的电网设备的巡检图像数据；
[0036]
第一确定模块，用于通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；
[0037]
第二确定模块，用于通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；
[0038]
第三确定模块，用于利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。
[0039]
根据本发明的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明上述任一方面所述的方法。
[0040]
根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明上述任一方面所述的方法。
[0041]
从而，本技术通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。基于前沿的人工智能和计算机视觉技术，以深度卷积神经网络作为基础，采用一种基于多层级多尺度特征融合的模型来对电力设备多种缺陷进行检测。与现有电力设备缺陷检测方法相比，对电力设备多种缺陷进行识别的效果更优，在准确率高的同时错误检出也相对低，且运行速度较快。
附图说明
[0042]
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
[0043]
图1是本发明一示例性实施例提供的基于多层级多尺度特征融合的电网设备缺陷检测方法的流程示意图；
[0044]
图2是本发明一示例性实施例提供的缺陷检测的整体流程概图；
[0045]
图3是本发明一示例性实施例提供的miou值计算参数的示意图；
[0046]
图4是本发明一示例性实施例提供的acddet结构示意图；
[0047]
图5是本发明一示例性实施例提供的深度可分离卷积示意图；
[0048]
图6是本发明一示例性实施例提供的两种mhres-unit结构示意图；
[0049]
图7是本发明一示例性实施例提供的fsam模块示意图；
[0050]
图8是本发明一示例性实施例提供的基于多层级多尺度特征融合的电网设备缺陷检测装置的结构示意图；
[0051]
图9是本发明一示例性实施例提供的电子设备的结构。
具体实施方式
[0052]
下面，将参考附图详细地描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
[0053]
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
[0054]
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
[0055]
还应理解，在本发明实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
[0056]
还应理解，对于本发明实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
[0057]
另外，本发明中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本发明中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0058]
还应理解，本发明对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
[0059]
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
[0060]
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
[0061]
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
[0062]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0063]
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
[0064]
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
[0065]
示例性方法
[0066]
图1是本发明一示例性实施例提供的基于多层级多尺度特征融合的电网设备缺陷检测方法的流程示意图。本实施例可应用在电子设备上，如图1所示，基于多层级多尺度特征融合的电网设备缺陷检测方法100包括以下步骤：
[0067]
步骤101，采集待检测缺陷的电网设备的巡检图像数据。
[0068]
步骤102，通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果。
[0069]
可选地，全类缺陷检测模型用于检测电网设备巡检当前场景下涵盖的所有缺陷类型，全类缺陷检测模型包括：输电线路全类设备缺陷检测模型、配电线路全类设备缺陷检测模型、变电站全类设备缺陷检测模型以及换流站全类设备缺陷检测模型。
[0070]
可选地，通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果，包括：
[0071]
通过全类检测模型的特征提取层对巡检图像数据进行特征提取；
[0072]
将提取的所有特征经过全类检测模型的融合自注意力模块后进行拼接融合；
[0073]
对拼接融合后的数据特征进行分类和定位，确定第一缺陷检测结果。
[0074]
步骤103，通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果。
[0075]
可选地，单类缺陷检测模型采用nanodet-plus-m方法。
[0076]
步骤104，利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。
[0077]
可选地，利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果，包括：
[0078]
根据第一缺陷检测结果和第二缺陷检测结果分别构建多个缺陷类型的待处理候选框集，并构造一个存放最优框的集合m；
[0079]
分别计算候选框集中每个候选框的置信度，并根据置信度对候选框集中的候选框进行排序，选出置信度最高的候选框移入到集合m；
[0080]
遍历候选框集中的候选框，分别与集合m计算动态交并比，在交并比高于预先设置的第一阈值的情况下，将该候选框从候选框集去除，并且在交并比不高于第一阈值的情况下，将该候选框移入至集合m；
[0081]
在候选框集为空时，依次获得多个缺陷类型的待处理候选框集对应的多个集合m，并根据多个集合m确定缺陷检测结果。
[0082]
可选地，遍历候选框集中的候选框，分别与集合m计算动态交并比，包括：
[0083]
根据每个候选框的缺陷类型对应的动态交并比计算公式，分别计算与集合m的交并比。
[0084]
可选地，候选框的缺陷类型对应的动态交并比计算公式包括：
[0085]
在候选框的缺陷类型为预设的小尺寸类缺陷或小目标缺陷的情况下，动态交并比计算公式为：
[0086]
[0087]
在候选框的缺陷类型为非小尺寸类缺陷或者非小目标缺陷的情况下，动态交并比的计算公式为：
[0088][0089]
其中，miou为动态交并比，d为候选框和集合m中框的中心点距离，c为包含候选框和集合m中框外接矩形的对角线，ws为候选框的宽，hs为候选框的高。
[0090]
可选地，根据多个集合m确定缺陷检测结果的操作，包括：
[0091]
分别检测多个集合m中的候选框是否有同一属性，并且损失函数是否大于预设的第二阈值；
[0092]
在多个集合m中的候选框有同一属性，并且损失函数大于预设的第二阈值的情况下，将该候选框从多个集合m中去除，确定缺陷检测结果。
[0093]
具体地，参考图2所示，本发明基于前沿的人工智能和计算机视觉技术，采用深度卷积神经网络作为基础，设计出一种基于多层级多尺度特征融合的目标检测算法来对电网中的杆塔、金具、绝缘子和导地线等多种缺陷进行检测，并且检测模型的主干网络部分采用深度可分离卷积，以提高算法模型的运算速度。
[0094]
多层次多特征融合的缺陷识别算法主要包含两种检测模型：1)全类缺陷检测模型；2)单类缺陷检测模型。
[0095]
全类缺陷检测模型按照输变配电设备场景划分，分别4种：输电线路全类设备缺陷检测模型、配电线路全类设备缺陷检测模型、变电站全类设备缺陷检测模型、换流站全类设备缺陷检测模型。全类缺陷检测模型可检测电网设备巡检当前场景下可能涵盖的所有缺陷类型，如输电线路全类设备缺陷检测模型可识别出输电线路巡检场景下全部设备缺陷，包含杆塔、金具、绝缘子和导地线等全部输电线路设备缺陷类型。
[0096]
单类缺陷检测模型集中负责检测某一子类缺陷，单类缺陷检测模型可为检测某一设备部件(如销钉类缺陷)缺陷的模型，也可为检测某一个具体类型缺陷(如开口销)的模型。
[0097]
电力设备缺陷种类繁多，本专利的方法可一次性检测多个大类的缺陷，我们将专利中的算法模型称之为全类缺陷检测模型。如输电线路全类缺陷检测模型可以检测杆塔、绝缘子、大尺寸金具、小尺寸金具和导地线等多种缺陷，而且还可以根据实际应用的需要进行可检测缺陷类别扩增。全类缺陷检测模型因为要检测多种缺陷，各种大类缺陷之间特征差异较大，而某一大类内的各小类缺陷差异较小，因而该检测模型必须具备拟合能力较强且可做细粒度分类的能力。
[0098]
针对电力设备全类缺陷检测的难点和要求，本发明专门设计了一种称为acddet(all-class defects detector，全类缺陷检测器)的模型。acddet的特征提取层由可进行多尺度特征融合的四个sub-backbone(子主干网络)组成，每个sub-backbone包含mhres-unit(multi-hierarchies residual unit，多层级残差单元)结构，以降低训练时的梯度消失以加快模型收敛。然后各组特征再经过一个fsam模块(fusion self-attention module，融合自注意力模块)后进行拼接融合，最后对缺陷进行分类和定位。
[0099]
单类缺陷检测模型只负责检测某一单类缺陷，且有多个单类缺陷检测模型。所以单类检测模型容量不能过大，本方法中单类缺陷检测模型采用nanodet-plus-m。
[0100]
在识别电网设备巡检图像时，同时运行全类缺陷检测模型和单类缺陷检测模型对批量图像进行缺陷检测；单类缺陷检测模型大于9个，具体模型数根据被巡场景电网设备部件分类数量来定。若现场智能处理硬件模块的显存足够，可以同时运行所有模型；若显存不够，可先运行全类缺陷检测模型，再依次运行单类缺陷检测模型。
[0101]
对多个模型的输出结果做非极大值剔除处理(i-nmd)，对重叠输出结果进行剔除。非极大值剔除处理的具体流程见下:
[0102]
(1)输入：待处理候选集h1的构成为全类模型和单类模型对一张图像检测某一类缺陷的输出结果，若有9种缺陷，单类模型有9个，被检测图像上可有9种类型缺陷，则待处理候选集h仅为9类中一类缺陷目标检测输出框集合。
[0103]
(2)选定置信度最高的输出框为起始目标框s1，视为检测的缺陷结果。与s1有像素交集的输出集r1，r1中每个输出框的缺陷类型与s1一致。计算集合r1中每个输出框与s1的miou，按定基于置信度顺序大小在r1集合中遍历。大于miou阈值的剔除出r1集合，分到冗余集d中；小于等于miou阈值的输出框rn留在输出集r1中。直到遍历完集合r1的所有框。
[0104]
(3)从h集合中选定置信度第二大的输出框作为第二次遍历的目标框s2，重复2的遍历过程。依次重复，直到h集合中剩余的所有框都被选作为了目标框s。
[0105]
(4)输出，在图像上显示集合s，作为检测的缺陷结果。
[0106]
(5)上述过程2-4涉及的miou值不是固定值。miou值根据识别的缺陷类型计算，计算方法为：
[0107]
a)若起始目标框s1的类型为小尺寸类缺陷或小目标缺陷(宽高之短边占图像宽高短边的比例小于2％)，miou阈值取0.75(此处可根据具体需求进行其他阈值限定，不做唯一限定)。
[0108]
其中，d为两个矩形框框的中心点距离，c为包含两个矩形框外接矩形的对角线，如图3所示。ws为起始框s的宽，hs为起始框s的高。
[0109]
b)若起始目标框s1的类型非小尺寸类目标，为其他类型目标。则miou阈值取0.25(此处可根据具体需求进行其他阈值限定，不做唯一限定)。判断是否留在输出集r1中，需同时要求h集合中的矩形框中心点与目标框s的中心点距离大于目标框对角线的1/2(此处可根据具体需求进行其他阈值限定，不做唯一限定)。
[0110]
(6)对不同类型的缺陷，依次按照(1)-(5)步骤处理，得到不同缺陷类型的输出结果，即r集合。
[0111]
(7)对r集合的所有结果，检测是否有同一属性、diou大于0.9的框，若有，则从r集合中剔除置信度小的，形成最终输出结果。
[0112]
此外，为了能够在运行速度较快、虚警少且发现率较高的情况下对电力设备的多种缺陷进行检测，本发明专利采用一种基于多层级多尺度特征融合的目标检测算法，该算法称之为全类缺陷检测器acddet。
[0113]
(1)acddet整体架构设计
[0114]
acddet可同时检测杆塔、金具、绝缘子和导地线四种电力设备缺陷，其具体网络结
构如图4。由于四种大类缺陷的尺寸变化较大，acddet的特征提取层由四个包含mhres-unit结构的sub-backbone组成，并且四个sub-backbone的输入分别采用一种特定尺度，分别是(3500,2100)、(3000,1800)、(2500,1500)和(2000,1200)，对应着提取金具、导地线、绝缘子和杆塔的特征。这样设计的理由是：随着网络的加深，不断对特征图进行下采样，虽然语义信息会不断加强，但是位置和纹理信息会不断减弱，尤其是小目标的信息可能会直接消失，因此为了提取小目标的特征需要加大网络的输入尺寸。最后从四个sub-backbone出来的特征图分别经过一个fsam模块再拼接成一组更高层级的特征图，以提高网络模型对尺度变化较大的四种大类缺陷特征的拟合和提取能力，这是多尺度特征融合的体现之一。
[0115]
另外，每个大类缺陷内的各小类缺陷之间也会存在较小的尺度差异，因而在每个sub-backbone中亦进行了多尺度特征的提取。如3，在每个sub-backbone的中间，采用了1
×
1、3
×
3、5
×
5和7
×
7四种尺寸的卷积核，以提取较小不同尺度差异的特征信息。然后，从这四种卷积核出来的特征图拼接到一起组成新的特征图，这是多尺度特征融合的体现之二。经过这种内外两个层级的多尺度特征融合，能最大限度地提升acddet对多种尺度缺陷特征的拟合和提取能力，因而能提高对多种电力设备缺陷的检测精度。
[0116]
为了减少acddet的计算量，提升运算速度，本发明把acddet的前两个大尺寸输入((3500,2100)和(3000,1800))的sub-backbone中mhres-unit的常规卷积替换成dsc(depth separable convolution，深度可分离卷积，一种计算量很小的卷积)。如图5所示，一个标准的dsc由depthwise convolution(通道维度卷积)和pointwise convolution(1
×
1卷积)组成。即前两个sub-backbone中的mhres-unit由dsc组成，记作d-mhres-unit；后面两个sub-backbone中的mhres-unit由常规卷积组成，记作c-mhres-unit。
[0117]
(2)mhres-unit结构
[0118]
mhres-unit(multi-hierarchies residual unit，多层级残差单元)的整体结构和各组成成份如图6所示。一个mhres-unit中有两条跳层连接，与单层级(单条跳层连接)残差单元相比，mhres-unit能让梯度回传更加顺畅，让模型更加容易训练收敛。
[0119]
另外，图6中有两种mhres-unit：d-mhres-unit里的卷积都是深度可分离卷积dsc，这种残差结构计算量小，能够加快模型的运算速度；c-mhres-unit里的卷积都是常规卷积conv。图6中的
‘
bn’是卷积神经网络中最常用的batchnorm层，leaky-relu是激活函数。
[0120]
(3)fsam模块
[0121]
一般来说，经过特征融合有可能会造成信息冗余，采用fsam(fusion self-attention module，融合自注意力模块)是为了对信息特征进行降维和筛选，使模型将注意力更加集中到有效和最重要的特征上。
[0122]
具体的fsam模块结构如图7所示，其具体计算过程为：
[0123]
①
一组特征图xc(c为该特征图的通道数)分别经过三个函数f1、f2和f3(为了精简计算，本发明采用最简单的三组1
×
1卷积核)得到三组新的通道数相同(设为d)的特征图和即(下面公式中*表示卷积)
[0124][0125]
[0126][0127]
②
然后，和两组特征图对应通道对应空间位置元素相乘，进行特征融合，即做哈达玛乘积得到特征图zd(下面公式中表示哈达玛乘积)
[0128][0129]
③
再对zd在通道维度上做softmax计算，得到一张自注意力空间映射图f1(其通道数变为1)
[0130]
f1＝softmax(zd)
[0131]
④
将f1在通道维度上进行广播扩增到d个通道fd，与做哈达玛乘积得到最终的一组自注意力特征图ad：
[0132]
fd＝broadcasting(f1)
[0133][0134]
(2)单类缺陷检测模型
[0135]
单类缺陷检测模型一共4个模型，分别检测杆塔、金具、绝缘子和导地线4种缺陷，且这4个模型均采用nanodet-plus-m检测模型。
[0136]
nanodet-plus-m是一个速度超快和轻量级的极易部署到边缘端的目标检测模型。该模型的文件以半精度(fp16)存储时只有2.3mb，且以416*416的输入分辨率在arm上能达到50.6帧的速度。nanodet是一种fcos(全卷积一阶段目标检测)式的单阶段anchor-free目标检测模型，它使用atss(自适应训练样本选择)进行目标采样，使用generalized focal loss损失函数执行分类和边框回归(box regression)。
[0137]
(3)多模型检测结果的融合
[0138]
本发明中所采用的模型融合与学术界常说的模型集成(model ensemble)不太一样，不是将多个模型的结果经过投票(voting)或者平均(averaging)得到检测结果，因为本发明中各个模型负责检测的目标和任务层次不一样。
[0139]
因此在本发明中，是将某张待测的电力设备图像同时输入全类缺陷检测模型和4个单类缺陷检测模型(显存不够的情况下可依次运行模型)，然后将多个模型的输出结果混在一起做非极大值抑制(nms)，从而得到最终的电力缺陷检测结果，整体检测流程。本技术主要基于前沿的人工智能和计算机视觉技术，以深度卷积神经网络作为基础，采用一种基于多层级多尺度特征融合的模型来对电力设备多种缺陷进行检测。本发明与现有电力设备缺陷检测方法相比，对电力设备多种缺陷进行识别的效果更优，在准确率高的同时错误检出也相对低，且运行速度较快。
[0140]
本技术可用于电网设备智能巡检作业场景，在地面具有高性能计算的硬件上部署后，可实时检测判定电网设备缺陷，减轻无人机、机器人等现场巡检装备的数据回传压力，提高设备运维检修工作的及时性，保障电网设备安全稳定运行。
[0141]
示例性装置
[0142]
图8是本发明一示例性实施例提供的基于多层级多尺度特征融合的电网设备缺陷检测装置的结构示意图。如图8所示，装置800包括：
[0143]
采集模块810，用于采集待检测缺陷的电网设备的巡检图像数据；
[0144]
第一确定模块820，用于通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；
[0145]
第二确定模块830，用于通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；
[0146]
第三确定模块840，用于利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。
[0147]
可选地，全类缺陷检测模型用于检测电网设备巡检当前场景下涵盖的所有缺陷类型，全类缺陷检测模型包括：输电线路全类设备缺陷检测模型、配电线路全类设备缺陷检测模型、变电站全类设备缺陷检测模型以及换流站全类设备缺陷检测模型。
[0148]
可选地，第一确定模块820，包括：
[0149]
特征提取子模块，用于通过全类检测模型的特征提取层对巡检图像数据进行特征提取；
[0150]
拼接融合子模块，用于将提取的所有特征经过全类检测模型的融合自注意力模块后进行拼接融合；
[0151]
第一确定子模块，用于对拼接融合后的数据特征进行分类和定位，确定第一缺陷检测结果。
[0152]
可选地，单类缺陷检测模型采用nanodet-plus-m方法。
[0153]
可选地，第三确定模块840，包括：
[0154]
构造子模块，用于根据第一缺陷检测结果和第二缺陷检测结果分别构建多个缺陷类型的待处理候选框集，并构造一个存放最优框的集合m；
[0155]
移入子模块，用于分别计算候选框集中每个候选框的置信度，并根据置信度对候选框集中的候选框进行排序，选出置信度最高的候选框移入到集合m；
[0156]
去除子模块，用于遍历候选框集中的候选框，分别与集合m计算动态交并比，在交并比高于预先设置的第一阈值的情况下，将该候选框从候选框集去除，并且在交并比不高于第一阈值的情况下，将该候选框移入至集合m；
[0157]
第二确定子模块，用于在候选框集为空时，依次获得多个缺陷类型的待处理候选框集对应的多个集合m，并根据多个集合m确定缺陷检测结果。
[0158]
可选地，去除子模块中遍历候选框集中的候选框，分别与集合m计算动态交并比，包括：
[0159]
计算单元，用于根据每个候选框的缺陷类型对应的动态交并比计算公式，分别计算与集合m的交并比。
[0160]
可选地，候选框的缺陷类型对应的动态交并比计算公式包括：
[0161]
在候选框的缺陷类型为预设的小尺寸类缺陷或小目标缺陷的情况下，动态交并比计算公式为：
[0162][0163]
在候选框的缺陷类型为非小尺寸类缺陷或者非小目标缺陷的情况下，动态交并比的计算公式为：
[0164][0165]
其中，miou为动态交并比，d为候选框和集合m中框的中心点距离，c为包含候选框和集合m中框外接矩形的对角线，ws为候选框的宽，hs为候选框的高。
[0166]
可选地，第二确定子模块，包括：
[0167]
检测单元，用于分别检测多个集合m中的候选框是否有同一属性，并且损失函数是否大于预设的第二阈值；
[0168]
确定单元，用于在多个集合m中的候选框有同一属性，并且损失函数大于预设的第二阈值的情况下，将该候选框从多个集合m中去除，确定缺陷检测结果。
[0169]
示例性电子设备
[0170]
图9是本发明一示例性实施例提供的电子设备的结构。如图9所示，电子设备90包括一个或多个处理器91和存储器92。
[0171]
处理器91可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
[0172]
存储器92可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器91可以运行所述程序指令，以实现上文所述的本发明的各个实施例的软件程序的方法以及/或者其他期望的功能。在一个示例中，电子设备还可以包括：输入装置93和输出装置94，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0173]
此外，该输入装置93还可以包括例如键盘、鼠标等等。
[0174]
该输出装置94可以向外部输出各种信息。该输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0175]
当然，为了简化，图9中仅示出了该电子设备中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。
[0176]
示例性计算机程序产品和计算机可读存储介质
[0177]
除了上述方法和设备以外，本发明的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。
[0178]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0179]
此外，本发明的实施例还可以是计算机可读存储介质，其上存储有计算机程序指
令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的对历史变更记录进行信息挖掘的方法中的步骤。
[0180]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0181]
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
[0182]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0183]
本发明中涉及的器件、系统、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、系统、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0184]
可能以许多方式来实现本发明的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
[0185]
还需要指出的是，在本发明的系统、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0186]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：
1.一种基于多层级多尺度特征融合的电网设备缺陷检测方法，其特征在于，包括：采集待检测缺陷的电网设备的巡检图像数据；通过与所述电网设备对应的全类缺陷检测模型对所述巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；通过与所述电网设备对应的多个单类缺陷检测模型对所述巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；利用非极大值剔除方法对所述第一缺陷检测结果和所述第二缺陷检测结果进行重叠结果剔除，确定所述电网设备的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述全类缺陷检测模型用于检测所述电网设备巡检当前场景下涵盖的所有缺陷类型，所述全类缺陷检测模型包括：输电线路全类设备缺陷检测模型、配电线路全类设备缺陷检测模型、变电站全类设备缺陷检测模型以及换流站全类设备缺陷检测模型。3.根据权利要求1所述的方法，其特征在于，通过与所述电网设备对应的全类缺陷检测模型对所述巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果，包括：通过所述全类检测模型的特征提取层对所述巡检图像数据进行特征提取；将提取的所有特征经过所述全类检测模型的融合自注意力模块后进行拼接融合；对拼接融合后的数据特征进行分类和定位，确定所述第一缺陷检测结果。4.根据权利要求1所述的方法，其特征在于，所述单类缺陷检测模型采用nanodet-plus-m方法。5.根据权利要求1所述的方法，其特征在于，利用非极大值剔除方法对所述第一缺陷检测结果和所述第二缺陷检测结果进行重叠结果剔除，确定所述电网设备的缺陷检测结果，包括：根据所述第一缺陷检测结果和所述第二缺陷检测结果分别构建多个缺陷类型的待处理候选框集，并构造一个存放最优框的集合m；分别计算所述候选框集中每个候选框的置信度，并根据所述置信度对所述候选框集中的候选框进行排序，选出置信度最高的候选框移入到所述集合m；遍历所述候选框集中的候选框，分别与所述集合m计算动态交并比，在所述交并比高于预先设置的第一阈值的情况下，将该候选框从所述候选框集去除，并且在所述交并比不高于所述第一阈值的情况下，将该候选框移入至所述集合m；在所述候选框集为空时，依次获得多个缺陷类型的待处理候选框集对应的多个集合m，并根据所述多个集合m确定所述缺陷检测结果。6.根据权利要求5所述的方法，其特征在于，遍历所述候选框集中的候选框，分别与所述集合m计算动态交并比，包括：根据每个所述候选框的缺陷类型对应的动态交并比计算公式，分别计算与所述集合m的交并比。7.根据权利要求6所述的方法，其特征在于，所述候选框的缺陷类型对应的动态交并比计算公式包括：在所述候选框的缺陷类型为预设的小尺寸类缺陷或小目标缺陷的情况下，所述动态交并比计算公式为：
在所述候选框的缺陷类型为非小尺寸类缺陷或者非小目标缺陷的情况下，所述动态交并比的计算公式为：其中，miou为动态交并比，d为候选框和集合m中框的中心点距离，c为包含候选框和集合m中框外接矩形的对角线，w
s
为候选框的宽，h
s
为候选框的高。8.根据权利要求5所述的方法，其特征在于，根据所述多个集合m确定所述缺陷检测结果的操作，包括：分别检测所述多个集合m中的候选框是否有同一属性，并且损失函数是否大于预设的第二阈值；在所述多个集合m中的候选框有同一属性，并且损失函数大于预设的第二阈值的情况下，将该候选框从所述多个集合m中去除，确定所述缺陷检测结果。9.一种基于多层级多尺度特征融合的电网设备缺陷检测装置，其特征在于，包括：采集模块，用于采集待检测缺陷的电网设备的巡检图像数据；第一确定模块，用于通过与所述电网设备对应的全类缺陷检测模型对所述巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；第二确定模块，用于通过与所述电网设备对应的多个单类缺陷检测模型对所述巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；第三确定模块，用于利用非极大值剔除方法对所述第一缺陷检测结果和所述第二缺陷检测结果进行重叠结果剔除，确定所述电网设备的缺陷检测结果。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的方法。11.一种电子设备，其特征在于，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8任一所述的方法。

技术总结
本发明公开了一种基于多层级多尺度特征融合的电网设备缺陷检测方法。其中，方法包括：采集待检测缺陷的电网设备的巡检图像数据；通过与电网设备对应的全类缺陷检测模型对巡检图像数据进行全类缺陷检测，确定第一缺陷检测结果；通过与电网设备对应的多个单类缺陷检测模型对巡检图像数据进行单类缺陷检测，确定第二缺陷检测结果；利用非极大值剔除方法对第一缺陷检测结果和第二缺陷检测结果进行重叠结果剔除，确定电网设备的缺陷检测结果。确定电网设备的缺陷检测结果。确定电网设备的缺陷检测结果。


技术研发人员：付晶 谈家英 周立玮 杨宁 彭波 邵瑰玮 高超 蔡焕青 戴永东 陈怡 刘壮 胡霁 文志科
受保护的技术使用者：国网江苏省电力有限公司 国网江苏省电力有限公司泰州供电分公司
技术研发日：2023.01.18
技术公布日：2023/9/11