基于稀疏网络的配电箱电路设备自动识别方法及系统

1.本发明属于计算机视觉的技术领域，在配电箱电路设备自动识别中，根据本发明提出的稀疏网络模型结构，对收集到的配电箱内部结构图片进行处理，可以识别出其中包含的配电箱电路设备类别及其开关状态。


背景技术：

2.配电箱在工厂、医院、大型建筑、楼宇、机场等各种场景下都不可或缺，特别是在大型工厂以及大型建筑中的应用十分广泛，数量庞大，所以对配电箱中各类电路设备元件的信息采集以及元件的状态监测工作是现代社会中的一项重要工作之一。多数工厂和建筑中配备的是老式的配电箱，随着经济的发展，许多建筑配电箱中的电路设备老化产生安全隐患，需要定时更新电路设备，保证安全生产和生活。在一些电力相关的工厂，配电箱老旧，且大部分已丢失原有的配电箱电路图，加上配电箱建设规模大，所以维护原有配电箱难度较大，需要大量的人力，有时这些检修的人力会超越购买新设备的成本。但是，直接更换新式的智能配电箱也会由于更换规模较大，耗时耗力，在维护和测试新式配电箱时可能会导致生产生活停摆，从而影响工厂的正常运行，造成经济的损失。在更换电路设备时需要统计原有配电箱的电路设备数量并绘制相应的电路图，长此以往，对配电箱信息进行人工采集，需要耗费的人力资源很大。
3.随着近年来计算机视觉的蓬勃发展，人工智能逐步代替人力解决了许多生产生活的现实问题，减少了人力的消耗，提高了生产效率。研究发现基于深度神经网络的目标检测模型可以很好地解决智能电路信息建设中存在的问题，但现有的目标检测模型更多的是对于理论的研究，对于工业落地要求的轻量化网络模型仍有较大的提升空间，同时对于不同尺度目标的检测也是目标检测中有待解决的难点之一，大物体的信息会在特征图中占有较大的部分，小物体的细节特征随着网络的不断加深，特征可能会逐步消失，如何提高目标检测模型的检测准确率仍是研究的关键。
4.transformer模型是完全基于注意力机制构建的，近年来，研究人员成功在计算机视觉领域运用transformer构建了目标检测模型，实现了图像检测模型结构的飞跃。模型主要的两个部分就是编码器及解码器，其中编码器就是将图像输入编码成固定长度的向量，解码器就是根据编码器的输出解码出需要的结果。
5.本发明针对上述智能电路信息建设存在的问题，将密集目标检测模型迁移至电路设备识别领域，构建了一种基于transformer解码器思想的sparse refined r-cnn目标检测模型，解决电路设备自动识别及电路设备状态监测问题，为电路设备自动转化cad电路图、无人机监测设备状态等提供技术支撑。


技术实现要素：

6.本发明针对上述智能电路信息建设存在的问题，将密集目标检测模型迁移至电路设备识别领域，构建了一种基于transformer解码器思想的sparse refined r-cnn目标检
测模型，解决电路设备自动识别及电路设备状态监测问题，为电路设备自动转化cad电路图、无人机监测设备状态等提供技术支撑。
7.本发明提供一种基于稀疏网络的配电箱电路设备自动识别方法，将密集目标检测模型迁移至电路设备识别，构建了基于transformer解码器思想的目标检测模型，解决电路设备自动识别及电路设备状态监测，实现过程包括以下处理，
8.图像特征提取，得到多尺度特征图的输出；
9.准备提议候选框及提议特征，包括通过设置超参的方式随机生成一组提议候选框，提议候选框提供了物体的粗定位，并引入一组同样大小的提议特征，来辅助学习；
10.特征融合，包括将提议候选框及提议特征分别作为动态实例交互头的输入进行后续操作，生成最终的学习特征；所述动态实例交互头采用若干个级联头的方式进行，其中每个交互头中都包含局部交叉注意力机制模块gm-mca以及多尺度特征融合模块ppa；
11.获取分类和回归结果，包括在得到交互头生成的最终学习特征后进行分类和回归，生成目标分类和最终预测框；在回归分支前，先进行真值框与预测框的一对一匹配，而后采用特征融合模型，将每个预测框上的多个点进行二阶特征融合并计算损失来反向传递完成参数更新，进一步修正预测框的位置，以得到配电箱电路设备自动识别结果。
12.而且，通过基于resnet50结构和特征金字塔组成的主干网络得到多尺度特征图的输出。
13.而且，交互头中的处理实现如下，
14.多尺度特征融合，包括在信息交互之前，对提议候选框进行区域特征聚集，将候选区域从特征图中提取出来并投影到大小统一的对象特征，接着将每个特征图获得的向量输入到多尺度特征融合模块ppa中进行前置、聚合以及后置处理，得到最终的特征融合向量，作为动态网络的输入之一；
15.动态网络特征聚合，包括对提议特征，输入到动态实例交互头之前，采用自注意力机制对特征进行自学习来推理对象之间的关系，得到的向量作为第二个输入，然后利用提议特征生成两个参数矩阵，对实例特征依次乘上两个参数矩阵，并使用两个连续的激活函数来实现交互过程，生成全新的实例特征，然后使用线性投影转化，得到动态网络的输出；
16.局部交叉注意力机制，动态网络的输出进入局部交叉注意力机制模块gm-mca，通过两个对应框之间的几何关系来增强使最终的特征获得全局信息。
17.而且，特征融合模块的实现方式如下，
18.对每个预选框相应区域的特征图通过区域特征聚集生成特征图，使用卷积层将最终特征分为9组，每组特征对应一个网格点，最后使用反卷积生成热力图，同时对未融合的特征图进行同样的步骤得到未融合特征的热力图和真值热力图，用这三个热力图共同计算损失函数。
19.而且，目标检测模型的最终损失函数包含四个部分，分类损失、l1回归损失、giou回归损失以及gpf模块的回归损失，总的损失是四个损失分别乘以各自的权重并相加。
20.另一方面，本发明提供一种基于稀疏网络的配电箱电路设备自动识别系统，用于实现如上所述的一种基于稀疏网络的配电箱电路设备自动识别方法。
21.而且，包括以下模块，
22.第一模块，用于图像特征提取，得到多尺度特征图的输出；
23.第二模块，用于准备提议候选框及提议特征，包括通过设置超参的方式随机生成一组提议候选框，提议候选框提供了物体的粗定位，并引入一组同样大小的提议特征，来辅助学习；
24.第三模块，用于特征融合，包括将得到的提议候选框及提议特征分别作为动态实例交互头的输入进行后续操作，生成最终的学习特征；所述动态实例交互头采用若干个级联头的方式进行，其中每个交互头中都包含局部交叉注意力机制模块gm-mca以及多尺度特征融合模块ppa；
25.第四模块，用于获取分类和回归结果，包括在得到交互头生成的最终学习特征后进行分类和回归，生成目标分类和最终预测框；在回归分支前，先进行真值框与预测框的一对一匹配，而后采用特征融合模型，将每个预测框上的多个点进行二阶特征融合并计算损失来反向传递完成参数更新，进一步修正预测框的位置，以得到配电箱电路设备自动识别结果。
26.或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于稀疏网络的配电箱电路设备自动识别方法。
27.或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于稀疏网络的配电箱电路设备自动识别方法。
28.本发明的优点：首先利用注意力机制技术，用提议候选框的几何位置特征来增强模型动态实例交互头的输出；接着引入网格点特征融合技术，增强模型对预测框的定位准确率；最后引入了多尺度特征聚集技术，增强模型对特征的捕获能力。
附图说明
29.图1是本发明实施例方法的模型图。
30.图2是本发明实施例方法roi align的原理图，其中左边部分为区域划分图，右边部分为双线性插值原理图。
31.图3是本发明实施例方法实际应用可视化图。
具体实施方式
32.以下结合附图和实施例详细说明本发明技术方案。
33.本发明构建了一种基于transformer解码器思想的目标检测模型，命名为sparse refined r-cnn，实现电路设备自动识别及电路设备状态监测。具体地，模型的主要架构沿用sparse r-cnn模型提出的稀疏锚框和稀疏特征，sparse refined r-cnn模型提出了一种新的局部交叉注意力模块gm-mca，利用锚框邻域算法giou增强交叉注意力机制，结合局部mask信息来提高模型的精度和收敛速度；此外，模型提出gpf特征融合模块，采用进一步融合网格点特征的方式来提高模型的准确性；最后，模型提出了ppa模块，利用多尺度特征聚合进一步提高模型精度。
34.参见图1，本发明实施例提供一种基于稀疏网络的配电箱电路设备自动识别方法，包括以下步骤：
35.步骤1，图像特征提取。当一个图像输入后，首先通过基于resnet50结构和特征金字塔组成的主干网络得到多尺度特征图的输出，在本发明研究的过程，采用了四层结构的
金字塔，每层通道数均为256。特征金字塔将深层特征融合到浅层特征中增强浅层特征表达能力，具体地，将resnet50卷积网络的输出c2、c3、c4、c5即不同分辨率的图像特征，通过1x1的卷积将通道数变为256，便于后续的特征融合步骤，将深层特征通过上采样的操作与下层特征进行聚合，再通过3x3的卷积获得最终特征金字塔的输出即特征图p2、p3、p4、p5，使得输出的特征图包含不同尺度的特征信息。
36.步骤2，准备提议候选框及提议特征。提议候选框以及提议特征是两组预设的可学习参数，在模型训练的过程中通过损失函数进行修正。可学习的提议候选框随机初始化，用于引导模型在特定区域寻找目标的位置，能够直接对目标进行端到端的检测，而无需使用传统的锚框或边界框。通过随机初始化提议特征并在模型网络的训练中逐步学习特定物体的实例特征以及实例特征间的关系，进而可用于与提议候选框进行交互，生成数量固定的目标预测框。
37.在得到特征图后，传统的两阶段模型会通过rpn网络根据特征图来提取候选框，而在本发明所研究的模型中摒弃了原有的rpn网络生成预选框这一步骤。rpn网络会产生大量冗余和近乎重复的结果，使非极大值抑制(nms)后处理成为必要的组件，会增加大量的计算。同时，产生的预测框尺寸、长宽比和数量都会对算法最终的性能产生较大的影响。基于transformer的检测模型为目标检测提供了新思路，可以用一组预设的提议框取代原有的预测框。所以本文参考transformer模型通过设置超参的方式随机生成一组n维大小的提议候选框。提议候选框提供了物体的粗定位，丢失了很多信息细节，例如物体的姿态和形状。所以需要引入一组同样大小的提议特征，来辅助学习。具体实施时，可针对每个数据集，通过实验进行调参，取n最好的值。
38.步骤3，特征融合。步骤2得到的两组参数分别作为动态实例交互头的输入进行后续操作，生成最终的学习特征。在本发明提出的模型中，动态实例交互头优选采用6个级联头的方式进行，其中级联的每个交互头中都包含了本文提出的gm-mca局部交叉注意力机制模块以及ppa多尺度特征融合模块。
39.实施例中每个交互头的结构相同，具体实现如下：
40.步骤3.1，多尺度特征融合。在信息交互之前，对n组提议候选框进行区域特征聚集roi align，将候选区域从特征图中提取出来并投影到大小统一的对象特征roifeatures，得到7x7的256维向量，接着将每个特征图获得的向量输入到ppa模块中进行前置、聚合以及后置处理，得到最终的特征融合向量。作为动态网络的输入之一。
41.步骤3.1.1，roi align的步骤如下：
42.(1)首先将原有的预选框平均分成四个区域a、b、c、d，以下步骤以区域a为例，其他区域进行相同操作。
43.(2)对a区域再次平均划分四个区域并取出四个中心点q
11
、q
12
、q
13
、q
14
如图2中左图所示，通过双线性插值法计算出四个中心点q
11
、q
12
、q
13
、q
14
的像素值k
11
、k
12
、k
13
、k
14
。其中双线性插值法即通过离该点最近的四个像素点按比例计算出该点像素值，如图2中右图所示，为了计算p1’
的像素值，首先p
11
和p
12
通过下面的第一个公式计算得到r1点的像素值，其次p
13
和p
14
通过第二个公式计算得到r2点的像素值，最后r1和r2通过第三个公式计算得到p1’
点的像素值。
[0044][0045][0046][0047]
在上述公式中，(
·
)表示当前点的像素值，x表示点的横坐标，y表示点的纵坐标。
[0048]
(3)通过对像素值k
11
、k
12
、k
13
、k
14
进行平均或最大池化的下采样操作得到该区域相应的像素值a’，由此可得到最终的k x k预选框及其像素值。k为特征图大小。
[0049]
步骤3.1.2，ppa模块。ppa模块在4层特征金字塔的基础上，将池化后的多尺度特征进行适当聚合，并加上聚合前后的处理，进一步学习多尺度的特征。具体的流程主要分为三个部分。
[0050]
(1)第一部分前置处理，利用卷积核为5x5的单个卷积进行预处理操作，在不增加网络复杂度且不改变向量维度的情况下，得到较好的提取框特征，提升特征表达的效果，最终形成n
×
256
×7×
7的输出向量。
[0051]
(2)第二部分聚合操作，聚合操作能够使不同尺度的特征融合到一起，利用求和方式聚合后的特征向量维度仍保持在n
×
256
×7×
7。
[0052]
(3)第三部分后置处理，采用了注意力机制的模块消除无用的信息对训练的干扰，使模型能够有效地区分特征中的有用信息和无用信息，从而增强聚合后的结果的表示能力。
[0053]
步骤3.2，动态网络特征聚合。对n组提议特征，输入到动态实例交互头之前，采用自注意力机制对特征进行自学习来推理对象之间的关系，得到nx256的向量，作为第二个输入。然后利用256维的提议特征生成两个参数矩阵(params矩阵)，对roi feature依次乘上两个参数矩阵，并使用两个连续的激活函数来实现交互过程，生成全新的roi feature，然后使用线性投影转化为256维度，得到动态网络的输出。
[0054]
实施例中，对n组提议特征，首先通过roi align模块将候选区域从特征图中提取出来并投影到大小统一的实例特征roifeatures，作为动态网络的输入之一；通过参数设置随机生成的提议特征，输入到动态实例交互头之前，采用自注意力机制对特征进行自学习，使目标之间的特征能够更好地联系在一起，注意力机制后的输出作为动态实例交互头的输入profeatures。这里假设提议的维度大小为n，那么得到的实例特征roifeatures的维度为n
×k×k×
d，而profeatures维度为n
×
d，其中d为通道数。每一个roi特征都会有一个自己独一无二的交互网络，第n个维度为k
×k×
d的实例特征与第n个维度d的提议特征进行交互学习，最终输出维度为d的目标特征，即动态网络的输出。
[0055]
步骤3.3，局部交叉注意力机制。动态网络输出的经过交互后的特征通过本文所提出的gm-mca局部交叉注意力机制模块，通过两个对应框之间的几何关系来增强使最终的特征获得全局信息。注意力机制有四个输入，key和query是提议特征，value是提议预选框，除了传统注意力机制的三个输入外，还增加了预选框giou计算得到的几何位置信息。giou的几何位置权重矩阵，是通过n个提议预选框两两计算得到的，维度为nxn，当两个预选框约接近时结果趋近于1，当越不接近时，结果趋向于-1。与key和query得到的权重矩阵做按位运
算，得到最终的权重矩阵。在提议特征生成的权重矩阵后面设置了mask过滤参数，这么做的目的是为了在增加模块的基础上，不增加模型的计算复杂度，并且使模型能够重点学习重叠面积大的预选框信息关系。最后将权重矩阵与动态网络的输出进行矩阵乘法，得到本模块的输出。具体公式为：
[0056][0057]
其中，q和k是输入的query和key矩阵，是由提议特征经过不同的参数矩阵投影而得到的，其维度为n
×
d；v是输入value矩阵，由动态交互头的输出实例特征object feature投影得到的，其维度也为n
×
d；giou是由n个提议框之间重叠面积与所有面积的比值计算得到的。
[0058]
步骤4，获取分类和回归结果。得到交互头生成的最终学习特征后进行分类和回归，生成目标分类和最终预测框。但在回归分支前，模型会先经过匈牙利匹配算法进行真值框与预测框的一对一匹配，而后，采用本文所提出的特征融合模型，将每个预测框上的9个点进行二阶特征融合并计算损失来反向传递完成参数更新，进一步修正预测框的位置，使得准确率更高。
[0059]
实施例中步骤4的具体实现如下：
[0060]
步骤4.1，特征融合模块gpf。在gpf模块的初始阶段使用匈牙利匹配算法为每一个真值框匹配一个预测框，通过这种方式减小gpf模块的计算量。接着将特征图和预测框利用区域特征聚集roi align生成14
×
14的特征图，本发明所研究的gpf模块通过9个点对图像特征进行融合，所以这里先使用1个卷积核为3
×
3，步长为1的卷积，使得特征维度降为7x7，再使用7个卷积核为3
×
3，步长为2的卷积后，生成9组关键点对应的特征图，假设目标框的个数为k，通道数为64，9组特征图的维度是k
×
(64
×
9)
×7×
7的特征图。
[0061]
其次确定网格点及进行网格点融合，gpf模块采用预测框的四个角点、边长的中点以及预测框的中心点作为融合的网格点，9个网格点对应的邻域点对于每一个框来说其实是相同的。网格点的融合是gpf模块的关键，这里的融合采用二阶融合的方式进行，第一阶段的融合将邻域点的空间位置特征融合至每一个网格点后，第二阶段将第一阶段带有邻域点特征的信息再次融合至每一个网格点，这样的融合操作之后，每一个网格点不仅拥有了步长为1的邻域点的特征，还将步长为2的邻域点信息也附加上去。经过特征融合算法之后得到9组7
×
7的特征图，特征图经过2个卷积核为4
×
4，步长为2的反卷积得到融合特征的热力图，维度为k
×
(64
×
9)
×
28
×
28，同时对未融合的特征图也进行同样的步骤得到未融合特征的热力图。
[0062]
为了通过损失函数对模型的学习进行不断的修正，除了上述生成的融合前后的特征图之外，还需要生成真值框对应的热力图作为基准，真值框对应的热力图大小要与预测热力图维度一致即维度为k
×
(64
×
9)
×
28
×
28，基本思路就是对真值框的9个点在1像素范围内生成热点继而生成热力图。
[0063]
最后利用交叉熵分别计算融合前后热力图与真值热力图的损失得到和并相加得到gpf模块的最终损失，计算方式如下所示，以此来修正模型的学习，并达到更好的学习效果。
[0064][0065]
其中，表示融合前热力图与真值热力图的损失，表示融合后热力图与真值热力图的损失。
[0066]
步骤4.2，损失函数计算。最后，sparse refined r-cnn模型的最终损失函数一共包含四个部分：分类损失、l1回归损失、giou回归损失以及gpf模块的回归损失，总的损失就是四个损失分别乘以各自的权重并相加，计算方法如下面的公式所示。损失得到后就可以通过反向传播进行参数修正，得到最终的模型参数用于目标识别。
[0067][0068]
其中，表示分类损失，λ
cls
为其权重，表示l1回归损失，λ
l1
为其权重，表示giou回归损失，λ
giou
为其权重，表示gpf模块的回归损失，λ
gpf
为其权重。
[0069]
交叉熵其实是相对熵和信息熵的和，相对熵是用来衡量真实概率分布和预测概率分布之间差异的指标。当两个概率分布相同则相对熵为0，分布差异越大则越接近1，而信息熵表示事物的不确定性，不确定性越大信息熵越大。交叉熵的计算方式如下所示。
[0070][0071]
其中n表示n个样本，k表示k个标签，y
ij
是真值，预测值，损失函数越小则越接近真实标签。
[0072]
l1损失本质是真值与预测值差之间绝对值总和的均值，所以也叫平均绝对值误差损失，l1损失如下所示。
[0073][0074]
其中yi是真值，是预测值。
[0075]
在计算giou损失时会用到iou。下面的公式表示的是giou损失。
[0076][0077]
其中a和b分别表示真值框面积和预测框面积，c表示的是ab两个框的最大邻接矩阵面积。iou表示的则是真值框面积和预测框面积的交并比，如下面的公式所示。
[0078][0079]
其中，aera(
·
)表示框的面积。
[0080]
将上述模型用于自采的配电箱数据集中，可以实现配电箱电路设备的自动识别，具体效果图如图3所示。
[0081]
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
[0082]
在一些可能的实施例中，提供一种基于稀疏网络的配电箱电路设备自动识别系统，包括以下模块，
[0083]
第一模块，用于图像特征提取，得到多尺度特征图的输出；
[0084]
第二模块，用于准备提议候选框及提议特征，包括通过设置超参的方式随机生成一组提议候选框，提议候选框提供了物体的粗定位，并引入一组同样大小的提议特征，来辅助学习；
[0085]
第三模块，用于特征融合，包括将得到的提议候选框及提议特征分别作为动态实例交互头的输入进行后续操作，生成最终的学习特征；所述动态实例交互头采用若干个级联头的方式进行，其中每个交互头中都包含局部交叉注意力机制模块gm-mca以及多尺度特征融合模块ppa；
[0086]
第四模块，用于获取分类和回归结果，包括在得到交互头生成的最终学习特征后进行分类和回归，生成目标分类和最终预测框；在回归分支前，先进行真值框与预测框的一对一匹配，而后采用特征融合模型，将每个预测框上的多个点进行二阶特征融合并计算损失来反向传递完成参数更新，进一步修正预测框的位置，以得到配电箱电路设备自动识别结果。
[0087]
在一些可能的实施例中，提供一种基于稀疏网络的配电箱电路设备自动识别系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于稀疏网络的配电箱电路设备自动识别方法。
[0088]
在一些可能的实施例中，提供一种基于稀疏网络的配电箱电路设备自动识别系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于稀疏网络的配电箱电路设备自动识别方法。
[0089]
具体实施时，本发明所提供技术方案可由本领域技术人员采用计算机软件技术实现自动运行流程。
[0090]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可对所描述的具体实施例做修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

技术特征：
1.一种基于稀疏网络的配电箱电路设备自动识别方法，其特征在于：将密集目标检测模型迁移至电路设备识别，构建了基于transformer解码器思想的目标检测模型，解决电路设备自动识别及电路设备状态监测，实现过程包括以下处理，图像特征提取，得到多尺度特征图的输出；准备提议候选框及提议特征，包括通过设置超参的方式随机生成一组提议候选框，提议候选框提供了物体的粗定位，并引入一组同样大小的提议特征，来辅助学习；特征融合，包括将提议候选框及提议特征分别作为动态实例交互头的输入进行后续操作，生成最终的学习特征；所述动态实例交互头采用若干个级联头的方式进行，其中每个交互头中都包含局部交叉注意力机制模块gm-mca以及多尺度特征融合模块ppa；获取分类和回归结果，包括在得到交互头生成的最终学习特征后进行分类和回归，生成目标分类和最终预测框；在回归分支前，先进行真值框与预测框的一对一匹配，而后采用特征融合模型，将每个预测框上的多个点进行二阶特征融合并计算损失来反向传递完成参数更新，进一步修正预测框的位置，以得到配电箱电路设备自动识别结果。2.根据权利要求1所述基于稀疏网络的配电箱电路设备自动识别方法，其特征在于：通过基于resnet50结构和特征金字塔组成的主干网络得到多尺度特征图的输出。3.根据权利要求1所述基于稀疏网络的配电箱电路设备自动识别方法，其特征在于：交互头中的处理实现如下，多尺度特征融合，包括在信息交互之前，对提议候选框进行区域特征聚集，将候选区域从特征图中提取出来并投影到大小统一的对象特征，接着将每个特征图获得的向量输入到多尺度特征融合模块ppa中进行前置、聚合以及后置处理，得到最终的特征融合向量，作为动态网络的输入之一；动态网络特征聚合，包括对提议特征，输入到动态实例交互头之前，采用自注意力机制对特征进行自学习来推理对象之间的关系，得到的向量作为第二个输入，然后利用提议特征生成两个参数矩阵，对实例特征依次乘上两个参数矩阵，并使用两个连续的激活函数来实现交互过程，生成全新的实例特征，然后使用线性投影转化，得到动态网络的输出；局部交叉注意力机制，动态网络的输出进入局部交叉注意力机制模块gm-mca，通过两个对应框之间的几何关系来增强使最终的特征获得全局信息。4.根据权利要求1所述基于稀疏网络的配电箱电路设备自动识别方法，其特征在于：特征融合模块的实现方式如下，对每个预选框相应区域的特征图通过区域特征聚集生成特征图，使用卷积层将最终特征分为9组，每组特征对应一个网格点，最后使用反卷积生成热力图，同时对未融合的特征图进行同样的步骤得到未融合特征的热力图和真值热力图，用这三个热力图共同计算损失函数。5.根据权利要求1或2或3或4所述基于稀疏网络的配电箱电路设备自动识别方法，其特征在于：目标检测模型的最终损失函数包含四个部分，分类损失、l1回归损失、giou回归损失以及gpf模块的回归损失，总的损失是四个损失分别乘以各自的权重并相加。6.一种基于稀疏网络的配电箱电路设备自动识别系统，其特征在于：用于实现如权利要求1-5任一项所述的一种基于稀疏网络的配电箱电路设备自动识别方法。7.根据权利要求6所述基于稀疏网络的配电箱电路设备自动识别系统，其特征在于：包
括以下模块，第一模块，用于图像特征提取，得到多尺度特征图的输出；第二模块，用于准备提议候选框及提议特征，包括通过设置超参的方式随机生成一组提议候选框，提议候选框提供了物体的粗定位，并引入一组同样大小的提议特征，来辅助学习；第三模块，用于特征融合，包括将得到的提议候选框及提议特征分别作为动态实例交互头的输入进行后续操作，生成最终的学习特征；所述动态实例交互头采用若干个级联头的方式进行，其中每个交互头中都包含局部交叉注意力机制模块gm-mca以及多尺度特征融合模块ppa；第四模块，用于获取分类和回归结果，包括在得到交互头生成的最终学习特征后进行分类和回归，生成目标分类和最终预测框；在回归分支前，先进行真值框与预测框的一对一匹配，而后采用特征融合模型，将每个预测框上的多个点进行二阶特征融合并计算损失来反向传递完成参数更新，进一步修正预测框的位置，以得到配电箱电路设备自动识别结果。8.根据权利要求6所述基于稀疏网络的配电箱电路设备自动识别系统，其特征在于：包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如权利要求1-5任一项所述的一种基于稀疏网络的配电箱电路设备自动识别方法。9.根据权利要求6所述基于稀疏网络的配电箱电路设备自动识别系统，其特征在于：包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如权利要求1-5任一项所述的一种基于稀疏网络的配电箱电路设备自动识别方法。

技术总结
本发明提供一种基于稀疏网络的配电箱电路设备自动识别方法及系统，将密集目标检测模型迁移至电路设备识别，构建了基于Transformer解码器思想的目标检测模型，解决电路设备自动识别及电路设备状态监测，实现过程包括图像特征提取，得到多尺度特征图的输出；准备提议候选框及提议特征；特征融合，包括将提议候选框及提议特征分别作为动态实例交互头的输入进行后续操作，生成最终的学习特征；获取分类和回归结果，包括在得到交互头生成的最终学习特征后进行分类和回归，生成目标分类和最终预测框，进一步修正预测框的位置，以得到配电箱电路设备自动识别结果。本发明针对智能电路信息建设，为电路设备自动转化CAD电路图、无人机监测设备状态等提供技术支撑。无人机监测设备状态等提供技术支撑。无人机监测设备状态等提供技术支撑。


技术研发人员：余伟 陶雯雯 李石君 余放 杨济海 杨俊成 李宇轩
受保护的技术使用者：武汉大学
技术研发日：2023.06.01
技术公布日：2023/10/15