基于操作知识的违章告警方法与流程

1.本发明属于电力违章识别技术领域，具体涉及基于操作知识的违章告警方法。


背景技术：

2.目前的变电站工作现场，对于作业人员的管理还仅是通过作业人工管理和远程人工视频监控，并没有智能化的自动监控方式，其中，对作业人员的管理主要包括：进入作业现场未佩戴安全帽违章、单人滞留作业区违章等违章行为；但是，由于变电站工作现场环境复杂，作业人员分布较为分散，很难保证所有作业人员都全程佩戴安全帽、两人及以上滞留作业区等，因此很难对作业人员的安全起到保障；因此，提供一种适应显著外观变化且不易受漂移影响、精确识别出较小目标、处理速度快、提升检测速度的基于操作知识的违章告警方法是非常有必要的。


技术实现要素：

3.本发明的目的是为了克服现有技术的不足，而提供一种适应显著外观变化且不易受漂移影响、精确识别出较小目标、处理速度快、提升检测速度的基于操作知识的违章告警方法。
4.本发明的目的是这样实现的：基于操作知识的违章告警方法，所述的方法包括以下步骤：
5.步骤1：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；
6.步骤2：构建能够精确识别出较小目标且速度较快的目标检测算法。
7.所述的步骤1具体为：对目标跟踪利用时间上下文之间的相关性极大提高目标平移估计的准确性和可靠性，并且从最可靠的帧中学习判别相关滤波器来有效地估计目标尺度的变化。
8.所述的步骤1中的目标跟踪算法具体包括以下步骤：
9.步骤1.1：物体平移估计：通过时间上下文之间的相关性估计平移；
10.步骤1.2：物体尺度估计：通过学习判别相关滤波器来估计尺度；
11.步骤1.3：构建在跟踪失败的情况下激活目标重新检测的方案：通过训练一个在线随机蕨分类器构成的互补检测器作出是否采用重新检测的结果的决定，以在跟踪失败的情况下重新检测对象。
12.所述的步骤1.1中的物体平移估计具体为：利用时间上下文之间的相关性构建时间上下文回归模型以做出对物体平移的估计，对显著变形、光照变化、背景杂乱和突然运动具有鲁棒性。
13.所述的步骤1.1中的物体平移估计具体包括以下步骤：
14.步骤1.11：训练样本：基于相关滤波器的典型跟踪器使用在m
×
n像素的图像块x上训练的滤波器w来对目标对象的外观进行建模，其中所有的循环移位x
m,n
，(m,n)∈{0,1,...,m-1}
×
{0,1,...,n-1}和高斯函数标签y(m,n)被产生作为训练样本，从而有下式：
式中，φ表示到核空间的映射；λ是正则化参数，λ＞0；
15.步骤1.12：快速傅里叶变换：由于标签y(m,n)不是二值的，学习到的滤波器w包含的系数是高斯脊回归的而不是二值分类器的，采用快速傅里叶变换即fft去进行相关运算，目标函数最小化后变为w＝σ
m,n
a(m,n)φ(x
m,n
)，其中，系数a由下式确定：式中，f表示离散傅里叶算子；y＝{y(m,n)|(m,n)∈{0,1,...,m-1}
×
{0,1,...,n-1}}；
16.步骤1.13：执行跟踪任务：在新帧中的图像块z上使用尺寸为m
×
n的窗口，根据下式计算响应图，从而执行跟踪任务：式中，表示学习到的目标外观模型；
⊙
表示hadamard乘积；因此，通过寻找的最大值的位置可以检测到目标的新位置；
17.步骤1.14：从单帧图像中训练两个基于相关滤波器的回归模型：时间上下文模型rc同时考虑目标和周围上下文，这是因为在遮挡的情况下，该信息在时间上保持稳定并且有助于将目标与背景区分开来；
18.步骤1.15：去除响应图的边界不连续性：通过余弦窗口对目标和上下文的提取的特征通道进行加权，当目标受到遮挡、变形和突变运动时，回归模型rc能适应以估计平移是很重要的，如下式所示，rc模型以学习速率α逐帧地进行更新：式中，t是指当前帧的序号；
19.步骤1.16：从最可靠的跟踪目标中学习另一个判别性回归模型r
t
：利用的最大值来确定跟踪结果的置信度，为了保持模型的稳定性，采用预定义的阈值γ，并且只在的情况下使用式(4)更新r
t
,值得注意的是，在特征空间中没有对模型r
t
使用余弦空间权重。
20.所述的步骤1.2中的物体尺度估计具体为：根据平移估计的结果，通过学习判别相关滤波器来构建目标回归模型，从而构造目标金字塔以确定尺度变化。
21.所述的步骤1.2中的物体尺度估计具体包括以下步骤：
22.步骤1.21：围绕估计的平移位置构造目标金字塔以进行尺度估计：设p
×
q为测试帧中的目标大小，n表示尺度的数目；
23.步骤1.22：对于每一个s∈s，提取一个中心围绕估计位置、大小为sp
×
sq的图像块js；
24.步骤1.23：把所有图像块的尺寸重新调整为p
×
q，并使用hog特征来构造尺度特征金字塔；
25.步骤1.24：令为目标回归器r
t
到js的相关响应图，目标的最佳尺度为：
相应地，当时，通过式(4)更新回归模型r
t
。
26.所述的步骤1.3中的构建在跟踪失败的情况下激活目标重新检测的方案具体包括以下步骤：
27.步骤1.31：采用在线随机蕨分类器作为检测器：当时，检测器以滑动窗口的方式应用于整帧图像上，通过保守的更新方案训练一个在线随机蕨检测器；
28.步骤1.32：计算每个蕨的特征的联合分布：令ci,i∈{0,1}为类标签的指示器，并令fj,j∈{1,2,...,n}为一组二值特征，其被分组为类似于蕨的小集合，每个蕨的特征的联合分布为：式中，fk＝{f
σ
(k,0),f
σ
(k,2),...,f
σ
(k,n)}代表在第k个蕨；σ(k,n)是一个范围从1到n的随机置换函数；
29.步骤1.33：对每个蕨fk，其条件概率可写为其中是属于第k个蕨的第ci类的训练样本的数量；nk是落入与第k个蕨相对应的叶节点的训练样本的总数；从贝叶斯的角度来看，最优的类别ci为：
30.所述的步骤2中的目标检测算法采用改进的基于cnn的dssd算法实现，具体为：在ssd中加入了额外的上下文信息，dssd利用解卷积模块构建了特征金字塔网络fpn，将上下文信息更丰富的高层特征图和细节信息更丰富的低层特征图进行融合，从而能够实现对小目标进行更为精准的检测。
31.所述的步骤2中的采用改进的基于cnn的dssd算法实现具体包括以下步骤：
32.步骤2.1：特征提取网络：采用在imagenet数据集上预训练的resnet50网络作为网络主干进行特征提取，整个网络提取到的特征便用于后面的目标检测；
33.步骤2.2：为了增加提取到特征的感受野和语义信息，仿照ssd中的结构，在conv5x卷积层之后堆叠额外的卷积层conv6、conv7、conv8、conv9、conv10；为了增加resnet50网络输出的特征图的分辨率，把原resnet50网络中的conv5x卷积层的卷积核步长由2变为1,从而使整个resnet50网络的有效步长从32变为16；为了弥补感受野的减小,在conv5x中使用膨胀率为2的空洞卷积代替原来的3x3卷积；
34.步骤2.3：在一个由上到下的路径中使用dssd中的解卷积模块,即把conv3x、conv5x、conv6、conv7、conv8、conv9、conv10的特征复用,通过解卷积增大当前层特征图分辨率,并把它和下一层特征图进行相加融合后再输出,总共有6个解卷积模块；能够使低层有丰富细节信息的特征和高层有丰富语义信息的特征融合起来,从而增加了低层特征的表达能力,扩大其感受野,使其能够感知更广泛的上下文信息；为了方便,包括卷积层conv10,把这些输出层依次命名为p1、p2、p3、p4、p5、p6、p7；
35.步骤2.4：目标检测网络：仿照dssd，采用残差连接方式构建了目标检测网络；为了进一步降低网络的复杂度，采用network in network网络的形式，使用bottleneck层，在减少网络参数的情况下增加网络的非线性拟合能力，而且网络的层数也进行了降低，从而进一步保证了实时处理能力。
36.本发明的有益效果：本发明为基于操作知识的违章告警方法，在使用中，本发明包括以下步骤：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；构建能够精确识别出较小目标且速度较快的目标检测算法；本发明的目标跟踪算法包括物体平移估计、物体尺度估计以及构建在跟踪失败的情况下激活目标重新检测的方案，本发明的跟踪算法有效地缓解了经常导致漂移的模型更新问题，并且在具有大尺度变化的复杂图像序列中表现鲁棒；本发明的目标检测算法采用改进的基于cnn的dssd算法实现，与传统的dssd算法相比，它在检测精度依然很高的情况下，极大地提高了检测的速度，从而可以和之前的目标跟踪算法结合起来，满足实时视频的目标跟踪和目标检测需求；改进的dssd通过精简后的encoder-decoder的网络结构，将上下文信息更丰富的高层特征图和细节信息更丰富的低层特征图进行融合，在两类目标上的检测效果有所提升：第一是小目标以及密集目标，第二是具有显著背景区分度的目标；本发明具有适应显著外观变化且不易受漂移影响、精确识别出较小目标、处理速度快、提升检测速度的优点。
附图说明
37.图1为本发明基于操作知识的违章告警方法的相关跟踪双回归模型单帧学习过程示意图。
38.图2为本发明基于操作知识的违章告警方法的原理图。
39.图3为本发明基于操作知识的违章告警方法的流程图。
40.图4为本发明基于操作知识的违章告警方法的改进dssd的特征提取网络结构示意图。
41.图5为本发明基于操作知识的违章告警方法的目标检测网络结构示意图。
具体实施方式
42.下面结合附图对本发明做进一步的说明。
43.实施例1
44.如图1-5所示，基于操作知识的违章告警方法，所述的方法包括以下步骤：
45.步骤1：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；
46.步骤2：构建能够精确识别出较小目标且速度较快的目标检测算法。
47.本发明为基于操作知识的违章告警方法，在使用中，本发明包括以下步骤：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；构建能够精确识别出较小目标且速度较快的目标检测算法；本发明的目标跟踪算法包括物体平移估计、物体尺度估计以及构建在跟踪失败的情况下激活目标重新检测的方案，本发明的跟踪算法有效地缓解了经常导致漂移的模型更新问题，并且在具有大尺度变化的复杂图像序列中表现鲁棒；本发明的目标检测算法采用改进的基于cnn的dssd算法实现，与传统的dssd算法相比，它在检测精度依然很高的情况下，极大地提高了检测的速度，从而可以和之前的目标跟踪算法结合起来，满足实时视频的目标跟踪和目标检测需求；改进的dssd通过精简后的encoder-decoder的网络结构，将上下文信息更丰富的高层特征图和细节信息更丰富的低层特征图进行融合，在两类目标上的检测效果有所提升：第一是小目标以及密集目标，第二是具有显著背景区分度的目标；本发明具有适应显著外观变化且不易受漂移影响、精确识别出较小目标、处
理速度快、提升检测速度的优点。
48.实施例2
49.如图1-5所示，基于操作知识的违章告警方法，所述的方法包括以下步骤：
50.步骤1：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；
51.步骤2：构建能够精确识别出较小目标且速度较快的目标检测算法。
52.所述的步骤1具体为：对目标跟踪利用时间上下文之间的相关性极大提高目标平移估计的准确性和可靠性，并且从最可靠的帧中学习判别相关滤波器来有效地估计目标尺度的变化。
53.所述的步骤1中的目标跟踪算法具体包括以下步骤：
54.步骤1.1：物体平移估计：通过时间上下文之间的相关性估计平移；
55.步骤1.2：物体尺度估计：通过学习判别相关滤波器来估计尺度；
56.步骤1.3：构建在跟踪失败的情况下激活目标重新检测的方案：通过训练一个在线随机蕨分类器构成的互补检测器作出是否采用重新检测的结果的决定，以在跟踪失败的情况下重新检测对象。
57.所述的步骤1.1中的物体平移估计具体为：利用时间上下文之间的相关性构建时间上下文回归模型以做出对物体平移的估计，对显著变形、光照变化、背景杂乱和突然运动具有鲁棒性。
58.所述的步骤1.1中的物体平移估计具体包括以下步骤：
59.步骤1.11：训练样本：基于相关滤波器的典型跟踪器使用在m
×
n像素的图像块x上训练的滤波器w来对目标对象的外观进行建模，其中所有的循环移位x
m,n
，(m,n)∈{0,1,...,m-1}
×
{0,1,...,n-1}和高斯函数标签y(m,n)被产生作为训练样本，从而有下式：式中，φ表示到核空间的映射；λ是正则化参数，λ＞0；
60.步骤1.12：快速傅里叶变换：由于标签y(m,n)不是二值的，学习到的滤波器w包含的系数是高斯脊回归的而不是二值分类器的，采用快速傅里叶变换即fft去进行相关运算，目标函数最小化后变为w＝σ
m,n
a(m,n)φ(x
m,n
)，其中，系数a由下式确定：式中，f表示离散傅里叶算子；y＝{y(m,n)|(m,n)∈{0,1,...,m-1}
×
{0,1,...,n-1}}；
61.步骤1.13：执行跟踪任务：在新帧中的图像块z上使用尺寸为m
×
n的窗口，根据下式计算响应图，从而执行跟踪任务：式中，表示学习到的目标外观模型；
⊙
表示hadamard乘积；因此，通过寻找的最大值的位置可以检测到目标的新位置；
62.步骤1.14：从单帧图像中训练两个基于相关滤波器的回归模型：如图1所示，时间上下文模型rc同时考虑目标和周围上下文，这是因为在遮挡的情况下，该信息在时间上保持稳定并且有助于将目标与背景区分开来；
63.步骤1.15：去除响应图的边界不连续性：通过余弦窗口对目标和上下文的提取的
特征通道进行加权，当目标受到遮挡、变形和突变运动时，回归模型rc能适应以估计平移是很重要的，如下式所示，rc模型以学习速率α逐帧地进行更新：式中，t是指当前帧的序号；
64.步骤1.16：从最可靠的跟踪目标中学习另一个判别性回归模型r
t
：利用的最大值来确定跟踪结果的置信度，为了保持模型的稳定性，采用预定义的阈值γ，并且只在的情况下使用式(4)更新r
t
,值得注意的是，在特征空间中没有对模型r
t
使用余弦空间权重，如图1所示。
65.所述的步骤1.2中的物体尺度估计具体为：根据平移估计的结果，通过学习判别相关滤波器来构建目标回归模型，从而构造目标金字塔以确定尺度变化。
66.所述的步骤1.2中的物体尺度估计具体包括以下步骤：
67.步骤1.21：围绕估计的平移位置构造目标金字塔以进行尺度估计，如图2所示：设p
×
q为测试帧中的目标大小，n表示尺度的数目；
68.步骤1.22：对于每一个s∈s，提取一个中心围绕估计位置、大小为sp
×
sq的图像块js；
69.步骤1.23：把所有图像块的尺寸重新调整为p
×
q，并使用hog特征来构造尺度特征金字塔；
70.步骤1.24：令为目标回归器r
t
到js的相关响应图，目标的最佳尺度为：相应地，当时，通过式(4)更新回归模型r
t
。
71.所述的步骤1.3中的构建在跟踪失败的情况下激活目标重新检测的方案具体包括以下步骤：
72.步骤1.31：采用在线随机蕨分类器作为检测器：当时，检测器以滑动窗口的方式应用于整帧图像上，通过保守的更新方案训练一个在线随机蕨检测器；
73.在本实施例中，一个鲁棒的长期跟踪算法需要一个重新检测模块以防跟踪失败的情况出现，例如，目标长期被遮挡和目标重新进入视场，先前的跟踪器在每帧上进行重新检测；与之不同，本发明采用阈值γr在的情况下来激活检测器，为了计算效率，本发明不使用回归模型r
t
作为检测器，而是使用在线随机蕨分类器。
74.步骤1.32：计算每个蕨的特征的联合分布：令ci,i∈{0,1}为类标签的指示器，并令fj,j∈{1,2,...,n}为一组二值特征，其被分组为类似于蕨的小集合，每个蕨的特征的联合分布为：式中，fk＝{f
σ
(k,0),f
σ
(k,2),...,f
σ
(k,n)}代表在第k个蕨；σ(k,n)是一个范围从1到n的随机置换函数；
75.步骤1.33：对每个蕨fk，其条件概率可写为其中是属于第
k个蕨的第ci类的训练样本的数量；nk是落入与第k个蕨相对应的叶节点的训练样本的总数；从贝叶斯的角度来看，最优的类别ci为：
76.所述的步骤2中的目标检测算法采用改进的基于cnn的dssd算法实现，具体为：在ssd中加入了额外的上下文信息，dssd利用解卷积模块构建了特征金字塔网络fpn，将上下文信息更丰富的高层特征图和细节信息更丰富的低层特征图进行融合，从而能够实现对小目标进行更为精准的检测。
77.在本实施例中，dssd是单阶段一步到位的目标检测算法，和faster rcnn相比，其在精度更高的情况下速度更快，从而更加适合于视频中的目标检测，但是现有的dssd算法的检测速度依然不高，由于dssd的主干网络、特征金字塔网络以及预测网络较为复杂，导致了计算速度的缓慢，本发明在主干网络结构、特征金字塔网络结构、预测分支结构对dssd进行了改进，形成了改进的dssd算法，与传统的dssd算法相比，它在检测精度依然很高的情况下，极大地提高了检测的速度，从而可以和之前的目标跟踪算法结合起来，满足实时视频的目标跟踪和目标检测需求。
78.所述的步骤2中的采用改进的基于cnn的dssd算法实现具体包括以下步骤：。
79.步骤2.1：特征提取网络：整个特征提取网络的结构如图4所示：采用在imagenet数据集上预训练的resnet50网络作为网络主干进行特征提取，整个网络提取到的特征便用于后面的目标检测；
80.在本实施例中，之前的dssd使用了resnet101网络作为主干网络进行特征的提取以保证较高的检测精度，在实践过程中，本发明发现resnet50网络的特征提取效果与resnet101网络相当；resnet50网络与resnet101网络相比，其在目标检测精度下降不足1％的情况下，速度是后者的3倍以上；如图4中的conv1-conv5x部分所示。
81.步骤2.2：为了增加提取到特征的感受野和语义信息，仿照ssd中的结构，在conv5x卷积层之后堆叠额外的卷积层conv6、conv7、conv8、conv9、conv10；为了增加resnet50网络输出的特征图的分辨率，把原resnet50网络中的conv5x卷积层的卷积核步长由2变为1,从而使整个resnet50网络的有效步长从32变为16；为了弥补感受野的减小,在conv5x中使用膨胀率为2的空洞卷积代替原来的3x3卷积；
82.步骤2.3：在一个由上到下的路径中使用dssd中的解卷积模块,即把conv3x、conv5x、conv6、conv7、conv8、conv9、conv10的特征复用,通过解卷积增大当前层特征图分辨率,并把它和下一层特征图进行相加融合后再输出,总共有6个解卷积模块；能够使低层有丰富细节信息的特征和高层有丰富语义信息的特征融合起来,从而增加了低层特征的表达能力,扩大其感受野,使其能够感知更广泛的上下文信息；为了方便,包括卷积层conv10,把这些输出层依次命名为p1、p2、p3、p4、p5、p6、p7；
83.步骤2.4：目标检测网络：仿照dssd，采用残差连接方式构建了目标检测网络；为了进一步降低网络的复杂度，采用network in network网络的形式，使用bottleneck层，在减少网络参数的情况下增加网络的非线性拟合能力，而且网络的层数也进行了降低，从而进一步保证了实时处理能力
84.在本实施例中，本发明分为目标跟踪和目标检测两大部分；其中，目标跟踪是一种长期实时视觉跟踪问题，其需要应对跟踪目标(工作人员)因变形而产生的较大外貌变化、
突然移动、严重遮挡、走出摄像机视野等复杂困难的情形，从而对工作人员是否脱岗等情形进行判断；当跟踪到工作人员后，需要通过目标检测来精确定位和识别工作人员的穿戴设备，比如安全带、安全帽等等；因为人员活动范围较大，目标的尺度变化也很大，这要求目标检测算法具有良好的小目标检测能力；因为是实时视频监控，这要求目标检测算法的处理速度要足够快速；因此，本发明构建了一种能够适应显著外观变化并且不易受漂移影响的在线跟踪算法和一种能够精确识别出较小目标且速度较快的目标检测算法，满足实时视频的目标跟踪和目标检测需求。
85.本发明为基于操作知识的违章告警方法，在使用中，本发明包括以下步骤：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；构建能够精确识别出较小目标且速度较快的目标检测算法；本发明的目标跟踪算法包括物体平移估计、物体尺度估计以及构建在跟踪失败的情况下激活目标重新检测的方案，本发明的跟踪算法有效地缓解了经常导致漂移的模型更新问题，并且在具有大尺度变化的复杂图像序列中表现鲁棒；本发明的目标检测算法采用改进的基于cnn的dssd算法实现，与传统的dssd算法相比，它在检测精度依然很高的情况下，极大地提高了检测的速度，从而可以和之前的目标跟踪算法结合起来，满足实时视频的目标跟踪和目标检测需求；改进的dssd通过精简后的encoder-decoder的网络结构，将上下文信息更丰富的高层特征图和细节信息更丰富的低层特征图进行融合，在两类目标上的检测效果有所提升：第一是小目标以及密集目标，第二是具有显著背景区分度的目标；本发明具有适应显著外观变化且不易受漂移影响、精确识别出较小目标、处理速度快、提升检测速度的优点。

技术特征：
1.基于操作知识的违章告警方法，其特征在于：所述的方法包括以下步骤：步骤1：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；步骤2：构建能够精确识别出较小目标且速度较快的目标检测算法。2.如权利要求1所述的基于操作知识的违章告警方法，其特征在于：所述的步骤1具体为：对目标跟踪利用时间上下文之间的相关性极大提高目标平移估计的准确性和可靠性，并且从最可靠的帧中学习判别相关滤波器来有效地估计目标尺度的变化。3.如权利要求2所述的基于操作知识的违章告警方法，其特征在于：所述的步骤1中的目标跟踪算法具体包括以下步骤：步骤1.1：物体平移估计：通过时间上下文之间的相关性估计平移；步骤1.2：物体尺度估计：通过学习判别相关滤波器来估计尺度；步骤1.3：构建在跟踪失败的情况下激活目标重新检测的方案：通过训练一个在线随机蕨分类器构成的互补检测器作出是否采用重新检测的结果的决定，以在跟踪失败的情况下重新检测对象。4.如权利要求3所述的基于操作知识的违章告警方法，其特征在于：所述的步骤1.1中的物体平移估计具体为：利用时间上下文之间的相关性构建时间上下文回归模型以做出对物体平移的估计，对显著变形、光照变化、背景杂乱和突然运动具有鲁棒性。5.如权利要求4所述的基于操作知识的违章告警方法，其特征在于：所述的步骤1.1中的物体平移估计具体包括以下步骤：步骤1.11：训练样本：基于相关滤波器的典型跟踪器使用在m
×
n像素的图像块x上训练的滤波器w来对目标对象的外观进行建模，其中所有的循环移位x
m,n
，(m,n)∈{0,1,...,m-1}
×
{0,1,...,n-1}和高斯函数标签y(m,n)被产生作为训练样本，从而有下式：式中，φ表示到核空间的映射；λ是正则化参数，λ＞0；步骤1.12：快速傅里叶变换：由于标签y(m,n)不是二值的，学习到的滤波器w包含的系数是高斯脊回归的而不是二值分类器的，采用快速傅里叶变换即fft去进行相关运算，目标函数最小化后变为w＝σ
m,n
a(m,n)φ(x
m,n
)，其中，系数a由下式确定：式中，f表示离散傅里叶算子；y＝{y(m,n)|(m,n)∈{0,1,...,m-1}
×
{0,1,...,n-1}}；步骤1.13：执行跟踪任务：在新帧中的图像块z上使用尺寸为m
×
n的窗口，根据下式计算响应图，从而执行跟踪任务：式中，表示学习到的目标外观模型；
⊙
表示hadamard乘积；因此，通过寻找的最大值的位置可以检测到目标的新位置；步骤1.14：从单帧图像中训练两个基于相关滤波器的回归模型：时间上下文模型r
c
同时考虑目标和周围上下文，这是因为在遮挡的情况下，该信息在时间上保持稳定并且有助于将目标与背景区分开来；步骤1.15：去除响应图的边界不连续性：通过余弦窗口对目标和上下文的提取的特征通道进行加权，当目标受到遮挡、变形和突变运动时，回归模型r
c
能适应以估计平移是很重
要的，如下式所示，r
c
模型以学习速率α逐帧地进行更新：式中，t是指当前帧的序号；步骤1.16：从最可靠的跟踪目标中学习另一个判别性回归模型r
t
：利用的最大值来确定跟踪结果的置信度，为了保持模型的稳定性，采用预定义的阈值γ，并且只在的情况下使用式(4)更新r
t
,值得注意的是，在特征空间中没有对模型r
t
使用余弦空间权重。6.如权利要求3所述的基于操作知识的违章告警方法，其特征在于：所述的步骤1.2中的物体尺度估计具体为：根据平移估计的结果，通过学习判别相关滤波器来构建目标回归模型，从而构造目标金字塔以确定尺度变化。7.如权利要求6所述的基于操作知识的违章告警方法，其特征在于：所述的步骤1.2中的物体尺度估计具体包括以下步骤：步骤1.21：围绕估计的平移位置构造目标金字塔以进行尺度估计：设p
×
q为测试帧中的目标大小，n表示尺度的数目；步骤1.22：对于每一个s∈s，提取一个中心围绕估计位置、大小为sp
×
sq的图像块j
s
；步骤1.23：把所有图像块的尺寸重新调整为p
×
q，并使用hog特征来构造尺度特征金字塔；步骤1.24：令为目标回归器r
t
到j
s
的相关响应图，目标的最佳尺度为：相应地，当时，通过式(4)更新回归模型r
t
。8.如权利要求3所述的基于操作知识的违章告警方法，其特征在于：所述的步骤1.3中的构建在跟踪失败的情况下激活目标重新检测的方案具体包括以下步骤：步骤1.31：采用在线随机蕨分类器作为检测器：当时，检测器以滑动窗口的方式应用于整帧图像上，通过保守的更新方案训练一个在线随机蕨检测器；步骤1.32：计算每个蕨的特征的联合分布：令c
i
,i∈{0,1}为类标签的指示器，并令f
j
,j∈{1,2,...,n}为一组二值特征，其被分组为类似于蕨的小集合，每个蕨的特征的联合分布为：式中，f
k
＝{f
σ
(k,0),f
σ
(k,2),...,f
σ
(k,n)}代表在第k个蕨；σ(k,n)是一个范围从1到n的随机置换函数；步骤1.33：对每个蕨f
k
，其条件概率可写为其中是属于第k个蕨的第c
i
类的训练样本的数量；n
k
是落入与第k个蕨相对应的叶节点的训练样本的总数；从贝叶斯的角度来看，最优的类别c
i
为：9.如权利要求1所述的基于操作知识的违章告警方法，其特征在于：所述的步骤2中的目标检测算法采用改进的基于cnn的dssd算法实现，具体为：在ssd中加入了额外的上下文
信息，dssd利用解卷积模块构建了特征金字塔网络fpn，将上下文信息更丰富的高层特征图和细节信息更丰富的低层特征图进行融合，从而能够实现对小目标进行更为精准的检测。10.如权利要求9所述的基于操作知识的违章告警方法，其特征在于：所述的步骤2中的采用改进的基于cnn的dssd算法实现具体包括以下步骤：步骤2.1：特征提取网络：采用在imagenet数据集上预训练的resnet50网络作为网络主干进行特征提取，整个网络提取到的特征便用于后面的目标检测；步骤2.2：为了增加提取到特征的感受野和语义信息，仿照ssd中的结构，在conv5x卷积层之后堆叠额外的卷积层conv6、conv7、conv8、conv9、conv10；为了增加resnet50网络输出的特征图的分辨率，把原resnet50网络中的conv5x卷积层的卷积核步长由2变为1,从而使整个resnet50网络的有效步长从32变为16；为了弥补感受野的减小,在conv5x中使用膨胀率为2的空洞卷积代替原来的3x3卷积；步骤2.3：在一个由上到下的路径中使用dssd中的解卷积模块,即把conv3x、conv5x、conv6、conv7、conv8、conv9、conv10的特征复用,通过解卷积增大当前层特征图分辨率,并把它和下一层特征图进行相加融合后再输出,总共有6个解卷积模块；能够使低层有丰富细节信息的特征和高层有丰富语义信息的特征融合起来,从而增加了低层特征的表达能力,扩大其感受野,使其能够感知更广泛的上下文信息；为了方便,包括卷积层conv10,把这些输出层依次命名为p1、p2、p3、p4、p5、p6、p7；步骤2.4：目标检测网络：仿照dssd，采用残差连接方式构建了目标检测网络；为了进一步降低网络的复杂度，采用networkinnetwork网络的形式，使用bottleneck层，在减少网络参数的情况下增加网络的非线性拟合能力，而且网络的层数也进行了降低，从而进一步保证了实时处理能力。

技术总结
本发明涉及基于操作知识的违章告警方法，所述的方法包括以下步骤：步骤1：构建能够适应显著外观变化并且不易受漂移影响的在线跟踪算法；步骤2：构建能够精确识别出较小目标且速度较快的目标检测算法；本发明具有适应显著外观变化且不易受漂移影响、精确识别出较小目标、处理速度快、提升检测速度的优点。提升检测速度的优点。提升检测速度的优点。


技术研发人员：苏长宝 姚楠 张泽中 王志方 尚光伟 刘斌 张朋飞 曹锐 杨干 苏鸣方
受保护的技术使用者：国网河南省电力公司南阳供电公司
技术研发日：2023.04.13
技术公布日：2023/9/11