基于二阶池化特征融合的孪生网络目标跟踪方法与流程

1.本发明属于模式识别与智能计算、图像处理的技术领域，特别涉及一种基于二阶池化特征融合的孪生网络目标跟踪方法。


背景技术：

2.目标跟踪是计算机视觉领域中最重要的研究方向之一，是指在视频初始帧中给出目标，在后续帧中对目标进行状态估计和精准定位的过程，在安防、监控和巡检等领域有着广泛的应用。
3.目前，要实现鲁棒的目标跟踪器依然面临着诸多困难，主要包括相似背景、尺度变化和目标遮挡等。wang等通过实验表明：良好的特征表达是实现鲁棒的目标跟踪系统的关键因素之一。众多学者也先后设计了灰度、颜色和方向梯度直方图等手工特征，在简单场景中具有良好的性能表现,但是在复杂场景中性能不佳。近年来,卷积神经网络在计算机视觉领域中得到了广泛应用，并在图像分类、目标检测和图像分割等任务中获得大幅度的性能提升。bertinetto等提出全卷积的孪生网络目标跟踪算法siamfc，将目标跟踪问题转化为相似性匹配问题,取得了良好的跟踪性能。li等人提出siamrpn算法，将孪生网络与区域建议网络结合，实现了灵活应对目标尺度的变化。zhu等提出dasiamrpn算法,通过引入干扰感知模块，增加训练时的负样本,使模型有效地捕捉更多上下文信息以适应目标外观变化。
4.但是,孪生网络对同类目标中特定目标的特征表达能力不足，不能很好地将特定目标从同类目标中区分出来，同时，由于基于孪生网络的目标跟踪算法大多数都只使用了一阶图像信息表示，这严重限制了孪生网络的非线性建模能力。


技术实现要素：

5.基于此，因此本发明的首要目地是提供一种基于二阶池化特征融合的孪生网络目标跟踪方法，该方法基于孪生网络目标跟踪算法对相似目标表达能力不足的问题，提出一种轻量级的基于二阶池化特征融合的孪生网络目标跟踪方法。
6.本发明的另一个目地在于提供一种基于二阶池化特征融合的孪生网络目标跟踪方法，该方法使用融合后的特征进行互相关操作，得到地响应图能很好地区分目标和背景，提高跟踪模型的判别能力，改善目标定位的精度，从而提升跟踪性能。
7.为实现上述目的，本发明的技术方案为：
8.一种基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于包括以下步骤：
9.s1：获取训练视频集和测试视频集；
10.s2：构建siamese网络，将视频送入构建网络中；
11.s3:在孪生网络结构末端并行添加二阶池化网络和轻量级通道注意力；
12.s4：将目标的深度特征、二阶池化特征和通道注意力特征以add方式进行融合；
13.s5：将特征响应图送入目标跟踪网络中，完成目标分类定位。
14.本发明在孪生网络结构的末端并行添加二阶池化网络和轻量级通道注意力，获取目标的二阶池化特征和通道注意力特征，提高对相似目标的判别能力，关注更多的目标语义信息；并通过将目标的深度特征、二阶池化特征和通道注意力特征进行融合，得到的响应图能很好地区分目标和背景，从而提高模型的判别能力，改善目标定位的精度，从而提升跟踪性能。
15.其中，s1步骤中，获取训练视频集和测试视频集；所述训练视频集和测试视频集从无人机目标跟踪视频数据集中获得。
16.s2步骤中：构建siamese网络，siamfc分为离线训练和在线评估两个阶段，具体如下：
17.s2.1离线训练阶段：首先，对训练集中的视频帧进行裁剪缩放，得到以目标为中心，大小为127
×
127的模板图像z和255
×
255的搜索图像x；然后,使用alexnet端到端的训练相似度匹配函数其中表示卷积嵌入函数，*表示卷积互相关操作，b1表示得分图中各个位置的不同偏置项；
18.s2.2在线评估阶段：以目标的初始外观作为模板,使用相似度匹配函数f(z,x)评估模板帧与当前帧待搜索图像的相似性，经过深度互相关操作计算相似性得分图，分数越高，二者相似度越高；从得分图中寻找分数最高的候选区域并乘以相应的步长，得到目标在当前帧与模板帧之间的偏移量，从而确定目标在当前帧中的位置。
19.s3步骤中：在孪生网络结构末端并行添加二阶池化网络和轻量级通道注意力；将二阶池化网络应用到siamfc算法中包括挤压模块和激励模块，具体如下：
20.s3.1挤压模块的目的是在通道维度上对输入张量的信息进行二阶统计建模，获取具有通道相关性的协方差矩阵；假设特征提取网络最后一层的输出张量x”∈rw×h×d,其中d代表特征通道数，w和h为特征图的宽和高。为了降低后续计算开销，采用卷积进行降维处理,得到张量x'∈rw×h×
d'
，并进行二阶池化操作；
21.s3.2激励模块的目的是在通道维度上对输入张量的信息进行重新标定，获取具有通道相关性的输出张量；为保持输入张量的原始结构信息，首先对d'
×
d'协方差矩阵进行逐行卷积操作，得到一个d'
×
1的向量；然后使用卷积和非线性激活函数sigmoid，得到一个d
×
1的权重向量；最后执行权重向量和通道之间的点积操作，得到具有通道相关性的输出张量，该张量是对原始深度特征的细化，对相似目标具有良好的判别能力。
22.s4步骤中：采用sbt网络提取目标特征图；首先将x'进行两次reshape操作，得到x∈r
d'
×
(w
×
h)
和x
t
∈r
(w
×
h)
×
d'
的特征矩阵，
23.然后计算特征图x'的协方差矩阵：
[0024][0025]
接着采用特征值分解的方式对得到的协方差矩阵进行处理，获得其特征值和特征向量：p＝uλu
t
；式中：λ＝diag(λ1,λ2,...,λn)为对角矩阵；λi为特征值；u＝[u1,u2,...,un]为对应的特征向量；通过上述的特征值分解可以将对矩阵的幂运算转换为对特征值得幂运算求解：
[0026]
进一步，α＝0.5,f(λ)＝diag(f(λ1),f(λ2),...,f(λn))，协方差矩阵
是为获取各通道像素间的相关性，描述如下：
[0027][0028]
式中：xi表示第i个通道的特征图，i∈[1,d']。
[0029]
与现有技术相比，本发明的有益效果如下：
[0030]
本发明在孪生网络结构的末端并行添加二阶池化网络和轻量级通道注意力，获取目标的二阶池化特征和通道注意力特征，对深度特征的细化和增强，提高对相似目标的判别能力，关注更多的目标语义信息；通过将目标的深度特征、二阶池化特征和通道注意力特征进行融合，使用融合后的特征进行互相关，得到的响应图能很好地区分目标和背景，提高模型的判别能力，改善目标定位的精度，从而提升跟踪性能。
[0031]
实验表明本发明提高了特征提取的能力，增强了复杂环境下的跟踪效果，有效的提高了无人机跟踪准确率，具有良好的泛化能力和适用范围。
附图说明
[0032]
图1为本发明实施的基于二阶池化特征融合的孪生网络目标跟踪方法的流程图。
[0033]
图2为二阶池化网络的示意图。
[0034]
图3为二阶池化操作的示意图。
具体实施方式
[0035]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0036]
图1所示，为本发明所实现的基于二阶池化特征融合的孪生网络目标跟踪方法，包括以下几个步骤：
[0037]
s1：获取训练视频集和测试视频集；
[0038]
所述训练视频集和测试视频集从无人机目标跟踪视频数据集中获得。
[0039]
s2：构建siamese网络，将视频送入构建网络中；
[0040]
siamfc分为离线训练和在线评估两个阶段。
[0041]
s2.1离线训练阶段：首先，对训练集中的视频帧进行裁剪缩放，得到以目标为中心，大小为127
×
127的模板图像z和255
×
255的搜索图像x；然后,使用alexnet端到端的训练相似度匹配函数其中表示卷积嵌入函数，*表示卷积互相关操作，b1表示得分图中各个位置的不同偏置项。
[0042]
s2.2在线评估阶段：以目标的初始外观作为模板,使用相似度匹配函数f(z,x)评估模板帧与当前帧待搜索图像的相似性，经过深度互相关操作计算相似性得分图，分数越高，二者相似度越高；从得分图中寻找分数最高的候选区域并乘以相应的步长，得到目标在当前帧与模板帧之间的偏移量，从而确定目标在当前帧中的位置。
[0043]
s3：在孪生网络结构末端并行添加二阶池化网络和轻量级通道注意力；
[0044]
二阶池化网络能够显著增强卷积神经网络模型的非线性拟合能力，受此工作启发，本文将二阶池化网络应用到siamfc算法中包括挤压模块和激励模块。
[0045]
s3.1挤压模块的目的是在通道维度上对输入张量的信息进行二阶统计建模，获取具有通道相关性的协方差矩阵。假设特征提取网络最后一层的输出张量x”∈rw×h×d,其中d代表特征通道数，w和h为特征图的宽和高。为了降低后续计算开销，采用卷积进行降维处理,得到张量x'∈rw×h×
d'
，并进行二阶池化操作。
[0046]
s3.2激励模块的目的是在通道维度上对输入张量的信息进行重新标定，获取具有通道相关性的输出张量。为保持输入张量的原始结构信息，首先对d'
×
d'协方差矩阵进行逐行卷积操作，得到一个d'
×
1的向量；然后使用卷积和非线性激活函数sigmoid，得到一个d
×
1的权重向量；最后执行权重向量和通道之间的点积操作，得到具有通道相关性的输出张量，该张量是对原始深度特征的细化，对相似目标具有良好的判别能力。
[0047]
s4：采用sbt网络提取目标特征图；
[0048]
首先将x'进行两次reshape操作，得到x∈r
d'
×
(w
×
h)
和x
t
∈r
(w
×
h)
×
d'
的特征矩阵，然后计算特征图x'的协方差矩阵：其中为一个n维的向量，接着采用特征值分解的方式对得到的协方差矩阵进行处理，获得其特征值和特征向量：p＝uλu
t
。式中：λ＝diag(λ1,λ2,...,λn)为对角矩阵；λi为特征值；u＝[u1,u2,...,un]为对应的特征向量。通过上述的特征值分解可以将对矩阵的幂运算转换为对特征值得幂运算求解：在本文中α＝0.5,f(λ)＝diag(f(λ1),f(λ2),...,f(λn))，协方差矩阵是为获取各通道像素间的相关性，描述如下：
[0049][0050]
式中：xi表示第i个通道的特征图，i∈[1,d']。
[0051]
s5：将特征响应图送入目标跟踪网络中，完成目标定位。
[0052]
综上所述，本发明采用一种基于区域建议的回归模型，提取响应图中高于一定阈值的响应点，得到包含目标信息的候选图像，并放入训练好的回归模型进行位置预测，能够在不损失过多性能下降低算法复杂度，提升算法效率，同时还能提升目标位置准确性。
[0053]
提取响应图中高于阈值的响应点作为待预测的目标中心点，根据上一帧的目标尺度大小得到每个中心点的目标框，之后把每个目标框内的图像送入回归模型进行预测，最终得到目标的精确位置信息。此模型与传统回归模型中在预测环节提取目标周围大量的样本图像相比，降低了预测环节中输入图像的数量，降低了算法的计算量，在不损失过多性能的条件下提升了算法效率。
[0054]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于包括以下步骤：s1：获取训练视频集和测试视频集；s2：构建siamese网络，将视频送入构建网络中；s3:在孪生网络结构末端并行添加二阶池化网络和轻量级通道注意力；s4：将目标的深度特征、二阶池化特征和通道注意力特征以add方式进行融合；s5：将特征响应图送入目标跟踪网络中，完成目标分类定位。2.如权利要求1所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于s1步骤中，获取训练视频集和测试视频集；所述训练视频集和测试视频集从无人机目标跟踪视频数据集中获得。3.如权利要求1所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于s2步骤中：构建siamese网络，siamfc分为离线训练和在线评估两个阶段，具体如下：s2.1离线训练阶段：首先，对训练集中的视频帧进行裁剪缩放，得到以目标为中心，大小为127
×
127的模板图像z和255
×
255的搜索图像x；然后,使用alexnet端到端的训练相似度匹配函数其中表示卷积嵌入函数，*表示卷积互相关操作，b1表示得分图中各个位置的不同偏置项；s2.2在线评估阶段：以目标的初始外观作为模板,使用相似度匹配函数f(z,x)评估模板帧与当前帧待搜索图像的相似性，经过深度互相关操作计算相似性得分图；从得分图中寻找分数最高的候选区域并乘以相应的步长，得到目标在当前帧与模板帧之间的偏移量，从而确定目标在当前帧中的位置。4.如权利要求1所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于s3步骤中：在孪生网络结构末端并行添加二阶池化网络和轻量级通道注意力；将二阶池化网络应用到siamfc算法中包括挤压模块和激励模块，具体如下：s3.1挤压模块的目的是在通道维度上对输入张量的信息进行二阶统计建模，获取具有通道相关性的协方差矩阵；假设特征提取网络最后一层的输出张量x”∈r
w
×
h
×
d
,其中d代表特征通道数，w和h为特征图的宽和高；采用卷积进行降维处理，得到张量x'∈r
w
×
h
×
d'
，并进行二阶池化操作；s3.2激励模块的目的是在通道维度上对输入张量的信息进行重新标定，获取具有通道相关性的输出张量；首先对d'
×
d'协方差矩阵进行逐行卷积操作，得到一个d'
×
1的向量；然后使用卷积和非线性激活函数sigmoid，得到一个d
×
1的权重向量；最后执行权重向量和通道之间的点积操作，得到具有通道相关性的输出张量。5.如权利要求1所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于s4步骤中：采用sbt网络提取目标特征图；首先将x'进行两次reshape操作，得到x∈r
d'
×
(w
×
h)
和x
t
∈r
(w
×
h)
×
d'
的特征矩阵，然后计算特征图x'的协方差矩阵：其中为一个n维的向量；接着采用特征值分解的方式对得到的协方差矩阵进行处理，获得其特征值和特征向量：p＝uλu
t
；式中：λ＝diag(λ1,λ2,...,λ
n
)为对角矩阵；λ
i
为特征值；u＝[u1,u2,...,u
n
]为对应的特征向量；通过上述的特征值分解可以将对矩阵的幂运算转换为对特征值得幂运算
求解：6.如权利要求5所述的基于二阶池化特征融合的孪生网络目标跟踪方法，其特征在于，α＝0.5,f(λ)＝diag(f(λ1),f(λ2),...,f(λ
n
))，协方差矩阵是为获取各通道像素间的相关性，描述如下：式中：x
i
表示第i个通道的特征图，i∈[1,d']。

技术总结
本发明公开了一种基于二阶池化特征融合的孪生网络目标跟踪方法，首先,使用孪生网络结构获取目标的深度特征；然后；在孪生网络结构的末端并行添加二阶池化网络和轻量级通道注意力；以获取目标的二阶池化特征和通道注意力特征；最后,将目标的深度特征、二阶池化特征和通道注意力特征进行融合，本发明使用融合后的特征进行互相关操作，得到地响应图能很好地区分目标和背景，提高跟踪模型的判别能力，改善目标定位的精度，从而提升跟踪性能。从而提升跟踪性能。从而提升跟踪性能。


技术研发人员：程杰标 吴文娟 邹远炳
受保护的技术使用者：微点数字科技有限公司
技术研发日：2023.03.16
技术公布日：2023/7/31