一种基于独立搜索孪生神经网络的目标跟踪方法

1.本发明属于图像处理的技术领域，具体涉及一种基于独立搜索孪生神经网络的目标跟踪方法。


背景技术：

2.目标跟踪是计算机视觉领域中的基础研究内容之一，在智慧城市、智能视频监控、无人驾驶、智慧农业和智能交通等领域中被广泛应用。随着计算机硬件行业的发展，gpu计算能力的不断提高以及大规模图像数据集的公开，目标跟踪算法的精度跟实时性达到商用要求,其相关研究也取得了极大的进展。虽然目标跟踪技术在当前有着良好的发展环境和发展势头，也促进了许多其他计算机视觉任务的发展，但是由于实际应用场景的多样性,跟踪环境和目标自身运动规律的复杂多变，目标跟踪仍是一项具有诸多挑战的任务。
3.对于目标出现遮挡的复杂场景，例如跟踪闹市区的行人、密林里的车辆等，大部分现有目标跟踪算法很容易丢失目标，这是因为其算法是基于时间一致性的假设下工作的，即目标的运动、位置变化、尺度变化平稳，而这也带来了模型的累计误差，在长期跟踪时，这样的累计误差往往会使得后期的目标跟踪结果差很多，且由于遮挡等原因，目标消失在视野中一段时间后又再次出现时，目标在帧间是不连续的，现有算法会丢失目标，无法继续跟踪。因此，设计一种面对各种复杂环境和遮挡干扰时，仍能够准确追踪目标的鲁棒的长时跟踪的算法十分必要。


技术实现要素：

4.本发明提供了一种基于独立搜索孪生神经网络的目标跟踪方法，可跟踪任意位和尺度目标，且每次查询搜索相对独立，没有累积误差，能够解决因为遮挡和目标在视野中消失后再次出现，无法继续跟踪的技术问题，在面对目标遮挡时也能较稳定的跟踪目标，同时引入带有惩罚因子的损失函数，解决数据中存在正负样本、难易样本不均衡问题，从而实现鲁棒的长时目标跟踪。
5.本发明可通过以下技术方案实现：
6.一种基于独立搜索孪生神经网络的目标跟踪方法，用于复杂场景下易被遮挡的目标跟踪，包括以下步骤：
7.s1、将目标图像和当前帧搜索图像分别输入训练好的孪生神经网络进行特征提取，获取目标特征图和当前帧搜索特征图；
8.s2、计算目标特征图和当前帧搜索特征图之间的相关性特征图，并生成多个候选区域；
9.s3、对每个候选区域进行分类和编码，获得每个候选区域的得分和位置，选取得分最高的候选区域作为最终的识别结果；
10.s4、重复步骤s1-s3，对下一帧搜索图像进行目标识别，从而实现目标跟踪。
11.进一步，记目标特征图为z∈r
k*k*c
，其中k代表特征图的尺寸大小，c代表目标特征
图的通道数；当前帧搜索特征图为x∈r
h*w*c
，第i个候选区域为xi，其中h和w为当前帧搜索特征图的宽高，c为当前帧搜索特征图的通道数，
12.利用如下方程式计算目标特征图和当前帧搜索特征图之间的相关性特征图，相关性特征图上的每个点对应当前帧搜索图像上的感受区域，以每个点为中心，划分矩形候选框，生成多组候选区域，
[0013][0014]
其中，表示卷积核，fz(z)为无填充的卷积核k*k大小的卷积，f
x
(x)为3*3大小的卷积，f
out
为1*1大小的卷积，得出的相关性特征图通道数为c；
[0015]
利用如下方程式计算各个候选区域的得分和位置，
[0016][0017]
其中，表示矩阵点乘，hz(z)为无填充的卷积核3*3大小的卷积，h
x
(x)为3*3大小的卷积，h
out
为1*1大小的卷积。
[0018]
进一步，在对孪生神经网络进行训练时，将每个候选区域的预测得分和位置以及选取样本对应的得分和位置真实值输入联合损失函数进行计算，以便在网络中反向传播损失值指导网络优化参数。
[0019]
联合训练的函数如下：
[0020][0021]
其中，m表示样本图像上标注的目标实例个数；
[0022]
对于l(zk,x)函数中的两个损失函数设置如下：
[0023]
a、l
qg-rpn
(z,x)设置为生成候选区域所使用的损失函数，即
[0024][0025]
其中，pi和si分别为第i个候选区域的预测得分和位置，和分别为目标的真实得分和位置，λ为权重，分类损失函数样本的均值为定位损失函数样本的均值为
[0026]
分类损失函数为:
[0027][0028]
其中，a为正负样本的调节因子，γ为难以样本的调节因子；
[0029]
定位损失函数选择smooth l1函数；
[0030]
b、l
qg-rcnn
(z,x)设置为对候选区域进行分类和打分的损失函数，即
[0031]
[0032]
其中，n
prop
为候选区域总数，pi和si分别为第i个候选区域的预测得分和位置，和分别为目标的真实得分和位置，λ为权重。
[0033]
本发明有益的技术效果如下：
[0034]
本发明将整张搜索图像中产生的各个候选区域与目标图像进行特征调制处理，而不是当前帧搜索图像预测结果附近的区域，使得追踪的目标在搜索视频中短暂消失或者遮挡之后仍然具备及时跟踪的能力，同时在每一帧的图像识别中，其永远与目标图像的特征进行对比以得到目标追踪的结果，不依赖前一帧的识别结果即每次查询搜索相对独立，没有累积误差，是一种全局搜索的方法，实现了不依靠运动连续性假设的跟踪优势。结合孪生神经网络跟踪速度快的优势，保证跟踪速度满足实时性的前提下，使得跟踪效果更加稳定可靠。
附图说明
[0035]
图1是本发明的整体流程示意图；
[0036]
图2是本发明的孪生神经网络的整体结构示意图；
[0037]
图3是本发明的候选区域生成的过程示意图；
[0038]
图4是本发明的具体实施例的识别结果示意图。
具体实施方式
[0039]
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
[0040]
基于孪生神经网络的方法，主要利用两帧之间的相似性进行目标跟踪，该算法的两个输入分别为第一帧中给定的目标和后续帧中的搜索区域，目标跟踪网络对这两个输入进行相似性度量，根据度量结果确定当前帧的精确位置，从而完成目标跟踪任务。孪生神经网络目标跟踪算法由于其很好地平衡了精度和速度，因此在现实中有着广泛的应用。
[0041]
为了能够实现鲁棒、并可长时跟踪，本发明基于孪生神经网络的方法进行改进，提出了一种基于独立搜索孪生神经网络的目标跟踪方法，如图1-2所示，该算法可跟踪任意位置和尺度的目标，且每次查询搜索相对独立，没有累积误差，在面对目标遮挡时也能较稳定的跟踪目标，同时引入带有惩罚因子的损失函数，解决数据中存在正负样本、难易样本不均衡问题，从而实现鲁棒的长时目标跟踪。
[0042]
具体如下：
[0043]
s1、如图2所示，将目标图像和搜索图像分别输入训练好的孪生神经网络进行特征提取，获取目标特征图和搜索特征图；
[0044]
将搜索图像输入孪生神经网络中的主干网络resnet-50进行编码，得到搜索特征图x∈r
h*w*c
，其中h和w表示搜索特征图的长和宽，c代表通道数；
[0045]
将目标图像中的查询实例依据孪生神经网络中的分支网络resnet-50的下采样率进行计算，得到查询实例的感兴趣区域特征图即目标特征图z∈r
k*k*c
，其中k为目标特征图的尺寸大小，c为通道数。
[0046]
s2、计算目标特征图和搜索特征图的相关性特征图，并生成多个候选区域；
[0047]
利用如下方程式计算目标特征图和搜索特征图的相关性，
[0048][0049]
其中，表示卷积核，fz(z)为无填充的卷积核k*k大小的卷积，f
x
(x)为3*3大小的卷积，f
out
为1*1大小的卷积；相关性特征图上的每个点对应当前帧搜索图像上的感受区域，以每个点为中心，划分矩形候选框，生成多组候选区域，如图3所示。
[0050]
这一步对应于图2中g
qg-rpn
模块，将搜索特征图每一次搜索相互独立，以增加计算量为代价，换取更加鲁棒的跟踪效果，由于传统的孪生网络跟踪速度高达百帧每秒，所以能够包容全局搜索计算相关性特征图的计算量以满足实时跟踪。
[0051]
s3、对应于图2中g
qg-rcnn
模块，对每个候选区域进行分类和编码，获得每个候选区域的得分和位置，选取得分最高的候选区域作为最终的识别结果；
[0052]
利用如下方程式计算各个候选区域的得分和位置，
[0053][0054]
其中，表示矩阵点乘，hz(z)为无填充的卷积核3*3大小的卷积，h
x
(x)为3*3大小的卷积，h
out
为1*1大小的卷积。
[0055]
在编码的过程中，通过矩阵点乘和卷积操作，将目标特征图和候选区域进行加权融合和卷积计算，从而得到每个候选区域的感兴趣区域特征和查询实例的感兴趣区域特征之间的相关性，这个相关性的值可以用来确定候选区域是否与查询实例匹配以及匹配程度的大小，从而对候选区域进行分类和定位。这样就能够将候选区域与查询实例进行匹配，并且找出最符合的候选区域作为最终的跟踪结果。因此，编码是整个算法中非常重要的一步，它能够将不同特征之间进行有效的关联，提高算法的跟踪准确率。
[0056]
s4、重复步骤s1-s3，对下一个搜索图像进行目标识别，直至最后一帧图像计算完毕即结束跟踪，从而实现目标跟踪。
[0057]
在对孪生神经网络进行训练时，将每个候选区域的预测得分和位置以及选取样本的对应真实值输入联合损失函数进行计算，以便在网络中反向传播损失值指导网络优化参数。训练网络时候，采用联合损失函数进行训练，比起传统的分段训练的方法，联合训练可以在保持同样训练效果的前提下加快训练，提高训练效率。
[0058]
联合训练的函数如下：
[0059][0060]
其中l(zk,x)为：
[0061]
l(zk,x)＝l
qg_rpn
(zk,x)+l
qg_rcnn
(zk,x)
[0062]
对于l(zk,x)函数中的两个损失函数设置如下：
[0063]
a、l
qg-rpn
(z,x)设置为生成候选区域所使用的损失函数，具体地如下
[0064][0065]
其中，pi和si分别为第i个候选区域的预测得分和位置，和分别为目标的真实得分和位置，λ为权重，分类损失函数样本的均值为定位损失函数样本
的均值为
[0066]
分类损失函数为:
[0067][0068]
其中，a为正负样本的调节因子，γ为难以样本的调节因子；
[0069]
定位损失函数选择smooth l1；
[0070]
b、l
qg-rcnn
(z,x)设置为对候选区域进行分类和打分的损失函数，具体如下
[0071][0072]
其中，n
prop
为候选区域总数，pi和si分别为第i个候选区域的预测得分和位置，和分别为目标的真实得分和位置，λ为权重。
[0073]
为了验证本发明的全局目标跟踪方法的可行性，我们进行了如下试验：
[0074]
1.数据收集和准备：
[0075]
使用自己拍摄并标注的行人视频作为训练数据和测试数据。
[0076]
从视频中提取连续的帧图像，并进行必要的调整大小、裁剪等预处理操作。
[0077]
2.网络架构设计：
[0078]
使用预训练的resnet-50模型作为特征提取器，将图像输入resnet-50模型中，获取高维特征表示。
[0079]
3.训练网络：
[0080]
使用带有真实标注的行人视频数据来训练网络，在训练过程中，采用连续帧的批次训练方式，确保网络能够学习到时序关联性。使用联合损失函数来衡量网络预测结果与标注目标位置之间的差异，并通过反向传播算法优化网络参数。
[0081]
使用训练集和验证集来监控网络的训练进展，并根据需要进行调整和优化。。
[0082]
4.目标跟踪：
[0083]
对自己拍摄的行人视频进行目标跟踪，将每个视频帧输入到训练好的网络中，以获取行人的特征表示和运动信息。根据网络的预测结果，定位行人的位置，并显示跟踪边界框，如图4所示，上方灰色框是传统孪生神经网络跟踪算法的预测结果，下方黑色框为本改进算法的目标预测结果，上下互为对比图像组。在第一组图中，目标行人未被遮挡，两种算法的预测结果相近；第二组图中由于其他行人的遮挡，传统算法发生了目标漂移，跟踪到了干扰物，即非目标的遮挡行人，而本算法可以准确的跟踪到目标行人；第三组图中，传统算法跟踪失败，未显示跟踪结果，本算法依然稳定地跟踪到了被遮挡的目标行人；第四组图行人恢复未被遮挡的状态，两种算法的跟踪效果相近。
[0084]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

技术特征：
1.一种基于独立搜索孪生神经网络的目标跟踪方法，用于复杂场景下易被遮挡的目标跟踪，其特征在于包括以下步骤：s1、将目标图像和当前帧搜索图像分别输入训练好的孪生神经网络进行特征提取，获取目标特征图和当前帧搜索特征图；s2、计算目标特征图和当前帧搜索特征图之间的相关性特征图，并生成多个候选区域；s3、对每个候选区域进行分类和编码，获得每个候选区域的得分和位置，选取得分最高的候选区域作为最终的识别结果；s4、重复步骤s1-s3，对下一帧搜索图像进行目标识别，从而实现目标跟踪。2.根据权利要求1所述的基于独立搜索孪生神经网络的目标跟踪方法，其特征在于：记目标特征图为z∈r
k*k*c
，其中k代表特征图的尺寸大小，c代表通道数；当前帧搜索特征图为x∈r
h*w*c
，第i个候选区域为x
i
，其中h和w代表当前帧搜索特征图的宽高，c代表通道数，利用如下方程式计算目标特征图和当前帧搜索特征图之间的相关性特征图，相关性特征图上的每个点对应当前帧搜索图像上的感受区域，以每个点为中心，划分矩形候选框，生成多组候选区域，其中，表示卷积核，f
z
(z)为无填充的卷积核k*k大小的卷积，f
x
(x)为3*3大小的卷积，f
out
为1*1大小的卷积，得出的相关性特征图通道数为c；利用如下方程式计算各个候选区域的得分和位置，其中，
☉
表示矩阵点乘，h
z
(z)为无填充的卷积核3*3大小的卷积，h
x
(x)为3*3大小的卷积，h
out
为1*1大小的卷积。3.根据权利要求2所述的基于独立搜索孪生神经网络的目标跟踪方法，其特征在于：在对孪生神经网络进行训练时，将每个候选区域的预测得分和位置以及选取样本对应的得分和位置真实值输入联合损失函数进行计算，以便在网络中反向传播损失值指导网络优化参数。联合训练的函数如下：其中，m表示样本图像上标注的目标实例个数；对于l(z
k
,x)函数中的两个损失函数设置如下：a.l
qg-rpn
(z,x)设置为生成候选区域所使用的损失函数，即其中，p
i
和s
i
分别为第i个候选区域的预测得分和位置，和分别为目标的真实得分和位置，λ为权重，分类损失函数样本的均值为定位损失函数样本的均值
为分类损失函数为:其中，a为正负样本的调节因子，γ为难以样本的调节因子；定位损失函数选择smooth l1函数；b.l
qg-rcnn
(z,x)设置为对候选区域进行分类和打分的损失函数，即其中，n
prop
为候选区域总数，p
i
和s
i
分别为第i个候选区域的预测得分和位置，和分别为目标的真实得分和位置，λ为权重。

技术总结
本发明涉及图像处理的技术领域，公开了一种基于独立搜索孪生神经网络的目标跟踪方法，包括以下步骤：S1、将目标图像和当前帧搜索图像分别输入训练好的孪生神经网络进行特征提取，获取目标特征图和当前帧搜索特征图；S2、计算目标特征图和当前帧搜索特征图之间的相关性特征图，并生成多个候选区域；S3、对每个候选区域进行分类和编码，获得每个候选区域的得分和位置，选取得分最高的候选区域作为最终的识别结果；S4、重复步骤S1-S3，对下一帧搜索图像进行目标识别，从而实现目标跟踪。从而实现目标跟踪。从而实现目标跟踪。


技术研发人员：安康 梁巧 上官倩芡 刘翔鹏 宋亚庆 张会
受保护的技术使用者：上海师范大学
技术研发日：2023.05.18
技术公布日：2023/10/6