一种基于生成伪融合特征的室外RGB-T目标跟踪算法

一种基于生成伪融合特征的室外rgb-t目标跟踪算法
技术领域
1.本发明属于计算机视觉图像处理领域，具体涉及一种基于生成伪融合特征以及提高对室外天气适应性的可见光-热红外(rgb-t)目标跟踪算法。


背景技术：

2.视觉目标跟踪技术具有非常广泛的应用，在自动驾驶、人机交互、战场侦察、安防监控等领域都发挥了重要作用。基于传感器的不断发展，降低了多模态数据的获取成本，利用多模态数据处理跟踪问题展现出了强大的发展前景，目前在多模态跟踪领域主要是应用可见光数据和热红外数据。可见光模态能反映丰富的场景细节信息，保留更多的纹理特征，但其成像对光照强度的变化较为敏感，易受光照强度的影响导致目标模糊。相比之下，热红外模态可以捕获场景的热辐射分布，不受限于光照强度的影响。结合可见光和热红外数据的的互补优势可以在一定程度上克服仅使用单模态数据在特征表示上的局限性，实现更好的跟踪效果。
3.目前多模态视觉目标跟踪算法在结合可见光-红外双模态的优势上，往往采用较为复杂的融合方式以实现模态间的相互关注，同时现有的rgb-t目标跟踪算法更多的关注可见光和热红外两种模态间的融合，而忽略跟踪器的鲁棒性问题，进行室外目标跟踪任务时，存在天气复杂多变、场景随机性较强等问题，现有的多模态目标跟踪算法难以应对室外跟踪任务的多重挑战。
4.结合上述问题，已有的多模态跟踪算法普遍存在融合结构复杂、计算量大且天气适应性差的问题，用于室外跟踪任务在效率和准确度方面均难以保证，设计一个融合方式简单有效且对天气变化适应度高的rgb-t跟踪算法，实现全天时全天候目标跟踪任务是目前需要解决的问题。


技术实现要素：

5.为了解决现有多模态跟踪算法存在的融合结构复杂，场景适应性差，执行室外目标跟踪任务时，难以保证跟踪效率并难以适应室外天气变化的问题，本发明基于现有rgb-t多模态视觉目标跟踪算法在实际应用场景中可能存在的潜在问题，一方面综合考虑rgb-t多模态融合的融合质量和计算效率，采用卷积生成的方式获取可见光和热红外的伪融合特征图，进一步丰富特征信息，并采用低计算量通道交换的方式，实现两个模态之间的信息交流。另一方面为了提高rgb-t多模态跟踪器应对室外天气变化的能力，设计了天气适应性增强网络，增强特征对天气状况的适应性以提高跟踪鲁棒性。
6.为了实现上述目的，本发明的具体技术方案如下：
7.一种结合生成伪融合特征和天气适应性增强的rgb-t室外目标跟踪算法，所述的方法重点包括设计生成伪融合特征网络和天气适应性增强网络。主要包括数据预处理、网络模型设计、离线训练、在线跟踪四部分内容。如附图1所示为本发明所提出的rgb-t多模态目标跟踪算法的网络模型结构，整体网络架构包括多模态特征提取网络、生成伪融合特征
网络、天气适应性增强网络以及分类网络。
8.数据预处理：本发明利用天气类型数据集构建伪rgb-t数据集参与网络训练过程；
9.网络模型的设计：本发明所设计的基于生成伪融合特征的室外rgb-t目标跟踪算法，其网络模型的整体结构包括四部分内容：多模态特征提取网络；生成伪融合特征网络；天气适应性增强网络；目标背景分类网络；
10.(1)多模态特征提取网络：本发明采用可见光模态和热红外模态结构相同但参数不同双流特征提取网络对多模态特征进行提取。
11.(2)生成伪融合特征网络：设计生成伪融合特征网络，以低计算量的方式获取更丰富的多模态特征，并促进多模态特征之间的信息交流。具体方式为，先将每层经特征提取之后的多模态特征进行通道联级，再采用先逐通道再点积的低计算成本方式生成融合特征的伪特征图，需保证生成的伪融合特征图与经多模态特征提取网络操作之后得到的特征图，大小不变且通道数一致。随后采用通道交换的方式，分别将伪融合特征图与经多模态特征提取网络操作之后得到的可见光特征图和热红外特征图进行通道交换，实现模态间可见光信息和热红外信息的相互引入。
12.(3)天气适应性增强网络：经过生成伪融合特征网络处理之后，为了提高跟踪器执行室外跟踪任务时对天气变化的适应情况，本发明提出了天气适应性增强网络。
13.离线训练过程中的天气适应性增强网络：
14.离线训练过程中的天气适应性增强网络目的在于得到与多种天气类别相适应的特征提取分支，为进行在线跟踪提供鲁棒性的保障。将经过生成伪融合特征网络操作后得到的特征v
3d
和i
3d
输入到天气适应性增强网络中，根据数据集中含有的天气类别标签，将特征v
3d
和i
3d
分别输入到标签对应的天气类型评估分支tj中，其中j代表天气类别信息，包括多云、下雨、下雪、雾和雷雨天气。将所有经过不同天气类型评估分支操作后的特征图，对目标区域进行正负样本的采样，送入分类网络中，对目标背景分类器进行训练。
15.在线跟踪过程中的天气适应性增强网络：
16.在线跟踪过程中的天气适应性增强网络主要增强网络对天气的适应性，提高跟踪的鲁棒性。实现方式为将经多模态特征提取网络和生成伪融合特征网络操作后得到特征v
3d
和i
3d
进行天气类别的评估，把特征v
3d
和i
3d
分别输入到并行多分支天气类别评估分支tj中，其中j代表不同的天气种类。以可见光模态为例，将可见光模态中经过天气评估分支tj操作后得到的特征v
tjd
进行天气类型的预测，根据预测得分，选出概率最高的天气评估分支所输出的特征图将其与特征v
3d
相加，得到特征v
t
，用同样的计算方式得到特征图i
t
，从而完成天气类型在多模态中的并行预判，提高图像对天气类型的预估准确性和适应性。
17.(4)分类网络：分类网络中共包含2个全连接层和1个分类层，在训练过程中分类网络主要计算目标背景分类损失和实例嵌入损失。其中目标背景分类损失主要用于区分每个视频中的目标与背景，采用二分类交叉熵损失作为损失函数，利用网络输出的分类得分，实现目标和背景的区分；实例嵌入损失主要用于扩大不同视频序列中具有相似语义信息的前景目标在共享特征空间中的距离。具体来讲，对于不同的序列分支中的目标，对应不同的分类分数，当前序列中的分数应该显著大于其他的序列分支。
18.离线训练：包括预训练模型加载、网络参数设置、网络损失函数设置以及模型获取。
19.(1)预训练模型加载：将在大规模目标分类数据集imagenet上进行预训练的轻量级卷积神经网络vgg-m的前三个卷积层加载到本发明的双流网络结构。
20.(2)网络参数设置：设置训练过程中的迭代次数、批次大小、不同的学习率、动量和权重衰减参数。
21.(3)网络损失函数设置：包括包括分类损失和实例嵌入损失。分类损失用于区分每个视频序列中的目标与背景；实例嵌入损失目的在于对不同视频序列中的目标进行判别，扩大不同视频序列之间目标的距离。利用超参数λ1平衡实例嵌入损失项。
22.(4)模型获取：根据训练结果，获取最佳网络参数模型。
23.在线跟踪：包括模型加载、天气类型评估、初始帧目标框的回归、生成候选样本、选取最佳候选样本以及在线更新；
24.(1)模型加载：加载训练所得最佳网络模型。
25.(2)天气类型评估：将经过生成伪融合特征网络操作后得到的的特征v
3d
和i
3d
输入到天气适应性增强网络中，利用多分支结构对每张特征图的天气类型进行评估。
26.(3)初始帧目标框的回归：将初始帧使用目标框回归方法获取初始帧目标跟踪结果。
27.(4)生成候选样本：通过高斯采样的方式从前一帧的预测位置收集候选样本集{x
nm
}
m＝1,...,256
。
28.(5)选取最佳候选样本：获得所生成的候选样本的分类结果，按分类得分进行排序，选择得分最高的样本区域作为当前帧的跟踪结果。
29.(6)在线更新：在线更新包括短时更新和长时更新两种。其中短时更新由经分类网络获得的样本分类分数决定。若得分小于0时，对网络进行短时更新；每次完成固定间隔的跟踪任务时，网络进行一次长时更新。
30.本发明的特点：
31.本发明提出了一种基于生成伪融合特征和天气适应性增强的rgb-t室外目标跟踪算法。本发明对两个模态的特征进行融合后的生成，获得相应的伪融合特征，增强信息的多样性，并采用低计算通道交换方式进行两个模态之间的信息交互。同时考虑到跟踪器在执行室外跟踪任务时，天气复杂多变，提高跟踪器对天气变化的适应性对于提高跟踪效果至关重要，因而设计天气适应性增强网络，提高跟踪器对天气变化的适应程度，具体采用了多分支天气类型评估结构，对特征进行并行提取，计算多分支天气类型的评估值，将评估所得概率最高的特征加权与生成伪融合特征网络的输出相结合，而且天气适应性增强网络采用双模态并行评估的方式，提高信息的可靠性以进一步增强跟踪器对天气变化的适应性。本发明设计的生成伪融合特征网络和天气适应性增强网络分别在跟踪器的融合特征表征和跟踪器的鲁棒性方面实现相应的优化，能够结合多模态数据的异质性进行优势互补，增强跟踪过程中应对天气变化的能力，达到进行稳健跟踪的目的。
附图说明
32.图1.网络模型结构图
33.图2.数据预处理流程图
34.图3.离线训练过程流程图
35.图4.在线跟踪过程流程图
36.图5.生成伪融合特征网络的实验结果之一
37.图6.生成伪融合特征网络的实验结果之二
具体实施方式
38.以下结合说明书附图，对本发明的实施实例加以详细说明：
39.一种基于生成伪融合特征和天气适应性增强的rgb-t室外目标跟踪方法，算法分为数据预处理、网络结构设计、离线训练以及在线跟踪过程。网络整体流程图如图2所示。
40.数据预处理部分具体内容如下：
41.数据预处理：数据预处理流程如附图2所示。本发明利用天气类型数据集参与网络训练过程，类别包括多云、下雨、下雪、薄雾和雷雨天气。为了使天气类型数据集适用跟踪任务，对天气类型数据集中的人物、动物等目标信息进行标注以便对本发明所提跟踪算法的分类器进行训练，同时为了适应多模态跟踪模型，对天气类型数据集进行数据扩充，利用可见光模态数据生成灰度图作为伪红外模态数据，结合原可见光模态的天气类型数据集对应构建成对的伪rgb-t图像，应用于本发明的rgb-t多模态跟踪器的训练。
42.网络结构设计部分如下：
43.本发明的网络结构由多模态特征提取网络、生成伪融合特征网络、天气适应性增强网络以及分类网络组成。
44.(1)首先利用多模态特征提取网络完成特征的提取，本发明采用分别提取可见光和热红外特征的网络结构，每个模态的特征提取网络结构相同，但参数不同，称为双流网络结构。双流网络结构中针对每一个模态网络分支均包括3个卷积层、1个最大值池化层、3个非线性激活relu层和2个局部相应归一化层。参数在训练过程中针对不同模态图像的特点进行学习，使得卷积层的权重和偏置与不同模态的特征相适应，因而双流结构能够更好的利用多模态的特点提取特征，为得到更具有表征能力的融合特征提供良好的基础。
45.(2)利用生成伪融合特征网络，在每层特征提取之后，对深度特征进行模态间的融合。生成伪融合特征网络可以利用多模态的信息，进一步生成更丰富的多模态融合信息，相比于仅使用原始多模态图像信息得到的融合特征，可提供更多的具有参考意义的信息，同时生成伪融合特征网络采用的方式简单有效，在能够提供更多有益信息的同时，减少了复杂的计算成本。具体实现方式为输入可见光和热红外图像之后，经卷积层处理得到特征v
l
∈c
×w×
h和i
l
∈c
×w×
h,分别代表经第l层卷积处理之后得到的可见光特征和热红外特征，其中l∈{1,2,3}，c表示特征图的通道数，具体来讲，经过第一层卷积提取后，特征图通道数为96；经过第二层卷积提取后，特征图通道数为256；经过第三层卷积提取后，特征图通道数为512。w表示特征图的宽度，h表示特征图的高度。在每个特征提取层获得特征v
l
和i
l
后，利用轻量化逐通道卷积，再结合逐点卷积的方式整合各通道的特征信息，得到每层的生成伪融合特征a
l
，将生成伪融合特征a
l
分别与特征v
l
和i
l
进行通道交换操作，得到通道交换后的可见光模态特征v
lc
∈c
×w×
h和热红外模态特征i
lc
∈c
×w×
h,再将通道交换后的特征v
lc
和i
lc
分别与特征v
l
和i
l
对应相加，得到每层经过生成伪融合特征网络操作后的特征v
ld
∈c
×w×
h和i
ld
∈c
×w×
h。
46.(3)天气适应性增强网络主要提高在室外跟踪场景中对天气变化情况的适应度，
提高跟踪的鲁棒性。本发明采用双模态并行结构对图像所包含的天气信息进行识别，提高网络对图像的判别能力，增强网络的鲁棒性。
47.在天气适应性增强网络中，采用多分支结构，根据不同天气类型数据集所含类别信息，采用在主干特征提取网络层之后添加额外特征提取层的方式，对天气类别信息进行区分。具体实现方式为将经过生成伪融合特征网络操作后得到的特征v
3d
和i
3d
输入到天气适应性增强网络中，v
3d
和i
3d
分别表示当l＝3时，即经第3层卷积处理之后得到的可见光特征和热红外特征，根据特征v
3d
和i
3d
包含的天气类别信息，将特征图输入到相应的天气类型评估分支tj，其中j代表天气类别，包括多云、下雨、下雪、雾和雷雨天气。将经过天气类型评估分支tj操作后得到的特征图与特征v
3d
和i
3d
相加，得到所需的天气适应性增强特征fv和fi，最后通过相加操作合并两个模态的特征图，如公式(1)所示，得到特征图fa输入到分类网络中。
48.fa＝fv+fiꢀꢀ
(1)
49.(4)分类网络；分类网络中共包含3个全连接层，其中第一个全连接层有512个输出单元，再经过relu模块处理，送入第二个全连接层；在第二个全连接层中同样有512个输出单元，并使用relu和dropouts模块。第三个全连接层用于区分目标和背景，采用二分类交叉熵损失作为损失函数，利用网络输出的分类得分，实现目标和背景的区分。
50.所述离线训练过程的具体步骤如下：包括预训练模型加载；网络参数设置；网络损失函数设置；模型获取。离线训练过程流程如附图3所示。
51.(1)预训练模型的加载：本发明的网络采用两分支分别提取可见光图像特征和热红外图像特征的网络结构，分别输入可见光和热红外模态的图像，特征提取网络的两个分支均加载在大规模目标分类数据集imagenet上进行预训练的轻量级卷积神经网络vgg-m的前三个卷积层，第一层卷积包括7
×
7的卷积核、步长为2，非线性激活层relu和局部响应归一化层，输出96通道；第二层卷积包括5
×
5的卷积核、步长为2，非线性激活层relu和局部响应归一化层，输出256通道；第三层卷积包括3
×
3的卷积核、步长为1，再结合非线性激活层relu，输出512通道。
52.(2)网络参数设置：设置在训练过程中对网络进行100次迭代，批次大小设置为8，在每个批次中针对不同的帧均生成32个正样本和96个负样本送入分类网络中。特征提取及特征融合部分的学习率设置为0.0001。分类网络中共包含3个全连接层，其中前两个全连接层的学习率设置为0.0001，最后一个全连接层的学习率设置为0.001，动量和权重衰减分别设置为0.9和0.0005。基于上述内容完成网络预训练模型的加载和初始模型参数设置，开始迭代训练过程，直到训练结束为止。
53.(3)网络损失函数设置：在训练过程中，网络利用分类损失和实例嵌入损失相结合作为总的分类损失函数。其中分类损失主要用于区分每个域中的前景与背景，获取网络输出的分类得分，采用二分类交叉熵损失作为损失函数；实例嵌入损失主要用于扩大不同域中具有相似语义信息的前景目标在共享特征空间中的距离，对于不同的序列分支中的目标，对应不同的分类分数，当前序列中的分数应该显著大于其他的序列分支，并通过随机梯度下降法求解最优化网络参数。
54.分类损失函数如公式(2)所示：
[0055][0056]
其中n表示样本的数量，y表示二值分类标签，y∈{0,1}，yi表示第i个样本所对应的二值分类标签，yi∈{0,1}。c表示正负样本的类别标签，若二值分类标签与正负样本的标签一致，则(yi)c＝1，否则为0。k表示不同的视频序列，可描述为不同的域。s表示二值分类得分，对不同域中表示第k个域中第i个样本的二值分类得分，表示通过softmax层计算出来的归一化结果。
[0057]
实例嵌入损失目的在于对不同域中的目标进行判别，扩大不同域之间目标的距离，在计算过程中，仅采用正样本进行计算，可表示为公式(3)：
[0058][0059]
式中表示第i个正样本的二值分类得分，表示通过归一化层计算出来的第i个正样本分类得分，表示第i个正样本所对应的二值分类标签，n表示样本的数量，k表示不同的视频序列，k表示视频序列总数。
[0060]
综上所述，整体网络的训练过程损失函数，可表示为公式(4)：
[0061]
l＝l
cls
+λ1l
inst
ꢀꢀ
(4)
[0062]
其中，λ1是控制损失项间平衡的超参数，设置为0.1。
[0063]
(4)模型获取：对不同的域k中的正负样本，在分类网络中均可得到相应的二值分类得分s，计算每一轮中每个域k中每个正负样本的准确率得分，并求和取平均，得到针对该域k的分类准确率平均得分；在每一轮的训练中逐步对所有域计算分类准确率平均得分，在所有域都计算结束后，将所有域的分类平均准确率再求和取平均，得到本轮训练的准确率预测得分s
pre
。如公式5所示。在训练过程中比较每轮中s
pre
值的大小，训练结束后，保留s
pre
值最大的训练轮次所对应的网络训练模型。
[0064][0065]
其中n表示每个域中的样本数量，nk代表域的数量，表示第k个域中第i个样本的二值分类得分。
[0066]
在线跟踪过程包括模型的加载、天气类型估计、初始帧目标框的回归、生成候选样本、选取最佳候选样本、在线更新。在线跟踪过程流程如附图4所示，其具体步骤如下：
[0067]
(1)模型加载：将根据附图1所示的网络结构训练后得到的最佳网络模型，加载到在线跟踪过程中执行跟踪任务。
[0068]
(2)天气类型估计：将经过第三特征提取层的生成伪融合特征网络操作后得到的的可见光特征v
3d
和热红外特征输入到天气适应性增强网络中，利用多分支结构对每张特征图的天气类型进行评估。具体实现方式为将特征v
3d
和输入到天气适应性增强网络中，将每张特征图输入到每个模态所有天气类型评估分支tj中，得到对应每个天气类别的特征其中j代表天气类别信息的序号，分别对应多云、下雨、下雪、雾和雷雨天气。将每
张特征图经过所有天气类型评估分支tj所得到的特征图做通道联级，得到特征v
td
，如公式(6)和公式(7)所示。
[0069][0070][0071]
将每个模态做通道联级后的特征图v
td
，通过softmax操作，计算每个分支的权重wj。选择权重wj最高的分支tj所输出的特征图，如公式(8)和公式(9)所示。
[0072][0073][0074]
将权重最高的特征图与所得权重wj加权融合，并与第三特征提取层的生成伪融合特征网络操作后得到的的可见光特征和热红外特征分模态对应相加，得到所需的天气适应性增强特征fv和fi，如公式(10)和公式(11)所示。
[0075][0076][0077]
最后通过相加操作合并两个模态的特征图，如公式(1)所示，得到特征图fa输入到分类网络中。
[0078]
(3)初始帧目标框的回归：当执行跟踪任务时，首先利用初始帧学习分类层的权重和偏置，提高对新域中跟踪目标的适应性。具体实现方式为以初始帧目标的真值边界框为中心，按重叠度(iou)》0.7收集500个正样本，按重叠度(iou)《0.5收集5000个负样本，先后经过分类网络中的两个全连接层后，获得512大小的特征向量送入分类层，在分类层中先经过dropouts层，防止网络过拟合，再使用softmax损失得到每个样本的分类得分，大小均为2维。由此获得针对新域的分类层，继续完成之后的目标跟踪任务。
[0079]
(4)生成候选样本：通过高斯采样的方式从前一帧的预测位置收集候选样本集
[0080]
(5)选取最佳候选样本：目标候选样本经过全连接层和分类层的处理，输出候选样本的分类结果。根据样本的分类分数，按分数的高低对样本进行排序，选择得分最高的样本区域作为当前帧的跟踪结果，最佳样本的选择如公式(12)所示：
[0081][0082]
其中，m是候选样本标号m＝1,2,...,256，表示第m个正样本的分类得分，表示通过网络计算后分类得分最高的候选样本。
[0083]
(6)在线更新：在线跟踪过程中对两种情况进行网络更新。其一，当分类网络获得的最佳样本的分类得分小于0，则说明跟踪失败，对网络进行一次更新，称为短时更新。其二，当完成固定间隔的跟踪任务时，网络进行一次更新，称为长时更新。网络的两种在线更新均涉及样本库的构建与更新，针对不同的情况，更新时所需的样本集不同。在线跟踪过程中，跟踪成功时在当前帧预测的目标位置周围进行随机采样，收集(50)个正样本添
加到正样本集中。收集个负样本添加到负样本集中。已跟踪成功的帧数f
+
(100～120)为设定的阈值，正样本帧数f-(20～30)为设定的阈值。当跟踪成功的帧数f
+
达到设定的跟踪成功帧数阈值100～120时，删除正样本集中从最早帧中收集的样本。当跟踪成功的帧数f
+
达到设定的跟踪成功帧数阈值20～30时，删除负样本集中最早帧中收集的负样本。若跟踪成功帧数f
+
尚不足设定阈值20～30帧时，采用正样本集和负样本集中的全部样本完成在线短时更新；当跟踪成功帧数f
+
大于设定阈值帧数时，短时更新所用的正样本来自正样本集中最新的且与阈值数量相同的帧中收集到的正样本，负样本来自负样本集中收集到的全部负样本集。进行在线长时更新时，采用设定阈值帧数内所对应的全部正样本集和负样本集参与在线长时更新。短时更新和长时更新利用所对应的正负样本集采用二分类交叉熵损失函数计算分类损失，根据计算的分类损失，采用梯度下降法对网络的分类网络部分进行权重和偏置的优化，保证目标跟踪的鲁棒性和适应性，网络的分类网络部分，包含2个全连接层和1个分类层，第一个全连接层有512个输出单元，经过relu模块处理，送入第二个全连接层，获得512个输出单元，并使用relu和dropouts模块，防止网络过拟合。分类层为2维，获得目标和背景的分类结果。
[0084]
实验结果评估：
[0085]
本发明涉及的主要内容包括添加天气类别数据集到跟踪中、设计生成伪融合特征网络以及天气适应性增强网络。
[0086]
生成伪融合特征网络的实验结果如下，其中生成伪融合特征网络的实验结果命名为part1，实验结果表明，如图5所示，相比于基础的rgb-t目标跟踪网络结构rt-mdnet+rgbt，仅使用生成伪融合特征网络，在准确率上提高了3.1％如图6所示，仅使用生成伪融合特征网络在成功率上比rt-mdnet+rgbt算法提高了3.8％。
[0087]
本发明中设计的添加天气类别数据集和天气适应性增强网络，主要目的在于增强室外rgb-t跟踪器的天气适应性，提高跟踪器的鲁棒性，结合生成伪融合特征网络较好的性能，本发明所设计的整体网络结构，将能够保持较高跟踪性能的同时提高室外rgb-t视觉目标跟踪器的适应性。

技术特征：
1.一种基于生成伪融合特征的室外rgb-t目标跟踪算法，其特征在于：网络结构由多模态特征提取网络、生成伪融合特征网络、天气适应性增强网络以及分类网络组成；(1)首先利用多模态特征提取网络完成特征的提取，采用分别提取可见光和热红外特征的网络结构，每个模态的特征提取网络结构相同，称为双流网络结构；双流网络结构中针对每一个模态网络分支均包括3个卷积层、1个最大值池化层、3个非线性激活relu层和2个局部相应归一化层；(2)利用生成伪融合特征网络，在每层特征提取之后，对深度特征进行模态间的融合；具体实现方式为输入可见光和热红外图像之后，经卷积层处理得到特征v
l
∈c
×
w
×
h和i
l
∈c
×
w
×
h,分别代表经第l层卷积处理之后得到的可见光特征和热红外特征，其中l∈{1,2,3}，c表示特征图的通道数，具体来讲，经过第一层卷积提取后，特征图通道数为96；经过第二层卷积提取后，特征图通道数为256；经过第三层卷积提取后，特征图通道数为512；w表示特征图的宽度，h表示特征图的高度；在每个特征提取层获得特征v
l
和i
l
后，利用轻量化逐通道卷积，再结合逐点卷积的方式整合各通道的特征信息，得到每层的生成伪融合特征a
l
，将生成伪融合特征a
l
分别与特征v
l
和i
l
进行通道交换操作，得到通道交换后的可见光模态特征v
lc
∈c
×
w
×
h和热红外模态特征再将通道交换后的特征v
lc
和分别与特征v
l
和i
l
对应相加，得到每层经过生成伪融合特征网络操作后的特征v
ld
∈c
×
w
×
h和(3)在天气适应性增强网络中，采用多分支结构，根据不同天气类型数据集所含类别信息，采用在主干特征提取网络层之后添加额外特征提取层的方式，对天气类别信息进行区分；具体实现方式为将经过生成伪融合特征网络操作后得到的特征v
3d
和i
3d
输入到天气适应性增强网络中，v
3d
和分别表示当l＝3时，即经第3层卷积处理之后得到的可见光特征和热红外特征，根据特征v
3d
和包含的天气类别信息，将特征图输入到相应的天气类型评估分支t
j
，其中j代表天气类别，包括多云、下雨、下雪、雾和雷雨天气；将经过天气类型评估分支t
j
操作后得到的特征图与特征v
3d
和相加，得到所需的天气适应性增强特征fv和f
i
，最后通过相加操作合并两个模态的特征图，如公式(1)所示，得到特征图f
a
输入到分类网络中；f
a
＝fv+f
i
(1)(3)分类网络；分类网络中共包含3个全连接层，其中第一个全连接层有512个输出单元，再经过relu模块处理，送入第二个全连接层；在第二个全连接层中同样有512个输出单元，并使用relu和dropouts模块；第三个全连接层用于区分目标和背景，采用二分类交叉熵损失作为损失函数，利用网络输出的分类得分，实现目标和背景的区分；所述离线训练过程的具体步骤如下：包括预训练模型加载；网络参数设置；网络损失函数设置；模型获取；(1)预训练模型的加载：采用两分支分别提取可见光图像特征和热红外图像特征的网络结构，分别输入可见光和热红外模态的图像，特征提取网络的两个分支均加载在大规模目标分类数据集imagenet上进行预训练的轻量级卷积神经网络vgg-m的前三个卷积层，第
一层卷积包括7
×
7的卷积核、步长为2，非线性激活层relu和局部响应归一化层，输出96通道；第二层卷积包括5
×
5的卷积核、步长为2，非线性激活层relu和局部响应归一化层，输出256通道；第三层卷积包括3
×
3的卷积核、步长为1，再结合非线性激活层relu，输出512通道；(2)网络参数设置：设置在训练过程中对网络进行100次迭代，批次大小设置为8，在每个批次中针对不同的帧均生成32个正样本和96个负样本送入分类网络中；特征提取及特征融合部分的学习率设置为0.0001；分类网络中共包含3个全连接层，其中前两个全连接层的学习率设置为0.0001，最后一个全连接层的学习率设置为0.001，动量和权重衰减分别设置为0.9和0.0005；基于上述内容完成网络预训练模型的加载和初始模型参数设置，开始迭代训练过程，直到训练结束为止；(3)网络损失函数设置：在训练过程中，网络利用分类损失和实例嵌入损失相结合作为总的分类损失函数；分类损失函数如公式(2)所示：其中n表示样本的数量，y表示二值分类标签，y∈{0,1}，y
i
表示第i个样本所对应的二值分类标签，y
i
∈{0,1}；c表示正负样本的类别标签，若二值分类标签与正负样本的标签一致，则(y
i
)
c
＝1，否则为0；k表示不同的视频序列，可描述为不同的域；s表示二值分类得分，对不同域中s
ik
表示第k个域中第i个样本的二值分类得分，表示通过softmax层计算出来的归一化结果；实例嵌入损失在计算过程中，仅采用正样本进行计算，可表示为公式(3)：式中表示第i个正样本的二值分类得分，表示通过归一化层计算出来的第i个正样本分类得分，表示第i个正样本所对应的二值分类标签，n表示样本的数量，k表示不同的视频序列，k表示视频序列总数；综上所述，整体网络的训练过程损失函数，可表示为公式(4)：l＝l
cls
+λ1l
inst
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，λ1是控制损失项间平衡的超参数，设置为0.1；(4)模型获取：对不同的域k中的正负样本，在分类网络中均可得到相应的二值分类得分s，计算每一轮中每个域k中每个正负样本的准确率得分，并求和取平均，得到针对该域k的分类准确率平均得分；在每一轮的训练中逐步对所有域计算分类准确率平均得分，在所有域都计算结束后，将所有域的分类平均准确率再求和取平均，得到本轮训练的准确率预测得分s
pre
；如公式5所示；在训练过程中比较每轮中s
pre
值的大小，训练结束后，保留s
pre
值最大的训练轮次所对应的网络训练模型；其中n表示每个域中的样本数量，n
k
代表域的数量，表示第k个域中第i个样本的二值
分类得分；在线跟踪过程包括模型的加载、天气类型估计、初始帧目标框的回归、生成候选样本、选取最佳候选样本、在线更新；(1)模型加载：将训练后得到的网络模型，加载到在线跟踪过程中执行跟踪任务；(2)天气类型估计：将经过第三特征提取层的生成伪融合特征网络操作后得到的的可见光特征v
3d
和热红外特征输入到天气适应性增强网络中，利用多分支结构对每张特征图的天气类型进行评估；具体实现方式为将特征v
3d
和输入到天气适应性增强网络中，将每张特征图输入到每个模态所有天气类型评估分支t
j
中，得到对应每个天气类别的特征其中j代表天气类别信息的序号，分别对应多云、下雨、下雪、雾和雷雨天气；将每张特征图经过所有天气类型评估分支t
j
所得到的特征图做通道联级，得到特征v
td
，如公式(6)和公式(7)所示；(7)所示；将每个模态做通道联级后的特征图v
td
，通过softmax操作，计算每个分支的权重w
j
；选择权重w
j
最高的分支t
j
所输出的特征图，如公式(8)和公式(9)所示；所输出的特征图，如公式(8)和公式(9)所示；将权重最高的特征图与所得权重w
j
加权融合，并与第三特征提取层的生成伪融合特征网络操作后得到的的可见光特征v
3d
和热红外特征分模态对应相加，得到所需的天气适应性增强特征fv和f
i
，如公式(10)和公式(11)所示；，如公式(10)和公式(11)所示；最后通过相加操作合并两个模态的特征图，如公式(1)所示，得到特征图f
a
输入到分类网络中；(3)初始帧目标框的回归：当执行跟踪任务时，首先利用初始帧学习分类层的权重和偏置，提高对新域中跟踪目标的适应性；具体实现方式为以初始帧目标的真值边界框为中心，按重叠度(iou)>0.7收集500个正样本，按重叠度(iou)<0.5收集5000个负样本，先后经过分类网络中的两个全连接层后，获得512大小的特征向量送入分类层，在分类层中先经过dropouts层，防止网络过拟合，再使用softmax损失得到每个样本的分类得分，大小均为2维；由此获得针对新域的分类层，继续完成之后的目标跟踪任务；(4)生成候选样本：通过高斯采样的方式从前一帧的预测位置收集候选样本集(5)选取最佳候选样本：目标候选样本经过全连接层和分类层的处理，输出候选样本的分类结果；根据样本的分类分数，按分数的高低对样本进行排序，选择得分最高的样本区域作为当前帧的跟踪结果，最佳样本的选择如公式(12)所示：
其中，m是候选样本标号m＝1,2,...,256，表示第m个正样本的分类得分，表示通过网络计算后分类得分最高的候选样本；(6)在线更新。2.根据权利要求1所述的方法，其特征在于，在线更新具体为：在线跟踪过程中对两种情况进行网络更新；其一，当分类网络获得的最佳样本的分类得分s(x
n*
)小于0，则说明跟踪失败，对网络进行一次更新，称为短时更新；其二，当完成固定间隔的跟踪任务时，网络进行一次更新，称为长时更新；网络的两种在线更新均涉及样本库的构建与更新，针对不同的情况，更新时所需的样本集不同；在线跟踪过程中，跟踪成功时在当前帧预测的目标位置周围进行随机采样，收集个正样本添加到正样本集中；收集个负样本添加到负样本集中；已跟踪成功的帧数f
+
(100～120)为设定的阈值，正样本帧数f-(20～30)为设定的阈值；当跟踪成功的帧数f
+
达到设定的跟踪成功帧数阈值100～120时，删除正样本集中从最早帧中收集的样本；当跟踪成功的帧数f
+
达到设定的跟踪成功帧数阈值20～30时，删除负样本集中最早帧中收集的负样本；若跟踪成功帧数f
+
尚不足设定阈值20～30帧时，采用正样本集和负样本集中的全部样本完成在线短时更新；当跟踪成功帧数f
+
大于设定阈值帧数时，短时更新所用的正样本来自正样本集中最新的且与阈值数量相同的帧中收集到的正样本，负样本来自负样本集中收集到的全部负样本集；进行在线长时更新时，采用设定阈值帧数内所对应的全部正样本集和负样本集参与在线长时更新；短时更新和长时更新利用所对应的正负样本集采用二分类交叉熵损失函数计算分类损失，根据计算的分类损失，采用梯度下降法对网络的分类网络部分进行权重和偏置的优化，保证目标跟踪的鲁棒性和适应性，网络的分类网络部分，包含2个全连接层和1个分类层，第一个全连接层有512个输出单元，经过relu模块处理，送入第二个全连接层，获得512个输出单元，并使用relu和dropouts模块，防止网络过拟合；分类层为2维，获得目标和背景的分类结果。

技术总结
本发明涉及一种基于生成伪融合特征的室外RGB-T目标跟踪算法，包括生成伪融合特征网络和天气适应性增强网络。生成伪融合特征网络包括对融合特征采用先逐通道卷积再点积的方式获取更丰富的融合特征和采用低计算量的通道交换的方式实现多模态之间的信息交流。天气适应性增强网络关注跟踪器在执行室外跟踪任务时对天气类型变化的适应能力，采用多分支天气类型预测结构，计算多个天气特征提取分支对特征图的天气类型预测概率，并采用双模态并行预测的方式，提高跟踪器对天气变化的适应性，保证信息的可靠性。本发明结合多模态数据的异质性实现优势互补、提升特征的表征能力，并提高应对天气变化的能力，实现鲁棒的跟踪。实现鲁棒的跟踪。实现鲁棒的跟踪。


技术研发人员：张辉 栾天 庞银冬 李嘉锋 卓力
受保护的技术使用者：北京工业大学
技术研发日：2023.03.08
技术公布日：2023/7/19