基于注意力机制的残差网络目标跟踪方法及系统

1.本公开涉及计算机图像处理技术领域，具体涉及基于注意力机制的残差网络目标跟踪方法及系统。


背景技术：

[0002][0003]
近几年，随着互联网和计算机技术的迅速发展，计算机视觉技术在许多领域都取得了长足的进步，目标跟踪一直是领域内的研究课题之一。由于深度学习模型学习能力强，特征表达能力高，语义信息获取能力强，强大的端到端的学习机制而被广泛应用于计算机视觉的众多研究领域中，在目标跟踪领域中也受到了越来越多的关注和应用。为了提高深度学习类跟踪模型的速度，基于孪生网络的跟踪算法被提出。该算法能够实现端到端的离线训练和保证目标跟踪的实时性。
[0004]
目前，比较流行的基于孪生网络的深度学习目标跟踪算法主要有siamfc（siamese fully-convolutional networks，全卷积孪生网络）、siamrpn（siameses region proposal networks，孪生区域建议网络）、siammask（fully-convolutional siamese networks with mask r-cnn，带有mask r-cnn的全卷积孪生网络）等算法。siamfc 算法首次利用全卷积网络实现端到端的训练，是孪生网络目标跟踪算法的开山之作；siamrpn算法，首次将目标检测中的 rpn 引入到孪生网络跟踪中，将相似度计算问题转化为目标分类和回归问题；siammask 算法采用更深层次的 resnet 全卷积孪生神经网络，并在 rpn区域推荐网络中加入掩膜分支 mask，对目标进行分割，从而实现目标分割。但在实际目标跟踪过程中，由于摄像机型号、性能、跟踪目标周围环境干扰等因素会严重影响目标跟踪的效果，导致目标跟踪失败。siammask 算法虽然使用了深层残差网络 resnet 进行提取深度特征，但是由于该网络只是分层进行提取目标特征，训练跟踪模型时无法充分的学习到相似性很高的目标特征；并且算法对神经网络提取到的特征一视同仁，平等地对待各个通道和空间上的特征信息，事实上这些特征信息的重要性不相同，因此会造成资源的浪费甚至丢失某些目标信息的情况。当这些情况在面对复杂背景的跟踪场景时，会发生跟踪目标漂移或者跟踪失败的情况。


技术实现要素：

[0005]
本公开为了解决上述问题，提出了基于注意力机制的残差网络目标跟踪方法及系统，使用改进残差模块的res2net残差网络在细粒度层面提取更全面的目标信息，引入融合通道和空间的cbam模块（注意力机制模块）来同时关注不同通道间和空间上的目标特征信息，对特征信息附加了权重系数，提升对目标的判别能力，通过使用像素互相关的方法聚合模板图像和搜索图像的特征信息，在一定程度上解决了复杂背景的跟踪场景下，跟踪性能差的问题，提升了目标跟踪的准确性。
[0006]
根据一些实施例，本公开采用如下技术方案：
基于注意力机制的残差网络目标跟踪方法，包括：获取目标模板图像以及搜索图像；对所述目标模板图像以及搜索图像以多尺度的方式进行每一层特征的提取；将提取的特征输入至注意力模块cbam中，所述注意力模块cbam包括通道注意力机制模块以及空间注意力机制模块，通过通道注意力机制和空间注意力机制对提取的特征附加权重系数，获取在不同通道间以及空间维度上的目标模板图像特征图和搜索图像特征图；其中，空间注意力机制模块的输入是通道注意力机制模块的输出特征图；采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。
[0007]
根据一些实施例，本公开采用如下技术方案：基于注意力机制的残差网络目标跟踪系统，包括：图像获取模块，用于获取目标模板图像以及搜索图像；特征提取模块，用于对所述目标模板图像以及搜索图像以多尺度的方式进行每一层特征的提取；将提取的特征输入至注意力模块cbam中，所述注意力模块cbam包括通道注意力机制模块以及空间注意力机制模块，通过通道注意力机制和空间注意力机制对提取的特征附加权重系数，获取在不同通道间以及空间维度上的目标模板图像特征图和搜索图像特征图；其中，空间注意力机制模块的输入是通道注意力机制模块的输出特征图；输出模块，用于采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。
[0008]
与现有技术相比，本公开的有益效果为：本公开采用改进的残差模块构建的res2net残差网络作为主干特征提取网络。通过在单个残差块中构造分层残差连接的方法，即提取每一层特征时对该层以多尺度的方式提取特征，该模块可以在细粒度层次中提取更全面的目标特征，从而增加每个网络层感受范围。该方法具有较强的多尺度特征提取能力，使目标跟踪更加准确、鲁棒性更好，且计算量小。
[0009]
本公开引入通道注意力和空间注意力形成一个有效的注意力模块cbam，通道注意力模块能有效地提升与跟踪目标相关通道的权重，降低与跟踪目标非相关通道的权重，从而实现在不同通道间更关注感兴趣的目标；空间注意力模在不增加计算量的情况下，提高了重要特征在空间上的权重，提高了网络对目标特征的识别效率。两者分别突出了通道和空间层面上有意义的信息，增强了输出特征的表征能力，提升了算法对目标的判别能力，提高了复杂场景下目标跟踪的准确性。
[0010]
本公开使用像素互相关的方法聚合模板图像和搜索图像的特征信息，避免了空间特征信息模糊，尽可能多地维护了特征图上的空间特征信息，为后续目标检测及跟踪提供了保留了更多的有效信息。
附图说明
[0011]
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
[0012]
图1为本公开的注意力机制的残差网络目标跟踪网络整体结构图；图2为本公开中改进的res2net网络残差模块瓶颈结构图；图3为本公开引入的通道注意力模块结构图；图4为本公开引入的空间注意力模块结构图；图5为本公开融合通道注意力和空间注意力形成的cbam注意力机制模块结构图；图6为本公开中像素互相关原理示意图。
具体实施方式
[0013]
下面结合附图与实施例对本公开作进一步说明。
[0014]
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
[0015]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0016]
实施例1本公开提供了一种基于注意力机制的残差网络目标跟踪方法，包括：步骤一：获取目标模板图像以及搜索图像；步骤二：对所述目标模板图像以及搜索图像以多尺度的方式进行每一层特征的提取；步骤三：将提取的特征输入至注意力模块cbam中，所述注意力模块cbam包括通道注意力机制模块以及空间注意力机制模块，通过通道注意力机制和空间注意力机制对提取的特征附加权重系数，获取在不同通道间以及空间维度上的目标模板图像特征图和搜索图像特征图；其中，空间注意力机制模块的输入是通道注意力机制模块的输出特征图；步骤四：采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。
[0017]
作为一种实施例，如图1所示，本公开的基于注意力机制的残差网络目标跟踪算法总体流程为：首先输入图像，然后res2net残差网络对图像进行特征提取，再经过cbam注意力机制模块对特征进行加权，然后通过像素互相关保留特征图上的空间特征信息，最后输出特征信息到检测系统。所述算法的具体实施方式如下：步骤1：获取目标模板图像以及搜索图像；将目标模板图像以及搜索图像输入至改进的残差目标跟踪网络中，所述改进的残差目标跟踪网络采用改进的残差模块构建的 res2net 残差网络作为主干特征提取网络，通过在单个残差块中构造分层残差连接的方法，即提取每一层特征时对该层以多尺度的方式提取特征，该模块可以在细粒度层次中提
取更全面的目标特征，从而增加每个网络层感受范围。
[0018]
其中，改进的残差模块构建的 res2net 残差网络，通过将、和卷积核串行化成瓶颈模块，卷积核巧妙地降低或扩展了特征图的维度，使卷积核的数量不受前一层的影响，输出不影响下一层的模块，增加了网络的非线性，减轻了网络计算量，降低了输出的维度。
[0019]
不同于目前的 cnn 网络仅以分层的方式提取目标特征，改进的残差模块构建的 res2net 残差网络，通过在单个残差块中构造分层残差连接的方法，即提取每一层特征时对该层以多尺度的方式提取特征，该模块可以在细粒度层次中提取更全面的目标特征，从而增加每个网络层感受范围。
[0020]
不同于一般的瓶颈结构采用卷积核进行特征提取，res2net 残差模块用分层的一组卷积核替换单个卷积核，将未用卷积核组以分层残差方式进行连接，如图2所示。该方法具有较强的多尺度特征提取能力，且计算量小。
[0021]
改进的res2net 残差模块在卷积后，将特征映射均匀分割成s个特征映射的子集，用表示，其中。与输入特征图比较，各特征子集空间大小相同，但是通道数目不同，为。除外，每一种都有对应的卷积，由表示，使用表示的输出。特征子集和的输出相加，然后输入。因此，输出可以表示为：（1）因为采用拆分混合连接结构，res2net 模块的输出包含不同感受野大小的组合，该结构有利于提取全局和局部信息，为了在增加 s 的同时减少参数，省略了第一个分割部分的卷积。
[0022]
步骤2：将提取的特征输入至注意力模块cbam中，所述注意力模块cbam包括通道注意力机制模块以及空间注意力机制模块，通道和空间注意力机制对提取的特征附加权重。融合了通道注意力和空间注意力形成一个有效的注意力模块 cbam，同时关注通道的比重和像素点的比重，分别突出通道和空间维度上的有意义信息。
[0023]
在改进的残差模块构建的 res2net 残差网络提取特征后，由于各通道间的特征信息重要性不相同，引入通道注意力模块关注不同通道间感兴趣的特征信息，使用通道注意力模块更好地适应被跟踪目标的语义变化。利用通道注意力选择有用的通道，以自适应地促进当前的跟踪任务。
[0024]
通道注意力模块结构如图3所示，给定经过主干特征提取网络提取到的输入特征图，首先沿空间轴进行全局平均池化和最大池化，生成两个1维通道特征向量分别表示为和。再在每个池化特征向量上应用多层感知器，
以在c个通道上创建1维通道注意图,（2）其中表示sigmoid激活函数，表示元素相加，mlp表示多层感知器，由一个权重为具有通道缩减功能的全连接层和一个relu激活函数，以及一个权重为具有通道增加功能的全连接层和一个sigmoid激活函数组成，其中r是一个通道缩减率，用来减少计算量。
[0025]
在 res2net 残差网路提取目标特征后，由于空间位置上的特征信息重要性不相同，引入空间注意力模块关注空间上感兴趣的目标特征信息。空间注意力模块的注意力机制被引入特征图，从而建立了两个特定位置之间的关联。对于空间注意力模块特征图中的每一像素点的特征值，可以利用加权求和特征图中各像素点的特征信息进行计算，最后的输出为结合输入的特征值与空间位置的特征信息进行元素相加，从而实现网络对空间位置上感兴趣目标进行关注的目的。
[0026]
再将通道注意力模块输出的特征图输入至空间注意力模块中，空间注意力模块结构如图4所示，其输入是通道注意力模块的输出特征图，首先沿通道轴进行全局平均池化和最大池化，得到两个2维空间特征向量分别为和，再将这两个2维空间特征向量连接起来并输入到具有sigmoid激活的单层感知器中，得到具有权重信息的特征向量。具体的表达式为：（3）其中，表示sigmoid激活函数，slp表示单层感知器，由卷积核大小为7，填充为3，步长为1，输入通道为2，输出通道为 1 的卷积层组成。
[0027]
融合了通道注意力和空间注意力形成一个有效的注意力模块 cbam，模块结构如图5所示，该模块包含一个多层感知器的通道注意力和一个单层感知器的空间注意力组成，同时关注通道的比重和像素点的比重，分别突出通道和空间维度上的有意义信息。主干特征提取网络输出的特征向量为，其中w、h和c分别表示特征图的宽度、高度和通道数。由于低级几何表示对目标对象定位的贡献更大，而高级语义信息足以将目标对象与背景环境区分开来，所以先使用通道注意力，然后使用空间注意力。经过cbam细化的特征图为，整体计算表达式为：（4）步骤3：采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。
[0028]
采用一种像素互相关的方法聚合目标模板图像和搜索图像的特征，避免了空间特
征信息模糊，尽可能多地维护了特征图上的空间特征信息；其原理如图6所示，将和表示为目标模板图像和搜索图像的特征，像素互相关的原理是首先将k分解为个小卷积核，然后分别利用(b,c,1,1)在搜索图像特征(b,c,hz,wz)上滑动窗口，逐通道之间互相做卷积运算，最后得到通道数为的特征图(b,hxwx,hx,wx)。该过程可表示为：（5）其中*表示像素互相关。将分解的过程中将模板图像特征的每一个部分作为卷积核，相当于用每一个小的卷积核来编码搜索图像上的特征信息，逐像素互相关确保了每个相关图对目标上局部区域的信息进行编码，同时避免空间特征的模糊。
[0029]
本公开的基于注意力机制的残差网络目标跟踪方法适用于单目标跟踪，在siammask（fully-convolutional siamese networks with mask r-cnn，带有mask r-cnn的全卷积孪生网络）算法框架基础上采用res2net的主干网络，嵌入注意力机制模块cbam，使用 python 语言编写程序完成目标跟踪实验。本公开采用vot2018、vot2019和otb100对基于注意力机制的残差网络目标跟踪方法进行测试。实验中使用的环境：操作系统为 linux（ubuntu18.04），一种计算机操作系统；使用的版本为ubuntu18.04；intel(r) core(tm) i711700f cpu(2.50ghz)，一种桌面级处理器；gpu 为 nvidi geforce rtx 3060，12g vram；实验中使用的深度学习环境为：cuda 11.4，是一种并行计算平台和编程模型，cudnn 8.2.4，是gpu加速的用于深度神经网络的原语库，pytorch 1.10.2，是一个开源的python机器学习库。使用的 python库包括 anaconda 3，是一个开源的python发行版本，python 3.7，是一种解释型、面向对象、动态数据类型的高级程序设计语言，numpy，是python的一种开源的数值计算扩展matlablib，是matlab自定义库，opencv，是一种计算机视觉和机器学习软件库等。
[0030]
（1）数据集本公开使用的训练数据集包括 coco 数据集、imagenet vid 数据集、youtube-boundingbox 数据集。这些数据集中包含了目标跟踪中的各种挑战，例如目标快速运动、目标发生形变、目标遮挡等。
[0031]
本公开选择 otb100 和 vot2018、vot2019 三个当前最具有代表性的测试数据集，进行测试算法的性能。otb 数据集的测试序列包含了 11 种具有挑战性的干扰因素，还包含了 25%的灰度序列图像。vot（visual object tracking）是一种用于视觉跟踪国际性比赛的数据集。
[0032]
（2）实验使用默认参数情况说明：本公开使用了在 imagenet 数据集上预训练的 resnet50 模型。训练模型采用随机梯度下降(sgd)在 gpu 上进行，共分为 20 个 epoch，每次处理小批量样本数（batchsize）设置为 64，动量设置为 0.9，前五个epoch的学习率从 0.0001 线性增加到 0.0005，后 15个 epoch 的学习率从 0.0005 指数衰减到 0.00005，前 10 个epoch只进行训练目标估计的头网络，从第11epoch 开始会开始解冻 backbone，并进行训练backbone。
[0033]
（3）测试结果otb数据集以成功率和精确率为主要评价指标。本公开算法与其他算法在otb100数据集上的对比结果如表1所示。可以看出，该方法的成功率为0.698，准确率可达0.909。
[0034]
表1otb100 数据集上本发明算法与其他算法的跟踪结果的对比vot数据集以期望平均重叠(eao)、准确率(accuracy)和鲁棒性(robustness)为主要评价指标。表2和3显示了本公开算法与其他算法在vot2018和vot2019数据集上的结果对比。可以看出，在vot2018数据集上，公开方法的平均重叠期望为0.378，鲁棒性为0.267，准确率可达0.608。在vot2019数据集上，本公开方法的期望平均重叠为0.282，鲁棒性为0.487，准确率可达0.604。
[0035]
表2vot2018数据集上本发明算法与其他算法的跟踪结果的对比
表3vot2019 数据集上本发明算法与其他算法的跟踪结果的对比可以得出的结论是，在细粒度级别上提取丰富的目标特征信息和引入注意力机制模块来关注空间和通道上的目标特征可以有效提高目标跟踪的精确度，基于注意力机制的残差网络目标跟踪方法具有很好地跟踪效果。
[0036]
实施例2本公开的一种实施例中提供了基于注意力机制的残差网络目标跟踪系统，包括：图像获取模块，用于获取目标模板图像以及搜索图像；特征提取模块，用于对所述目标模板图像以及搜索图像以多尺度的方式进行每一
层特征的提取；将提取的特征输入至注意力模块cbam中，所述注意力模块cbam包括通道注意力机制模块以及空间注意力机制模块，通过通道注意力机制和空间注意力机制对提取的特征附加权重系数，获取在不同通道间以及空间维度上的目标模板图像特征图和搜索图像特征图；其中，空间注意力机制模块的输入是通道注意力机制模块的输出特征图；输出模块，用于采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。
[0037]
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0038]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0039]
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

技术特征：
1.基于注意力机制的残差网络目标跟踪方法，其特征在于，包括：获取目标模板图像以及搜索图像；对所述目标模板图像以及搜索图像以多尺度的方式进行每一层特征的提取；将提取的特征输入至注意力模块cbam中，所述注意力模块cbam包括通道注意力机制模块以及空间注意力机制模块，通过通道注意力机制和空间注意力机制对提取的特征附加权重系数，获取在不同通道间以及空间维度上的目标模板图像特征图和搜索图像特征图；其中，空间注意力机制模块的输入是通道注意力机制模块的输出特征图；采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。2.如权利要求1所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，对所述目标模板图像以及搜索图像以多尺度的方式进行每一层特征的提取的方法为：采用改进的残差模块构建的res2net残差网络作为主干特征网络，通过在单个残差块中构造分层残差连接的方法，即提取每一层特征时对该层以多尺度的方式进行特征提取，在细粒度层次中提取目标特征，增加每个网络层的感受范围。3.如权利要求2所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，所述改进的残差模块构建的res2net残差网络为：res2net残差模块用分层的一组卷积核替换单个卷积核，将未用卷积核组采用分层残差的拆分混合连接结构。4.如权利要求1所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，通道注意力模块关注不同通道间的特征信息，空间注意力模块关注空间上的特征信息，融合通道注意力和空间注意力同时关注不同通道间和空间上的特征信息；利用通道注意力捕捉跟踪目标图像的语义变化，将主干网络提取到的输入特征图，首先沿空间轴进行全局平均池化和最大池化，生成通道特征向量，之后在每个池化特征向量上应用多层感知器，在每个通道上创建通道注意图。5.如权利要求1所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，空间注意力模块的注意力机制引入特征图，建立两个特定位置之间的关联，针对空间注意力模块中的每一像素点的特征值，利用加权求和特征图中各像素点的特征信息进行计算，输出为结合输入的特征值与空间位置的特征信息进行元素相加，实现空间位置上的目标特征的提取，空间注意力模块的输入是通道注意力模块输出的特征图。6.如权利要求1所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，通道注意力和空间注意力形成注意力模块 cbam，所述注意力模块 cbam模块包含多层感知器的通道注意力和单层感知器的空间注意力，先使用通道注意力，然后再使用空间注意力，空间注意力模块的输入是通道注意力模块的输出特征图，首先沿通道轴进行全局平均池化和最大池化，获取空间特征向量，再将空间特征向量连接起来输入到单层感知器中，获取具有权重信息的空间特征向量。7.如权利要求6所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，通道注意力和空间注意力对提取的特征附加权重，融合通道注意力和空间注意力形成注意力模块 cbam，同时关注通道的比重和像素点的比重。8.如权利要求1所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，采用像
素互相关聚合目标模板图像和搜索图像的特征，将特征分解为多个小卷积核，然后分别利用小卷积核在搜索图像特征上滑动窗口，逐通道之间互相作卷积运算，得到一定通道数的特征图。9.如权利要求8所述的基于注意力机制的残差网络目标跟踪方法，其特征在于，特征分解的过程中，包括：将模板图像特征的每一个部分作为卷积核，用每一个小的卷积核来编码搜索图像上的特征信息，逐像素互相关确保每个相关图对目标上局部区域的信息进行编码。10.基于注意力机制的残差网络目标跟踪系统，其特征在于，包括：图像获取模块，用于获取目标模板图像以及搜索图像；特征提取模块，用于对所述目标模板图像以及搜索图像以多尺度的方式进行每一层特征的提取；将提取的特征输入至注意力模块cbam中，所述注意力模块cbam包括通道注意力机制模块以及空间注意力机制模块，通过通道注意力机制和空间注意力机制对提取的特征附加权重系数，获取在不同通道间以及空间维度上的目标模板图像特征图和搜索图像特征图；其中，空间注意力机制模块的输入是通道注意力机制模块的输出特征图；输出模块，用于采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。

技术总结
本公开提供了基于注意力机制的残差网络目标跟踪方法及系统，涉及计算机图像处理技术领域，包括获取目标模板图像以及搜索图像；对所述目标模板图像以及搜索图像以多尺度的方式进行每一层特征的提取；将提取的特征输入至注意力模块中，所述注意力模块包括通道注意力机制模块以及空间注意力机制模块，通过通道注意力机制和空间注意力机制对提取的特征附加权重系数，获取在不同通道间以及空间维度上的目标模板图像特征图和搜索图像特征图；采用像素互相关的方法聚合目标模板图像和搜索图像的特征，对聚合后的特征进行检测跟踪，输出目标跟踪结果。本公开有效提高了目标跟踪的精确度。度。度。


技术研发人员：郑来波 郑逸凡 柳星 于畅 王正璠 李玉军
受保护的技术使用者：山东大学
技术研发日：2023.07.19
技术公布日：2023/8/28