一种基于多尺度注意力融合的轻量级单目深度预测方法

：
1.本发明涉及图像处理领域，具体来说，涉及了一种基于多级特征并行交互融合的单目深度预测方法。


背景技术：

2.本部分的陈述仅仅是涉及到了与本发明相关的背景技术，并不必然构成现有技术。
3.深度预测(depth estimation)指的是计算机视觉中的一项任务，旨在从单张图像中推断出场景中每个像素点的深度信息。深度信息是指物体到摄像机的距离，通常用相机坐标系下的z轴距离表示。深度估计预测可以帮助计算机理解场景的三维结构和距离关系，为很多计算机视觉应用如目标检测、姿态估计、虚拟现实等提供支持。深度预测可以通过不同的技术实现，包括基于传感器(如深度相机)、基于多张图像的视差计算(如双目视觉、多目视觉)和基于单张图像的方法(如单目视觉方法)。基于单张图像的深度预测方法是最具挑战性和广泛应用的一种方法，因为它需要从单个图像中推断出深度信息，而不需要任何外部传感器或其他图像。最近，随着深度学习方法的发展，基于深度学习的单张图像深度预测方法已经取得了很大的成功，并在许多实际应用中得到了广泛应用。
4.近期，由于transformer采用了一种具有多层感知器(mlp)的自注意机制，克服了以往rnn对自然语言处理无法并行、训练效率低的局限性，许多研究人员试图将transformer引入计算机视觉领域，取得了一定成果。虽然transformer是一个非常强大的神经网络模型，但是，它也存在一些缺点：(1)由于transformer模型的复杂度比较高，需要大量的计算资源来进行训练和推理。尤其是对于较大的数据集和模型，训练和推理的时间和成本都会相应增加。(2)由于transformer模型包含多层的神经网络和大量的参数，模型的大小和存储成本都较高。(3)由于transformer模型采用自注意力机制，需要将整个序列的信息进行计算和传递，因此对于序列长度较长的任务，模型的效率和性能都会受到影响。(4)由于transformer模型采用自注意力机制，没有显式的建模序列中元素的位置信息，因此在一些需要考虑序列中元素位置信息的任务上可能表现不佳。(5)由于transformer模型采用自注意力机制，输入数据中每个元素都会参与到注意力计算中，因此对输入数据的质量和准确性要求较高。
5.因此，考虑到transformer模型仍然存在一些缺点和局限性，在实际应用需要谨慎评估。


技术实现要素：

6.为解决上述问题，本发明提出一种基于多尺度注意力融合的轻量级单目深度预测方法，采用相对轻量级的主干网络完成单目深度预测任务。尝试将resnet50网络所产生的多层次特征与所提出的注意力机制模块结合，在速度有所提升的同时不损失精确度。首先利用主干网络生成多层次特征，将多层特征进行分组，在第3、4、5层使用通道注意力，关注
通道之间的关系，通过对通道的加权来增强重要的特征。通道注意力机制的目的是从输入的特征图中学习每个通道的重要性，使得模型能够更好地捕捉不同通道之间的信息，提高模型性能；在第1、2层采用空间注意力，关注空间位置之间的关系，通过对不同位置的特征进行加权来突出重要的位置信息。空间注意力机制的目的是从输入的特征图中学习到哪些位置信息更加重要，以便在分类或分割任务中更好地捕获这些位置的特征。除此之外将每层特征的差异融合到注意力机制，增强边界。通过提出的注意力机制进一步获得密集的深度信息，得到高质量的深度图，用于三维重建、自动驾驶、目标检测等下游任务。
7.1.一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于，该方法包括以下步骤：
8.1)收集公共rgbd数据集，并对数据进行增强，使用网络的预训练权值，并初始化编码器。
9.2)采用resnet50作为backbone提取多尺度特征。
10.3)构建通道注意力与空间注意力，通过对输入信息的关注程度进行动态调整，可以提高模型的性能和鲁棒性。
11.4)为了计算预测输出深度与地面真实深度图之间的距离，使用尺度不变损失scale-invariant loss(si)来训练模型。
12.2.权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：所述步骤1)具体方法是：
13.2.1)收集主流公共数据集有nyu depth v2数据集和kitti数据集，nyu depth v2主要是针对室内场景，范围0-10m，kitti数据集主要针对室外场景，多用于自动驾驶领域，范围在0-80m，以及常见的室外城市数据集cityscapes。
14.2.2)采用随机裁剪(random crop)与mixup对数据进行增强，随机从原始图像中裁剪出固定大小的子图像作为新的训练样本，将不同的训练样本进行混合，生成新的训练样本，从而扩大训练集的规模，从训练数据中随机选择两张原始图像和对应的标签，然后，随机生成一个权重，取值范围为[0,1]。对于两个原始图像按照权重进行线性插值，即得到一个新的图像，对应的标签也需要进行相应的修改，这样可以提高模型对位置和尺度变化的鲁棒性以及模型的泛化能力。
[0015]
2.3)使用resnet50预训练权重初始化编码器，避免从零开始训练效果差且特征效果提取不明显的问题，建立耗时更短、更精确的模型，同时加速模型训练、提高模型性能、减少过拟合、节约资源。
[0016]
3.根据权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：步骤2)具体方法是：
[0017]
3.1)将resnet50网络所产生的多层次特征与所提出的注意力机制模块结合，在速度有所提升的同时不损失精确度。
[0018]
3.2)输入层：320
×
320
×
3的图像。第一层卷积层使用64个大小为7x7的卷积核，步长为2，padding为3，输出图像的大小为160
×
160
×
64。第一层池化层使用大小为3x3的池化核，步长为2，输出图像的大小为80
×
80
×
64。残差块组1包括3个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为80
×
80
×
256。残差块组包括4个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为40
×
40
×
512。残差块组包括6个残差块，
每个块包括两个卷积层和一个跨层连接，输出图像的大小为20
×
20
×
1024。残差块组包括3个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为10
×
10
×
2048。
[0019]
3.3)全局平均池化层(gap)：对每个通道的像素求平均值，输出大小为1x1x2048。全连接层(fully connected layer)：将全局平均池化层的输出与标签进行比较，得出模型的预测结果。resnet50网络包含了四个残差块组，每个残差块组中的残差块数量不同，这些残差块组的作用是在多个层级上进行特征提取，使得网络能够更好地适应不同的输入数据，并提高网络的准确性。
[0020]
4.根据权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：步骤3)具体方法是：
[0021]
4.1)构建分组注意力融合机制，弥补卷积神经网络对于全局依赖关系捕获不足的局限性，增强对密集特征的获取能力和模型的精确度。
[0022]
4.2)首先构建通道注意力模块，通过自适应地调整每个通道的权重来提高特征图的表达能力。具体来说，
[0023]
y1＝conv2(relu(conv1(gap(ri)))) (1)
[0024]
其中ri表示第i层的特征；relu表示激活函数；conv1与conv2表示卷积操作；gap表示全局平均池化，对特征图进行降维的操作，将整个特征图看作一个池化窗口，对其中的每个通道的特征进行平均，出每个通道的平均值作为该通道的池化结果，最后得到特征y1。
[0025]
y2＝conv2(relu(conv1(gmp(ri)))) (2)
[0026]
gmp表示全局最大池化，将特征图中的每个通道求最大值，然后将每个通道的最大值组成一个向量作为输出。
[0027]
y3＝sigmoid(add(y1,y2)) (3)
[0028]
sigmoid表示激活函数，经过sigmoid激活函数将特征图的每个通道的权重归一化到0-1之间，add表示元素级相加操作，最后得到特征y3。
[0029]
a1i＝concat(y3,fi,li) (4)
[0030]
concat表示拼接操作，其中li＝r
i-r'i，li表示特征间的差异，r'i通过下采样得到，fi＝concat(ri,r'i)，得到经过通道注意力处理后的最终特征a1i。
[0031]
4.3)然后构建通道空间注模块，帮助网络更好地理解图像的空间信息。该模块可以根据像素之间的相对位置关系，对输入的特征图进行加权，以突出区域之间的重要性，并抑制不相关区域的信息。相关符号与通道注意力模块的符号含义一致。
[0032]
z1＝concat(gap(ri),gmp(r'i)) (5)
[0033]
z2＝sigmoid(conv(z1)) (6)
[0034]
a2i＝concat(z2,fi,li) (7)
[0035]
首先将浅层特征进行gap与gmp处理，得到z1，然后通过卷及操作、激活函数、拼接操作对特征进一步对提取和融合，检测图像中不同的特征，例如边缘、角落或纹理等。空间注意力模块帮助模型更好地理解输入的上下文信息，从而提高模型的性能。
[0036]
5.根据权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：步骤4)具体方法是：
[0037]
为了计算预测输出深度与地面真实深度图之间的距离，本发明使用尺度不变损失scale-invariant loss(si)来训练模型。si损失函数使用了一个缩放因子，该因子考虑了
每个像素周围像素的数量，从而更好地处理尺度变化。具体来说，对于每个像素，si损失函数将周围像素的数量用作缩放因子，这可以帮助更小的物体更好地处理，并减少分类错误的可能性。
[0038][0039]
这里其中地面真实深度为di，预测深度为α＝10，λ＝0.85。
附图说明
[0040]
图1多尺度注意力融合的轻量级单目深度预测方法流程图
[0041]
图2通道注意力与空间注意力细节图
[0042]
图3模型整体架构图
[0043]
图4边缘清晰高质量的深度图
具体实施方式
[0044]
下面结合本发明中实例附图，对本发明实例中技术方案进行清楚、完整的描述，此外，所叙述的实施例仅仅是本发明一部分实施例，而不是所有的实施例。基于本发明中的实施例，本研究方向普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，以及本发明所收集、分类、人工标注数据集都属于本发明保护范围。
[0045]
本发明的流程框架如图1所示，一种基于多尺度注意力融合的轻量级单目深度预测方法，具体操作如下：
[0046]
1.收集公共rgbd数据集，并对数据进行增强，使用网络的预训练权值，并初始化编码器。
[0047]
1.1收集主流公共数据集有nyu depth v2数据集和kitti数据集，nyu depth v2主要是针对室内场景，范围0-10m，kitti数据集主要针对室外场景，多用于自动驾驶领域，范围在0-80m，以及常见的室外城市数据集cityscapes。
[0048]
1.2采用随机裁剪与mixup对数据进行增强，随机从原始图像中裁剪出固定大小的子图像作为新的训练样本，将不同的训练样本进行混合，生成新的训练样本，从而扩大训练集的规模，从训练数据中随机选择两张原始图像和对应的标签，然后，随机生成一个权重，取值范围为[0,1]。对于两个原始图像按照权重进行线性插值，即得到一个新的图像，对应的标签也需要进行相应的修改，这样可以提高模型对位置和尺度变化的鲁棒性以及模型的泛化能力。
[0049]
1.3使用resnet50预训练权重初始化编码器，避免从零开始训练效果差且特征效果提取不明显的问题，建立耗时更短、更精确的模型，同时加速模型训练、提高模型性能、减少过拟合、节约资源。
[0050]
2.采用resnet50作为backbone提取多尺度特征。多尺度注意力融合的轻量级单目深度预测方法流程图如图1所示。
[0051]
具体步骤如下：
[0052]
2.1将resnet50网络所产生的多层次特征与所提出的注意力机制模块结合，在速
度有所提升的同时不损失精确度。
[0053]
2.2输入层：320
×
320
×
3的图像。第一层卷积层使用64个大小为7x7的卷积核，步长为2，padding为3，输出图像的大小为160
×
160
×
64。第一层池化层使用大小为3x3的池化核，步长为2，输出图像的大小为80
×
80
×
64。残差块组1包括3个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为80
×
80
×
256。残差块组包括4个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为40
×
40
×
512。残差块组包括6个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为20
×
20
×
1024。残差块组包括3个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为10
×
10
×
2048。
[0054]
2.3全局平均池化层(gap)：对每个通道的像素求平均值，输出大小为1x1x2048。全连接层(fully connected layer)：将全局平均池化层的输出与标签进行比较，得出模型的预测结果。resnet50网络包含了四个残差块组，每个残差块组中的残差块数量不同，这些残差块组的作用是在多个层级上进行特征提取，使得网络能够更好地适应不同的输入数据，并提高网络的准确性。
[0055]
3.构建通道注意力与空间注意力，通过对输入信息的关注程度进行动态调整，可以提高模型的性能和鲁棒性。通道注意力与空间注意力细节如图2所示。
[0056]
具体步骤如下：
[0057]
3.1构建分组注意力融合机制，弥补卷积神经网络对于全局依赖关系捕获不足的局限性，增强对密集特征的获取能力和模型的精确度。
[0058]
3.2首先构建通道注意力模块，通过自适应地调整每个通道的权重来提高特征图的表达能力。具体来说，
[0059]
y1＝conv2(relu(conv1(gap(ri)))) (1)
[0060]
其中ri表示第i层的特征；relu表示激活函数；conv1与conv2表示卷积操作；gap表示全局平均池化，对特征图进行降维的操作，将整个特征图看作一个池化窗口，对其中的每个通道的特征进行平均，出每个通道的平均值作为该通道的池化结果，最后得到特征y1。
[0061]
y2＝conv2(relu(conv1(gmp(ri)))) (2)
[0062]
gmp表示全局最大池化，将特征图中的每个通道求最大值，然后将每个通道的最大值组成一个向量作为输出。
[0063]
y3＝sigmoid(add(y1,y2)) (3)
[0064]
sigmoid表示激活函数，经过sigmoid激活函数将特征图的每个通道的权重归一化到0-1之间，add表示元素级相加操作，最后得到特征y3。
[0065]
a1i＝concat(y3,fi,li) (4)
[0066]
concat表示拼接操作，其中li＝r
i-r'i，li表示特征间的差异，r'i通过下采样得到，fi＝concat(ri,r'i)，得到经过通道注意力处理后的最终特征a1i。
[0067]
3.3然后构建通道空间注模块，帮助网络更好地理解图像的空间信息。该模块可以根据像素之间的相对位置关系，对输入的特征图进行加权，以突出区域之间的重要性，并抑制不相关区域的信息。相关符号与通道注意力模块的符号含义一致。
[0068]
z1＝concat(gap(ri),gmp(r'i)) (5)
[0069]
z2＝sigmoid(conv(z1)) (6)
[0070]
a2i＝concat(z2,fi,li) (7)
[0071]
首先将浅层特征进行gap与gmp处理，得到z1，然后通过卷及操作、激活函数、拼接操作对特征进一步对提取和融合，检测图像中不同的特征，例如边缘、角落或纹理等。空间注意力模块帮助模型更好地理解输入的上下文信息，从而提高模型的性能。模型整体架构如图3所示。
[0072]
4.为了计算预测输出深度与地面真实深度图之间的距离，使用尺度不变损失scale-invariantloss(si)损失函数来训练模型。si损失函数使用了一个缩放因子，该因子考虑了每个像素周围像素的数量，从而更好地处理尺度变化。具体来说，对于每个像素，si损失函数将周围像素的数量用作缩放因子，这可以帮助更小的物体更好地处理，并减少分类错误的可能性。
[0073][0074]
这里其中地面真实深度为di，预测深度为α＝10，λ＝0.85。
[0075]
5.为了展示我们提出的一种基于多尺度注意力融合的轻量级单目深度预测方法的有效性，如图4所示，我们展示了网络预测的深度图，通过所构建的网络预测出来的深度图边缘清晰，图像中的人物、栏杆、以及汽车轮廓清晰且质量高。
[0076]
以上所述为本技术优选实施而以，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本技术的保护范围内。

技术特征：
1.一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于，该方法包括以下步骤：1)收集公共rgbd数据集，并对数据进行增强，使用网络的预训练权值，并初始化编码器。2)采用resnet50作为backbone提取多尺度特征。3)构建通道注意力与空间注意力，通过对输入信息的关注程度进行动态调整，可以提高模型的性能和鲁棒性。4)为了计算预测输出深度与地面真实深度图之间的距离，使用尺度不变损失scale-invariant loss(si)来训练模型。2.权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：所述步骤1)具体方法是：2.1)收集主流公共数据集有nyu depth v2数据集和kitti数据集，nyu depth v2主要是针对室内场景，范围0-10m，kitti数据集主要针对室外场景，多用于自动驾驶领域，范围在0-80m，以及常见的室外城市数据集cityscapes。2.2)采用随机裁剪(random crop)与mixup对数据进行增强，随机从原始图像中裁剪出固定大小的子图像作为新的训练样本，将不同的训练样本进行混合，生成新的训练样本，从而扩大训练集的规模，从训练数据中随机选择两张原始图像和对应的标签，然后，随机生成一个权重，取值范围为[0,1]。对于两个原始图像按照权重进行线性插值，即得到一个新的图像，对应的标签也需要进行相应的修改，这样可以提高模型对位置和尺度变化的鲁棒性以及模型的泛化能力。2.3)使用resnet50预训练权重初始化编码器，避免从零开始训练效果差且特征效果提取不明显的问题，建立耗时更短、更精确的模型，同时加速模型训练、提高模型性能、减少过拟合、节约资源。3.根据权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：步骤2)具体方法是：3.1)将resnet50网络所产生的多层次特征与所提出的注意力机制模块结合，在速度有所提升的同时不损失精确度。3.2)输入层：320
×
320
×
3的图像。第一层卷积层使用64个大小为7x7的卷积核，步长为2，padding为3，输出图像的大小为160
×
160
×
64。第一层池化层使用大小为3
×
3的池化核，步长为2，输出图像的大小为80
×
80
×
64。残差块组1包括3个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为80
×
80
×
256。残差块组包括4个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为40
×
40
×
512。残差块组包括6个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为20
×
20
×
1024。残差块组包括3个残差块，每个块包括两个卷积层和一个跨层连接，输出图像的大小为10
×
10
×
2048。3.3)全局平均池化层(gap)：对每个通道的像素求平均值，输出大小为1
×1×
2048。全连接层(fully connected layer)：将全局平均池化层的输出与标签进行比较，得出模型的预测结果。resnet50网络包含了四个残差块组，每个残差块组中的残差块数量不同，这些残差块组的作用是在多个层级上进行特征提取，使得网络能够更好地适应不同的输入数据，并提高网络的准确性。
4.根据权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：步骤3)具体方法是：4.1)构建分组注意力融合机制，弥补卷积神经网络对于全局依赖关系捕获不足的局限性，增强对密集特征的获取能力和模型的精确度。4.2)首先构建通道注意力模块，通过自适应地调整每个通道的权重来提高特征图的表达能力。具体来说，y1＝conv2(relu(conv1(gap(r
i
))))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中r
i
表示第i层的特征；relu表示激活函数；conv1与conv2表示卷积操作；gap表示全局平均池化，对特征图进行降维的操作，将整个特征图看作一个池化窗口，对其中的每个通道的特征进行平均，出每个通道的平均值作为该通道的池化结果，最后得到特征y1。y2＝conv2(relu(conv1(gmp(r
i
))))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)gmp表示全局最大池化，将特征图中的每个通道求最大值，然后将每个通道的最大值组成一个向量作为输出。y3＝sigmoid(add(y1,y2))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)sigmoid表示激活函数，经过sigmoid激活函数将特征图的每个通道的权重归一化到0-1之间，add表示元素级相加操作，最后得到特征y3。a1
i
＝concat(y3,f
i
,l
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)concat表示拼接操作，其中l
i
＝r
i-r'
i
，l
i
表示特征间的差异，r'
i
通过下采样得到，f
i
＝concat(r
i
,r'
i
)，得到经过通道注意力处理后的最终特征a1
i
。4.3)然后构建通道空间注模块，帮助网络更好地理解图像的空间信息。该模块可以根据像素之间的相对位置关系，对输入的特征图进行加权，以突出区域之间的重要性，并抑制不相关区域的信息。相关符号与通道注意力模块的符号含义一致。z1＝concat(gap(r
i
),gmp(r'
i
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)z2＝sigmoid(conv(z1))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)a2
i
＝concat(z2,f
i
,l
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)首先将浅层特征进行gap与gmp处理，得到z1，然后通过卷及操作、激活函数、拼接操作对特征进一步对提取和融合，检测图像中不同的特征，例如边缘、角落或纹理等。空间注意力模块帮助模型更好地理解输入的上下文信息，从而提高模型的性能。5.根据权利要求1所述的一种基于多尺度注意力融合的轻量级单目深度预测方法，其特征在于：步骤4)具体方法是：为了计算预测输出深度与地面真实深度图之间的距离，本发明使用尺度不变损失scale-invariant loss(si)来训练模型。si损失函数使用了一个缩放因子，该因子考虑了每个像素周围像素的数量，从而更好地处理尺度变化。具体来说，对于每个像素，si损失函数将周围像素的数量用作缩放因子，这可以帮助更小的物体更好地处理，并减少分类错误的可能性。这里其中地面真实深度为d
i
，预测深度为α＝10，λ＝0.85。

技术总结
发明提出一种基于多尺度注意力融合的轻量级单目深度预测方法，采用相对轻量级的主干网络完成单目深度预测任务。尝试将轻量级网络所产生的多层次特征与所提出的注意力机制模块结合，在速度有所提升的同时不损失精确度。首先利用主干网络生成多层次特征，将多层特征进行分组，在第3、4、5层使用通道注意力，关注通道之间的关系，通过对通道的加权来增强重要的特征，学习每个通道的重要性，使得模型能够更好地捕捉不同通道之间的信息，提高模型性能；在第1、2层采用空间注意力，关注空间位置之间的关系，通过对不同位置的特征进行加权来突出重要的位置信息。除此之外，将每层特征的差异融合到注意力机制，增强边界。通过提出的注意力机制进一步获得密集的深度信息，得到高质量的深度图，用于SLAM(SimultaneousLocalizationandMapping)、三维重建、自动驾驶、目标检测等下游任务。目标检测等下游任务。目标检测等下游任务。


技术研发人员：夏晨星 段秀真 葛斌 崔建华 葛国庆 梁兴柱 王列伟
受保护的技术使用者：安徽理工大学
技术研发日：2023.03.14
技术公布日：2023/7/11