一种引入自适应深度块的单目深度图补全方法

1.本发明涉及计算机视觉领域，尤其涉及对于一张稀疏深度图和一张rgb图像补全至稠密深度图的方法。


背景技术：

2.深度图指像素点记录了该像素点到相机的距离的图片。
3.获取正确的像素级场景深度对于场景理解、自动驾驶、机器人导航、同时定位和地图绘制、智能农业和增强现实等任务具有重要作用。因此，在过去的几十年里，这一直是一个长期的研究目标。一种经济有效的获取场景深度的方法是使用单目深度估计算法从单幅图像中直接估计场景深度。然而，视觉方法通常产生低的推断精度和较差的通用性，因此在现实世界中使用非常脆弱。
4.另一方面，深度传感器提供了精确和鲁棒的距离测量与真实的场景尺度。因此，它们更适用于需要安全保障和高性能的应用，如自动驾驶汽车。事实上，在工业应用中，使用激光雷达测量深度可能仍然是获得可靠深度的最可部署的方法。然而，无论是激光雷达还是常用的rgbd相机，如微软kinect，都不能提供密集的像素级深度图。
5.深度图补全的目的是从深度传感器捕获的稀疏图预测密集像素级深度。在自动驾驶、三维重建、增强现实和机器人导航等各种应用中精确的深度值发挥着至关重要的作用。


技术实现要素：

6.本发明提出一种引入自适应块的单目深度图补全方法。该方法可以通过输入一张稀疏的深度图与对应的rgb图像进行补全得到一张稠密的深度图。
7.在这项工作中，本发明提出了一个深度补全方法，从提供的稀疏深度图和rgb图像中学习自适应深度块，将一张图像的深度划分为若干个块，将深度补全的回归任务转化为分类任务，每个像素的深度最终会被预测到划分好的自适应深度块上。
8.一种引入自适应深度块的单目深度图补全方法，步骤如下：
9.步骤1：对输入的rgb图像和稀疏深度图进行编码和解码。
10.编码器采用基于预训练的efficientnetb5编码器，解码器使用标准特征上采样解码器。解码器输出特征张量。
11.步骤2：预测学习自适应深度块。
12.利用transformer从解码器输出的特征张量中预测自适应深度块。每对图像和稀疏深度中预测得到的自适应深度块是不相同的。
13.步骤3：预测rgb图像每个像素点在每个自适应深度块上的概率，计算每个像素点的具体深度，再对像素点进行平滑化处理，最终得到稠密深度图。
14.本发明的有益效果是：
15.1.提出了一种引入自适应深度块的深度补全方法。将需要预测的深度图像的深度由连续的深度划分为离散的深度块，将深度补全任务从回归任务转化为分类任务，极大提
高了深度补全的效率。
16.2.深度块自适应获得，不同的图像获得的深度块分布不同，比起平均划分，这样会使最终得到的稠密深度图更加精确。
具体实施方式
17.以下结合实施例对本发明技术方案进行进一步描述。
18.一种引入自适应深度块的单目深度图补全方法，包括步骤如下：
19.步骤1：对输入的rgb图像和稀疏深度图进行编码和解码。
20.输入空间维度为h
×
w的rgb图像和h
×
w空间维度的稀疏深度图，编码器采用efficientnetb5，解码器输出，其中h和w分别为图像的高和宽的像素点个数，cd是解码得到的特征个数，本发明中设定为128。
21.步骤2：预测学习自适应深度块。
22.采用transformer估计待处理图像的深度范围内更有可能出现的深度块。
23.需要同时结合局部结构信息和全局分布信息。首先通过卷积块对输入特征即解码器输出张量进行处理，用以加入全局信息，卷积块内核大小设定为p
×
p输出通道数为e＝cd，根据待处理图像的大小确定p的值，本实施例中p取16，e取128。因此，该卷积块的输出结果是一个大小为的张量，将其嵌入transformer，用以加入局部信息。transformer采用现有的visiontransformervit，在transformer的输出后使用了mlp头，使用relu激活并输出n维向量b'，最后对向量b'进行归一化，得到自适应深度块的深度b，公式表示如下：
[0024][0025]
其中，bi为第i个自适应深度块的深度，定义正数ε以确保每个b严格为正，取ε＝10-3
。解码的特征表示高分辨率和局部像素级的信息，而变换器输出嵌入有效地包含更多的全局信息。
[0026]
步骤3：将transformer的输出即n维向量b'通过1
×
1卷积核，再与步骤1解码得到的特征通过3
×
3的卷积层后的特征向量结合，得到像素的逐点映射r。将r通过1
×
1的卷积层得到n个通道，对通道进行softmax激活，得到每个像素点的深度在每个自适应深度块上的概率为pk,k＝1,2,
…
,n。最终得到的每个像素点的最终深度计算公式为：
[0027][0028]
其中函数c(bk)是为避免深度估计时采用自适应深度块导致最终的稠密深度图分层严重提出的处理方法，c(bk)计算如下：
[0029]
[0030]
其中bk是第k个自适应深度块的深度，d
min
为像素点的最小深度，d
max
为像素点的最大深度。
[0031]
最终得到输入图像所有像素点的深度，即为对所输入rgb图像和稀疏深度图像的深度补全。
[0032]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
[0033]
本发明未详细说明部分属于本领域技术人员公知技术。


技术特征：
1.一种引入自适应深度块的单目深度图补全方法，其特征在于，步骤如下：步骤1：对输入的rgb图像和稀疏深度图进行编码和解码；编码器采用基于预训练的efficientnet b5编码器，解码器使用标准特征上采样解码器；解码器输出特征张量；步骤2：预测学习自适应深度块；利用transformer从解码器输出的特征张量中预测自适应深度块；步骤3：预测rgb图像每个像素点在每个自适应深度块上的概率，计算每个像素点的具体深度，再对像素点进行平滑化处理，最终得到稠密深度图。2.根据权利要求1所述的一种引入自适应深度块的单目深度图补全方法，其特征在于，步骤1具体方法如下：输入空间维度为h
×
w的rgb图像和h
×
w空间维度的稀疏深度图，编码器采用efficientnet b5，解码器输出b5，解码器输出其中h和w分别为图像的高和宽的像素点个数，c
d
是解码得到的特征个数。3.根据权利要求2所述的一种引入自适应深度块的单目深度图补全方法，其特征在于，步骤2具体方法如下：采用transformer估计待处理图像的深度范围内更有可能出现的深度块；需要同时结合局部结构信息和全局分布信息；首先通过卷积块对输入特征即解码器输出张量进行处理，用以加入全局信息，卷积块内核大小设定为p
×
p输出通道数为e＝c
d
，根据待处理图像的大小确定p的值；因此，该卷积块的输出结果是一个大小为的张量，将其嵌入transformer，用以加入局部信息；transformer采用现有的vision transformer vit，在transformer的输出后使用了mlp头，使用relu激活并输出n维向量b'，最后对向量b'进行归一化，得到自适应深度块的深度b，公式表示如下：其中，b
i
为第i个自适应深度块的深度，定义正数ε以确保每个b严格为正，取ε＝10-3
；解码的特征表示高分辨率和局部像素级的信息，而变换器输出嵌入有效地包含更多的全局信息。4.根据权利要求3所述的一种引入自适应深度块的单目深度图补全方法，其特征在于，步骤3具体方法如下：将transformer的输出即n维向量b'通过1
×
1卷积核，再与步骤1解码得到的特征通过3
×
3的卷积层后的特征向量结合，得到像素的逐点映射r；将r通过1
×
1的卷积层得到n个通道，对通道进行softmax激活，得到每个像素点的深度在每个自适应深度块上的概率为pk,k＝1,2,
…
,n；最终得到的每个像素点的最终深度计算公式为：其中函数c(b
k
)是为避免深度估计时采用自适应深度块导致最终的稠密深度图分层严
重提出的处理方法，c(b
k
)计算如下：其中b
k
是第k个自适应深度块的深度，d
min
为像素点的最小深度，d
max
为像素点的最大深度；最终得到输入图像所有像素点的深度，即为对所输入rgb图像和稀疏深度图像的深度补全。

技术总结
本发明公开了一种引入自适应深度块的单目深度图补全方法，首先对输入的RGB图像和稀疏深度图进行编码和解码；然后利用Transformer从解码器输出的特征张量中预测自适应深度块；最后预测RGB图像每个像素点在每个自适应深度块上的概率，计算每个像素点的具体深度，再对像素点进行平滑化处理，最终得到稠密深度图。本发明将需要预测的深度图像的深度由连续的深度划分为离散的深度块，将深度补全任务从回归任务转化为分类任务，极大提高了深度补全的效率。深度补全的效率。


技术研发人员：陈奕礽 方楼 颜成钢 赵思成 孙垚棋 朱尊杰 王帅 高宇涵 王鸿奎 赵治栋 殷海兵 张继勇 李宗鹏 丁贵广 付莹 郭雨晨
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.07.19
技术公布日：2023/9/13