一种基于残差代价卷的立体匹配方法及网络

1.本发明涉及立体匹配技术领域，具体涉及一种基于残差代价卷的立体匹配方法及网络。


背景技术：

2.作为最流行的深度估计方案，双目立体匹配在诸多现实应用中都不可或缺，这些应用包括自动驾驶、机器人导航、三维重建和增强现实等，双目立体匹配算法的性能会直接影响以上技术的最终性能实现，因此优化立体匹配算法，使其在较快的时间内精确估计出目标深度具有重要的研究意义。
3.随着深度学习和神经网络的兴起，许多在传统方法下难以解决的计算机视觉问题都取得了重大进展，经典的立体匹配网络基于端到端的卷积神经网络框架，依次分为特征提取、代价卷构建、代价聚合和视差回归四个模块，代价卷构建是立体匹配网络区别于其它计算机视觉任务最显著的步骤，也对立体匹配网络的速度和精度起着决定性的作用，而现在常用的4d代价卷冗余信息多、速度慢，基于该代价卷进行后续的处理很难做到精度与速度的一个很好的平衡。


技术实现要素：

4.本发明根据提取得到的特征金字塔构建了不同尺度和不同维度的第一残差代价卷，并采用残差异构聚合方式对第一残差代价卷进行代价聚合，能够高效聚合异构代价表征，实现多态代价表征的信息交互，从而解决多尺度代价卷网络的信息冗余问题，使得双目立体匹配网络在精度和推理速度上取得更好的平衡。
5.第一方面，一种实施例中提供一种基于残差代价卷的立体匹配方法,其特征在于，包括：获取待匹配的左视图和右视图；对所述左视图和所述右视图进行特征提取，得到特征金字塔；根据所述特征金字塔，构建多个不同尺度的第一残差代价卷，每个所述第一残差代价卷的维度不同；通过残差异构聚合方式对所有所述第一残差代价卷进行代价聚合，以得到多个不同尺度的第二代价卷，所述第二代价卷与所述第一残差代价卷一一对应且对应的所述第一残差代价卷和所述第二代价卷的尺度和维度相同；分别对每个所述第二代价卷进行视差回归，得到多个不同尺寸的第一视差图；根据所有所述第一视差图进行误差修正，得到尺寸与所述左视图和所述右视图相同的第二视差图。
6.一些实施例中，所述残差异构聚合方式包括：对每个所述第一残差代价卷进行内尺度代价聚合，得到内尺度聚合代价卷；对所有所述内尺度聚合代价卷进行代价卷间的信息融合，以得到多个不同尺度的所述第二代价卷。
7.一些实施例中，对所有所述内尺度聚合代价卷进行代价卷间的信息融合，包括：多个尺度的跨尺度代价聚合操作，其中：每个尺度的跨尺度代价聚合操作，包括：将不同尺度的所述内尺度聚合代价卷采样到同尺度；将同尺度的所述内尺度聚合代价卷进行代价卷间的信息融合，得到一个尺度的所述第二代价卷。
[0008][0009]
一些实施例中，所述第一残差代价卷包括：1/3尺度残差3d代价卷、1/6尺度残差4d代价卷和1/12尺度常规4d代价卷。
[0010]
一些实施例中，所述残差异构聚合方式通过以下方式表示：其中，i为恒等变换；为1/3尺度的所述第二代价卷；为1/6尺度的所述第二代价卷，为1/12尺度的所述第二代价卷，t为正向残差代价卷变换；为反向残差代价卷变换；sq指的是squeeze操作，用于将4d代价卷转化为3d代价卷；usq指的是unsqueeze操作，用于将3d代价卷转化为4d代价卷；为1/3尺度残差3d代价卷；为1/6尺度残差4d代价卷；为1/12尺度常规4d代价卷。
[0011]
一些实施例中，通过两层卷积对每个所述第一残差代价卷进行内尺度代价聚合。
[0012]
一些实施例中，所述分别对每个所述第二代价卷进行视差回归，得到多个不同尺寸的第一视差图，包括：对1/3尺度的所述第二代价卷进行视差回归，得到尺寸为所述左视图和所述右视图1/3的第一视差图；对1/6尺度的所述第二代价卷进行视差回归，得到尺寸为所述左视图和所述右视图1/6的第一视差图；对1/12尺度的所述第二代价卷进行视差回归，得到尺寸为所述左视图和所述右视图1/12的第一视差图。
[0013]
一些实施例中，所述根据所有所述第一视差图进行误差修正，得到与所述左视图和所述右视图尺寸相同的第二视差图，包括：对尺寸为所述左视图和所述右视图1/12的第一视差图进行上采样得到尺寸为所述左视图和所述右视图1/6的第一上采样视差图；将所述第一上采样视差图与同尺寸的所述第一视差图进行相加操作，得到尺寸为1/6的第一误差修正图；将所述第一误差修正图进行上采样得到尺寸为所述左视图和所述右视图1/3的第二上采样误差图；将所述第二上采样误差图与同尺寸的第一视差图进行相加操作，得到尺寸为1/3的第二误差修正图；将所述第二误差修正图进行上采样，得到与所述左视图和所述右视图尺寸相同的第二视差图。
[0014]
第二方面，本发明提供一种基于残差代价卷的立体匹配网络,包括：特征提取模块、代价卷构建模块、代价聚合模块、视差回归模块和视差优化模块；所述特征提取模块用于对获取的所述左视图和所述右视图进行特征提取，得到特征金字塔；所述代价卷构建模块用于根据所述特征金字塔，构建多个不同尺度的第一残差代价卷，每个所述第一残差代价卷的维度不同；所述代价聚合模块用于通过残差异构聚合方式对所有所述第一残差代价卷进行代价聚合，以得到多个不同尺度的第二代价卷，所述第二代价卷与所述第一代价卷一一对应且对应的所述第一残差代价卷和所述第二代价卷的尺度和维度相同；所述视察回归模块用于分别对每个所述第二代价卷进行视差回归，得到多个不同尺寸的第一视差图；所述视差优化模块用于根据所有所述第一视差图进行误差修正，得到尺寸与所述左视图和所述右视图相同的第二视差图。
[0015]
一些实施例中，所述代价聚合模块包括内尺度代价聚合子模块和跨形态代价聚合
子模块；所述内尺度代价聚合子模块用于对每个所述第一残差代价卷进行内尺度代价聚合，得到内尺度聚合代价卷；所述跨形态代价聚合子模块用于对所有所述内尺度聚合代价卷进行代价卷间的信息融合，以得到多个不同尺度的所述第二代价卷。
[0016]
根据上述实施例的方法，根据提取得到的特征金字塔构建多个不同尺度和不同维度的残差代价卷，采用残差异构聚合方式对这些残差代价卷进行信息融合，能够高效聚合异构代价表征，实现多态代价表征的信息交互，从而解决多尺度代价卷网络的信息冗余问题，使得双目立体匹配网络在精度和推理速度上取得更好的平衡；根据多个不同尺度的第一视差图进行误差修正，可以有效地提升立体匹配的质量。
附图说明
[0017]
图1为本发明提供的基于残差代价卷的立体匹配方法流程图；
[0018]
图2为一种实施例的残差异构聚合方式的流程图；
[0019]
图3为一种实施例的每个尺度的跨尺度代价聚合操作的流程图；
[0020]
图4为一种实施例的对每个第二代价卷进行视差回归的流程图；
[0021]
图5为一种实施例的分别对每个第二代价卷进行视差回归的流程图；
[0022]
图6为本发明提供的基于残差代价卷的立体匹配网络的结构示意图；
[0023]
图7为一种实施例的代价聚合模块的结构示意图。
具体实施方式
[0024]
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
[0025]
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
[0026]
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
[0027]
在立体匹配过程中，代价卷的构建是立体匹配网络区别于其它计算机视觉任务最显著的步骤，也对立体匹配网络的速度和精度起着决定性的作用，而现在常用的4d代价卷冗余信息多、速度慢，基于该代价卷进行后续的代价聚合等处理很能做到精度与速度的一个很好的平衡。
[0028]
在本发明实施例中，根据提取得到的特征金字塔构建了多个不同尺度和不同维度的代价卷，采用残差异构聚合方式对这些代价卷进行信息融合，能够高效聚合异构代价表
征，实现多态代价表征的信息交互，从而解决多尺度代价卷网络的信息冗余问题，使得双目立体匹配网络在精度和推理速度上取得更好的平衡。
[0029]
请参考图1，本发明的一实施例中提供一种基于残差代价卷的立体匹配方法，包括：
[0030]
s10：获取待匹配的左视图和右视图。
[0031]
s20：对左视图和右视图进行特征提取，得到特征金字塔。
[0032]
s30：根据特征金字塔，构建多个不同尺度的第一残差代价卷，每个第一残差代价卷的维度不同。
[0033]
一些实施例中，第一残差代价卷包括：1/3尺度残差3d代价卷、1/6尺度残差4d代价卷和1/12尺度常规4d代价卷，这种第一残差代价卷的构建方式是为了平衡残差代价卷的参数量和代价表征的信息质量，其中，1/3尺度由于其分辨率较高，往往在代价卷整体上占据较大比重的参数，选取3d残差代价卷能够有效降低其计算代价；1/6尺度和1/12尺度则考虑网络最终的视差估计性能，需要提供更加精确的初始视差以及上层语义特征，从而构造了1/6尺度残差4d代价卷和1/12尺度常规4d代价卷。
[0034]
s40：通过残差异构聚合方式对所有所述第一残差代价卷进行代价聚合，以得到多个不同尺度的第二代价卷，所述第二代价卷与所述第一残差代价卷一一对应且对应的所述第一残差代价卷和所述第二代价卷的尺度和维度相同。
[0035]
一些实施例中，如图2所示，残差异构聚合方式包括：
[0036]
s41：对每个第一残差代价卷进行内尺度代价聚合，得到内尺度聚合代价卷。
[0037]
一些实施例中，通过两层卷积对每个所述第一残差代价卷进行内尺度代价聚合。
[0038]
s42：对所有内尺度聚合代价卷进行跨尺度代价聚合，以得到多个不同尺度的第二代价卷。
[0039]
一些实施例中，对所有内尺度聚合代价卷进行代价卷间的信息融合，包括：多个尺度的跨尺度代价聚合操作，其中：
[0040]
每个尺度的跨尺度代价聚合操作，如图3所示，包括：
[0041]
s420：将不同尺度的所述内尺度聚合代价卷采样到同尺度；
[0042]
s421：将同尺度的所述内尺度聚合代价卷进行代价卷间的信息融合，得到一个尺度的所述第二代价卷。
[0043]
一些实施例中，对所有内尺度聚合代价卷进行代价卷间的信息融合中，包含了n个尺度的跨尺度代价聚合操作，每一个尺度的跨尺度代价聚合操作中，均聚合了n个尺度的内尺度代价聚合结果，在本实施例中，n为3，3个尺度分别对应于第一残差代价卷的三个尺度(1/3、1/6和1/12)。
[0044]
一些实施例中，残差异构聚合方式通过以下方式表示：
[0045]
[0046]
其中，i为恒等变换；为1/3尺度的第二代价卷；为1/6尺度的第二代价卷，为1/12尺度的第二代价卷，t为正向残差代价卷变换；为反向残差代价卷变换；sq指的是squeeze操作，用于将4d代价卷转化为3d代价卷，即实现降维操作，具体而言，先利用3d卷积层将通道数调整为1，再采用squeeze操作将通道维度去除；usq指的是unsqueeze操作，用于将3d代价卷转化为4d代价卷，即实现升维操作，对应的，先利用unsqueeze操作在3d代价卷中添加通道维度，再采用卷积层将通道数增大和对应4d代价卷保持一致；为1/3尺度残差3d代价卷；为1/6尺度残差4d代价卷；为1/12尺度常规4d代价卷。
[0047]
通过残差异构聚合方式对构建的所有第一残差代价卷进行代价聚合，能够高效聚合异构代价表征，实现多态代价表征的信息交互，从而解决多尺度代价卷网络的信息冗余问题，使得双目立体匹配网络在精度和推理速度上取得更好的平衡。
[0048]
s50：分别对每个第二代价卷进行视差回归，得到多个不同尺寸的第一视差图。
[0049]
一些实施例中，分别对每个第二代价卷进行视差回归，得到多个不同尺寸的第一视差图，如图4所示，包括：
[0050]
s51：对1/3尺度的第二代价卷进行视差回归，得到尺寸为左视图和右视图1/3的第一视差图。
[0051]
s52：对1/6尺度的第二代价卷进行视差回归，得到尺寸为左视图和右视图1/6的第一视差图。
[0052]
s53：对1/12尺度的第二代价卷进行视差回归，得到尺寸为左视图和右视图1/12的第一视差图。
[0053]
s60：根据所有第一视差图进行误差修正，得到尺寸与左视图和右视图相同的第二视差图。
[0054]
一些实施例中，根据所有第一视差图进行误差修正，得到与左视图和右视图尺寸相同的第二视差图，如图5所示，包括：
[0055]
s61：对尺寸为左视图和右视图1/12的第一视差图进行上采样得到尺寸为左视图和右视图1/6的第一上采样视差图。
[0056]
s62：将第一上采样视差图与同尺寸的第一视差图进行相加操作，得到尺寸为1/6的第一误差修正图。
[0057]
s63：将第一误差修正图进行上采样得到尺寸为左视图和右视图1/3的第二上采样误差图。
[0058]
s64：将第二上采样误差图与同尺寸的第一视差图进行相加操作，得到尺寸为1/3的第二误差修正图。
[0059]
s65：将第二误差修正图进行上采样，得到与左视图和右视图尺寸相同的第二视差图。
[0060]
一些实施例中，步骤s62和步骤s64中的相加操作是指将两个图中的每个对应的像素点的值进行相加，从而实现第一视差图的误差修正，得到与左视图和右视图尺寸相同的第二视差图，根据多个不同尺度的第一视差图进行误差修正，可以有效地提升立体匹配的质量。
[0061]
本发明另一实施例中提供一种基于残差代价卷的立体匹配网络,如图6所示，包括：特征提取模块10、代价卷构建模块20、代价聚合模块30、视差回归模块40和视差优化50模块；特征提取模块10用于对获取的左视图和右视图进行特征提取，得到特征金字塔；代价卷构建模块20用于根据特征金字塔，构建多个不同尺度的第一残差代价卷，每个第一残差代价卷的维度不同；代价聚合模块30用于通过残差异构聚合方式对所有第一残差代价卷进行代价聚合，以得到多个不同尺度的第二代价卷，第二代价卷与第一代价卷一一对应且对应的第一残差代价卷和第二代价卷的尺度和维度相同；视差回归模块40用于分别对每个第二代价卷进行视差回归，得到多个不同尺寸的第一视差图；视差优化模块50用于根据所有第一视差图进行误差修正，得到尺寸与左视图和右视图相同的第二视差图。
[0062]
一些实施例中，残差异构聚合方式通过以下方式表示：
[0063][0064]
其中，i为恒等变换；为1/3尺度的第二代价卷；为1/6尺度的第二代价卷，为1/12尺度的第二代价卷，t为正向残差代价卷变换；为反向残差代价卷变换；sq指的是squeeze操作，用于将4d代价卷转化为3d代价卷；usq指的是unsqueeze操作，用于将3d代价卷转化为4d代价卷；为1/3尺度残差3d代价卷；1/6尺度残差4d代价卷；为1/12尺度常规4d代价卷。
[0065]
通过代价聚合模块30对构建的所有第一残差代价卷进行代价聚合，能够高效聚合异构代价表征，实现多态代价表征的信息交互，从而解决多尺度代价卷网络的信息冗余问题，使得双目立体匹配网络在精度和推理速度上取得更好的平衡。
[0066]
一些实施例中，如图7所示，代价聚合模块30包括内尺度代价聚合子模块31和跨形态代价聚合子模块32；内尺度代价聚合子模块31用于对每个第一残差代价卷进行内尺度代价聚合，得到内尺度聚合代价卷；跨形态代价聚合子模块32用于对所有内尺度聚合代价卷进行代价卷间的信息融合，以得到多个不同尺度的第二代价卷。
[0067]
本实施例中提供的立体匹配网络的实施方式与前述方法的实施方式相同，这里不再赘述。
[0068]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

技术特征：
1.一种基于残差代价卷的立体匹配方法,其特征在于，包括：获取待匹配的左视图和右视图；对所述左视图和所述右视图进行特征提取，得到特征金字塔；根据所述特征金字塔，构建多个不同尺度的第一残差代价卷，每个所述第一残差代价卷的维度不同；通过残差异构聚合方式对所有所述第一残差代价卷进行代价聚合，以得到多个不同尺度的第二代价卷，所述第二代价卷与所述第一残差代价卷一一对应且对应的所述第一残差代价卷和所述第二代价卷的尺度和维度相同；分别对每个所述第二代价卷进行视差回归，得到多个不同尺寸的第一视差图；根据所有所述第一视差图进行误差修正，得到尺寸与所述左视图和所述右视图相同的第二视差图。2.如权利要求1所述的方法，其特征在于，所述残差异构聚合方式包括：对每个所述第一残差代价卷进行内尺度代价聚合，得到内尺度聚合代价卷；对所有所述内尺度聚合代价卷进行代价卷间的信息融合，以得到多个不同尺度的所述第二代价卷。3.如权利要求2所述的方法，其特征在于，对所有所述内尺度聚合代价卷进行代价卷间的信息融合，包括：多个尺度的跨尺度代价聚合操作，其中：每个尺度的跨尺度代价聚合操作，包括：将不同尺度的所述内尺度聚合代价卷采样到同尺度；将同尺度的所述内尺度聚合代价卷进行代价卷间的信息融合，得到一个尺度的所述第二代价卷。4.如权利要求1所述的方法，其特征在于，所述第一残差代价卷包括：1/3尺度残差3d代价卷、1/6尺度残差4d代价卷和1/12尺度常规4d代价卷。5.如权利要求4所述的方法，其特征在于，所述残差异构聚合方式通过以下方式表示：其中，i为恒等变换；为1/3尺度的所述第二代价卷；为1/6尺度的所述第二代价卷，为1/12尺度的所述第二代价卷，t为正向残差代价卷变换；为反向残差代价卷变换；s
q
指的是squeeze操作，用于将4d代价卷转化为3d代价卷；us
q
指的是unsqueeze操作，用于将3d代价卷转化为4d代价卷；为1/3尺度残差3d代价卷；为1/6尺度残差4d代价卷；为1/12尺度常规4d代价卷。6.如权利要求3所述的方法，其特征在于，通过两层卷积对每个所述第一残差代价卷进行内尺度代价聚合。7.如权利要求5所述的方法，其特征在于，所述分别对每个所述第二代价卷进行视差回
归，得到多个不同尺寸的第一视差图，包括：对1/3尺度的所述第二代价卷进行视差回归，得到尺寸为所述左视图和所述右视图1/3的第一视差图；对1/6尺度的所述第二代价卷进行视差回归，得到尺寸为所述左视图和所述右视图1/6的第一视差图；对1/12尺度的所述第二代价卷进行视差回归，得到尺寸为所述左视图和所述右视图1/12的第一视差图。8.如权利要求7所述的方法，其特征在于，所述根据所有所述第一视差图进行误差修正，得到与所述左视图和所述右视图尺寸相同的第二视差图，包括：对尺寸为所述左视图和所述右视图1/12的第一视差图进行上采样得到尺寸为所述左视图和所述右视图1/6的第一上采样视差图；将所述第一上采样视差图与同尺寸的所述第一视差图进行相加操作，得到尺寸为1/6的第一误差修正图；将所述第一误差修正图进行上采样得到尺寸为所述左视图和所述右视图1/3的第二上采样误差图；将所述第二上采样误差图与同尺寸的第一视差图进行相加操作，得到尺寸为1/3的第二误差修正图；将所述第二误差修正图进行上采样，得到与所述左视图和所述右视图尺寸相同的第二视差图。9.一种基于残差代价卷的立体匹配网络,其特征在于，包括：特征提取模块、代价卷构建模块、代价聚合模块、视差回归模块和视差优化模块；所述特征提取模块用于对获取的所述左视图和所述右视图进行特征提取，得到特征金字塔；所述代价卷构建模块用于根据所述特征金字塔，构建多个不同尺度的第一残差代价卷，每个所述第一残差代价卷的维度不同；所述代价聚合模块用于通过残差异构聚合方式对所有所述第一残差代价卷进行代价聚合，以得到多个不同尺度的第二代价卷，所述第二代价卷与所述第一代价卷一一对应且对应的所述第一残差代价卷和所述第二代价卷的尺度和维度相同；所述视察回归模块用于分别对每个所述第二代价卷进行视差回归，得到多个不同尺寸的第一视差图；所述视差优化模块用于根据所有所述第一视差图进行误差修正，得到尺寸与所述左视图和所述右视图相同的第二视差图。10.如权利要求9所述的立体匹配网络，其特征在于，所述代价聚合模块包括内尺度代价聚合子模块和跨形态代价聚合子模块；所述内尺度代价聚合子模块用于对每个所述第一残差代价卷进行内尺度代价聚合，得到内尺度聚合代价卷；所述跨形态代价聚合子模块用于对所有所述内尺度聚合代价卷进行代价卷间的信息融合，以得到多个不同尺度的所述第二代价卷。

技术总结
一种基于残差代价卷的立体匹配方法及网络，根据提取得到的特征金字塔构建多个不同尺度的第一残差代价卷，每个第一残差代价卷的维度不同，采用残差异构聚合方式对这些残差代价卷进行信息融合，能够高效聚合异构代价表征，实现多态代价表征的信息交互，从而解决多尺度代价卷网络的信息冗余问题，使得双目立体匹配网络在精度和推理速度上取得更好的平衡，根据多个不同尺度的第一视差图进行误差修正，可以有效地提升立体匹配的质量。有效地提升立体匹配的质量。有效地提升立体匹配的质量。


技术研发人员：夏富坤 钱刃 刘洋 丘文峰 杨文帮 李建华 赵建川
受保护的技术使用者：北京大学深圳研究生院
技术研发日：2023.05.16
技术公布日：2023/9/6