基于单目的遮挡区域检测方法及设备

1.本发明涉及立体匹配技术领域，具体涉及一种基于单目的遮挡区域检测方法及设备。


背景技术：

2.双目立体匹配是在左右两个摄像头拍摄的左视图和右视图中分别找到两个点，这两个点对应现实中的同一个点，这两点在各自图中的横坐标存在差值，这个差值称为视差，通过计算两点的视差就可以得到现实中该点与摄像头之间的距离。
3.在双目立体匹配中每个左视图和右视图中会有许多遮挡区域，这些遮挡区域是某些对象后面的不可见区域，例如：汽车后面的区域；由于这些摄像头的位置不同，左摄像头视图区域中的某些可见区域在右摄像头视图中不可见，遮挡区域不仅会导致缺乏匹配的必要信息，还会提供错误的信息，使得立体匹配算法不能构造精确的成本，影响到后续的成本聚合、视差计算和视差优化等立体匹配的各个步骤的性能，造成双目立体匹配的性能低下。


技术实现要素：

4.本发明提供的一种单目的遮挡区域检测方法可以根据单张图像准确判断出遮挡区域，并能精确定位遮挡区域的位置和大小。
5.根据第一方面，一种实施例中提供一种基于单目的遮挡区域检测方法,包括：获取一张第一待检测图像;对所述第一待检测图像进行处理，使得所述第一待检测图像满足预设条件；采用编码方法对处理后的所述第一待检测图像进行编码处理，以得到不同尺寸的至少第一特征图、第二特征图和第三特征图；采用解码方法对所述第一特征图、所述第二特征图和所述第三特征图进行解码处理，以得到与所述第一待检测图像尺寸相同的第四特征图；对所述第四特征图进行处理，以输出检测出遮挡区域的图像；所述编码方法包括：采用第一特征提取方式提取所述第一待检测图像的初步特征，以得到第一特征图；采用第二特征提取方式提取所述第一特征图的第一全局特征以得到第一全局特征图，并对所述第一全局特征图进行下采样处理，以得到第一下采样特征图；对所述第一下采样特征图采用与其尺寸相同的第二待检测图像进行引导滤波，以得到第二特征图；采用第三特征提取方式提取所述第二特征图的第二全局特征以得到第二全局特征图，并对所述第二全局特征图进行下采样处理，以得到第二下采样特征图；对所述第二下采样特征图采用与其尺寸相同的第三待检测图像进行引导滤波，以得到第三特征图。
6.一些实施例中，所述解码方法包括：采用第一解码方式对所述第二特征图和所述第三特征图进行处理，以得到第一上采样特征图；对所述第一上采样特征图采用所述第二特征图进行引导滤波，以得到第五特征图；采用第二解码方式对所述第一特征图和所述第五特征图进行处理，以得到第二上采样特征图；对所述第二上采样特征图采用所述第一特征图进行引导滤波，以得到第四特征图。
7.一些实施例中，所述第一解码方式和所述第二解码方式均包括双线性插值方法。
8.一些实施例中，所述预设条件包括：所述第一待检测图像的宽和高均为256像素的整数倍；以及，若像素值用8位表示时，取值在0-255之间；若像素值用16位表示时，取值在0-255*255之间；所述第一待检测图像的像素值被转换为在区间[0,1]之间。
[0009]
一些实施例中，所述第二特征提取方式包括对所述第一全局特征图下采样1/2，所述第三特征提取方式包括对所述第二全局特征图下采样1/2，所述第二待检测图像的尺寸为所述第一待检测图像的1/2，所述第三待检测图像的尺寸为所述第一待检测图像的1/4。
[0010]
一些实施例中，对所述第四特征图进行处理，以输出检测出遮挡区域的图像，包括：对第四特征图进行逻辑回归处理，以输出检测出遮挡区域的图像。
[0011]
根据第二方面，一种实施例中提供一种基于单张图像的遮挡区域检测设备，其特征在于，包括：编码装置、解码装置、检测结果输出装置和处理器；所述编码装置用于对所述第一待检测图像进行编码处理，以得到不同尺寸至少的第一特征图、第二特征图和第三特征图；所述解码装置用于对所述第一特征图、所述第二特征图和所述第三特征图进行解码处理，以得到与所述第一待检测图像尺寸相同的第四特征图；检测结果输出装置用于所述第四特征图进行处理，以输出检测出遮挡区域的图像；所述处理器用于执行如前述的基于单目的遮挡区域检测方法。
[0012]
一些实施例中，所述解码装置包括第一编码模块和第二编码模块，所述第一编码模块和所述第二编码模块均采用双线性插值方法实现。
[0013]
一些实施例中，所述编码装置包括第一特征提取模块、第二特征提取模块和第三处理模块，所述第一特征提取模块包括三层卷积，所述第二特征提取模块和所述第三特征提取模块均包括八个残差模块，每个所述残差模块包括两个卷积层，最后一个所述残差模块的最后一个卷积层的步长为2。
[0014]
根据第三方面，一种实施例中提供一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如前述的基于单目的遮挡区域检测方法。
[0015]
根据上述实施例的方法，在编码阶段对待检测图像进行了连续下采样处理得到了不同尺度的多个特征图，在不同尺度的特征图上使用对应尺度的待检测图像进行引导滤波，让检测到的遮挡区域的边缘部分更加清晰，在解码阶段的每个步骤中也进行了引导滤波，可以避免编码时会丢失大量特征信息并产生一些噪声导致遮挡区域的边缘模糊的问题，通过该方法可根据单张图像准确判断出遮挡区域，能够精确定位遮挡区域的位置和大小。
附图说明
[0016]
图1为基于单目的遮挡区域检测方法的流程图；图2为一种实施例的编码方式的流程图；图3为一种实施例的解码方式的流程图；图4为遮挡区域检测网络的结构示意图；图5为基于单张图像的遮挡区域检测设备的结构示意图；图6为解码装置的结构示意图；图7为编码装置的结构示意图；
图8为计算机可读存储介质的结构示意图。
具体实施方式
[0017]
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
[0018]
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
[0019]
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本技术所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
[0020]
为了更好地避免在立体匹配中遮挡区域带来的问题，首先需要准确地识别出遮挡区域，在定位到遮挡区域后，再使用各种方法来改善遮挡问题，进而提高双目立体匹配算法的性能。
[0021]
本发明提供的一种单目的遮挡区域检测方法，在编码阶段对待检测图像进行了连续下采样处理得到了不同尺度的多个特征图，在不同尺度的特征图上分别使用对应尺度的待检测图像进行引导滤波，在解码阶段的每个步骤中也进行了引导滤波，可以避免编码时会丢失大量特征信息并产生一些噪声导致遮挡区域的边缘模糊的问题，该方法根据单张图像准确判断出遮挡区域，并能精确定位遮挡区域的位置和大小。
[0022]
请参考图1，本发明一种实施例中提供一种基于单目的遮挡区域检测方法,包括：s10:获取一张第一待检测图像。
[0023]
s20:对第一待检测图像进行处理，使得第一待检测图像满足预设条件。
[0024]
一些实施例中，预设条件包括：第一待检测图像的宽和高均为256像素的整数倍；以及，若像素值用8位表示时，取值在0-255之间；若像素值用16位表示时，取值在0-255*255之间；第一待检测图像的像素值被转换为在区间[0,1]之间，本实施例中的第一待检测图像被处理为512*512大小，通过正则化处理的方法将第一待检测图像的像素值转换为在区间[0,1]之间。
[0025]
s30:采用编码方法对处理后的第一待检测图像进行编码处理，以得到不同尺寸的至少第一特征图、第二特征图和第三特征图。
[0026]
一些实施例中，如图2所示，编码方法包括：s31:采用第一特征提取方式提取第一待检测图像的初步特征，以得到第一特征图，第一特征提取方式基于三层卷积实现，主要用于提取初步特征。
[0027]
s32:采用第二特征提取方式提取第一特征图的第一全局特征以得到第一全局特
征图，并对第一全局特征图进行下采样处理，以得到第一下采样特征图。
[0028]
一些实施例中，第二特征提取方式包括对所述第一全局特征图下采样1/2，第二特征提取方式基于八个残差模块实现，每个残差模块包括两个卷积层，最后一个残差模块的最后一个卷积层的步长为2，即第一全局特征图被下采样1/2，可以提取到更多的全局特征。
[0029]
s33:对第一下采样特征图采用与其尺寸相同的第二待检测图像进行引导滤波，以得到第二特征图，第二待检测图像的尺寸为第一待检测图像的1/2。
[0030]
s34:采用第三特征提取方式提取第二特征图的第二全局特征以得到第二全局特征图，并对第二全局特征图进行下采样处理，以得到第二下采样特征图。
[0031]
一些实施例中，第三特征提取方式包括对第二全局特征图下采样1/2，第三特征提取方式基于八个残差模块实现，每个残差模块包括两个卷积层，最后一个残差模块的最后一个卷积层的步长为2，即第二全局特征图被下采样1/2，第二全局特征图的尺寸为第一待检测图像的1/4, 采用小特征映射用于学习全局特征，可以避免使用局部特征带来的问题，例如：在立体匹配算法中，图像中有许多病态区域（反射、低纹理）无法很好地匹配，主要是由于缺乏局部信息，这些区域是立体匹配算法的主要影响因素。
[0032]
s35:对第二下采样特征图采用与其尺寸相同的第三待检测图像进行引导滤波，以得到第三特征图，第三待检测图像的尺寸为第一待检测图像的1/4。
[0033]
本发明提供的方法在每次下采样后采用对应尺度的的待检测图像进行引导滤波，可以让检测到的遮挡区域的边缘部分更加清晰，从而能够精确定位遮挡区域的位置和大小。
[0034]
s40:采用解码方法对第一特征图、第二特征图和第三特征图进行解码处理，以得到与第一待检测图像尺寸相同的第四特征图，解码方法基于双线性插值方法实现，该双线性插值使用两个因子-2双线性插值使得解码后的特征图达到原始图像大小，在解码阶段的每个步骤中，还进行了引导滤波，其主要原因是编码时会丢失大量特征信息并产生一些噪声导致遮挡区域的边缘模糊，采用引导滤波可以避免这类问题。
[0035]
一些实施例中，如图3所示，解码方法包括：s41:采用第一解码方式对第二特征图和第三特征图进行处理，以得到第一上采样特征图。
[0036]
s42:对第一上采样特征图采用第二特征图进行引导滤波，以得到第五特征图。
[0037]
s43:采用第二解码方式对第一特征图和第五特征图进行处理，以得到第二上采样特征图。
[0038]
s44:对第二上采样特征图采用第一特征图进行引导滤波，以得到第四特征图。
[0039]
一些实施例中，所述第一解码方式和所述第二解码方式均包括双线性插值方法。
[0040]
s50:对第四特征图进行处理，以输出检测出遮挡区域的图像。
[0041]
一些实施例中，对所述第四特征图进行处理，以输出检测出遮挡区域的图像，包括：对第四特征图进行逻辑回归处理，以输出检测出遮挡区域的图像，逻辑回归处理的方式是在每个视差值上得到一个概率，然后对所有视差值求期望。
[0042]
在立体匹配中，基于多视角图像无法完全检测到待检测图像中的遮挡区域，例如：某一视角图片中的边界处无法出现在其他视角的图片中，因此该视角的图片边界就无法进行检测，而采用本发明提供的遮挡区域检测方法，基于单视角图像可以完全检测出待检测
图像中的遮挡区域，从而提升立体匹配的性能。
[0043]
应用时，请参考图4构建实现本发明提供的基于单目的遮挡区域检测方法的遮挡区域检测网络，该网络包括编码层1、解码层2和输出处理层3，编码层1包括第一卷积模块10、第一残差模块11、第一引导滤波模块12、第二残差模块13和第二引导滤波模块14，解码层2包括第一上采样模块21、第三引导滤波模块22、第二卷积模块23、第二上采样模块24、第四引导滤波模块25和第三卷积模块26，在训练遮挡区域检测网络时可以分别输入左视图、右视图，通过网络将两个训练结果拟合可以得到双目相机的参数，比如：双目相机的基线和焦距，以检测单个图像上的遮挡区域，当迁移检测网络时，可以通过在新摄像机组下执行微调训练，将摄像机参数调整为新摄像机组的参数，该检测网络可以通过学习待检测图像对应的真实值隐式学习双目相机的参数，即可以学习适应双目相机中的参数，如双目相机的基线和焦距。
[0044]
可以通过以下方法进行遮挡区域检测网络的训练和测试：将样本数据集 scene flow 随机分成两部分，其中：80%的样本数据集是训练集，其余20%是测试集，将训练的批量设置为10，训练10个时期，前五个阶段的学习率设置为0.01，后五个阶段学习率为0.001，使用训练集来训练网络，一共训练十个循环，并在此过程中调整学习率，使用测试集测试网络性能，用以调整遮挡区域检测网络的超参数。
[0045]
如图5所示，本发明另一种实施例中提供一种基于单张图像的遮挡区域检测设备，包括：编码装置100、解码装置200、检测结果输出装置300和处理器400；编码装置100用于对第一待检测图像进行编码处理，以得到不同尺寸至少的第一特征图、第二特征图和第三特征图；解码装置200用于对第一特征图、第二特征图和第三特征图进行解码处理，以得到与第一待检测图像尺寸相同的第四特征图；检测结果输出装置300用于第四特征图进行处理，以输出检测出遮挡区域的图像；处理器400用于执行如前述的基于单目的遮挡区域检测方法。
[0046]
一些实施例中，如图6所示，解码装置200包括第一解码模块201和第二解码模块202，第一解码模块201和所述第二解码模块202均采用双线性插值方法实现。
[0047]
一些实施例中，如图7所示，编码装置100包括第一特征提取模块101、第二特征提取模块102和第三特征提取模块103，第一特征提取模块101包括三层卷积，第二特征提取模块102和第三特征提取模块103均包括八个残差模块，每个残差模块包括两个卷积层，最后一个残差模块的最后一个卷积层的步长为2，编码装置100还包括第一引导滤波模块104和第二引导滤波模块105。
[0048]
本发明提供的一种基于单张图像的遮挡区域检测设备，在编码阶段通过第一特征提取模块101提取第一待检测图像的初步特征得到第一特征图，通过第二特征提取模块102和第三特征提取模块103对第一待检测图像进行了两次下采样处理，得到了不同尺度的第一下采样特征图和第二下采样特征图，通过第一引导滤波模块104在第一下采样特征图上使用第二待检测图像进行引导滤波，通过第二引导滤波模块105在第二下采样特征图上使用第三待检测图像进行引导滤波，在解码阶段通过第一编码模块201和所述第二编码模块202通过双线性插值方法使得解码后的特征图为原始图像大小，并且在解码阶段的每个步骤中还进行了引导滤波，可以避免编码时丢失大量特征信息并产生一些噪声导致遮挡区域的边缘模糊的问题，该设备可以根据第一待检测图像准确判断出遮挡区域，并能精确定位
遮挡区域的位置和大小。
[0049]
如图8所示，本发明另一种实施例中提供一种计算机可读存储介质，存储介质4上存储有程序，程序能够被处理器5执行以实现如前述的基于单目的遮挡区域检测方法。
[0050]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

技术特征：
1.一种基于单目的遮挡区域检测方法, 其特征在于，包括：获取一张第一待检测图像;对所述第一待检测图像进行处理，使得所述第一待检测图像满足预设条件；采用编码方法对处理后的所述第一待检测图像进行编码处理，以得到不同尺寸的至少第一特征图、第二特征图和第三特征图；采用解码方法对所述第一特征图、所述第二特征图和所述第三特征图进行解码处理，以得到与所述第一待检测图像尺寸相同的第四特征图；对所述第四特征图进行处理，以输出检测出遮挡区域的图像；所述编码方法包括：采用第一特征提取方式提取所述第一待检测图像的初步特征，以得到第一特征图；采用第二特征提取方式提取所述第一特征图的第一全局特征以得到第一全局特征图，并对所述第一全局特征图进行下采样处理，以得到第一下采样特征图；对所述第一下采样特征图采用与其尺寸相同的第二待检测图像进行引导滤波，以得到第二特征图；采用第三特征提取方式提取所述第二特征图的第二全局特征以得到第二全局特征图，并对所述第二全局特征图进行下采样处理，以得到第二下采样特征图；对所述第二下采样特征图采用与其尺寸相同的第三待检测图像进行引导滤波，以得到第三特征图。2.如权利要求1所述的方法，其特征在于，所述解码方法包括：采用第一解码方式对所述第二特征图和所述第三特征图进行处理，以得到第一上采样特征图；对所述第一上采样特征图采用所述第二特征图进行引导滤波，以得到第五特征图；采用第二解码方式对所述第一特征图和所述第五特征图进行处理，以得到第二上采样特征图；对所述第二上采样特征图采用所述第一特征图进行引导滤波，以得到第四特征图。3.如权利要求2所述的方法，其特征在于，所述第一解码方式和所述第二解码方式均包括双线性插值方法。4.如权利要求1所述的方法，其特征在于，所述预设条件包括：所述第一待检测图像的宽和高均为256像素的整数倍；以及，若像素值用8位表示时，取值在0-255之间；若像素值用16位表示时，取值在0-255*255之间；所述第一待检测图像的像素值被转换为在区间[0,1]之间。5.如权利要求1所述的方法，其特征在于，所述第二特征提取方式包括对所述第一全局特征图下采样1/2，所述第三特征提取方式包括对所述第二全局特征图下采样1/2，所述第二待检测图像的尺寸为所述第一待检测图像的1/2，所述第三待检测图像的尺寸为所述第一待检测图像的1/4。6.如权利要求1所述的方法，其特征在于，对所述第四特征图进行处理，以输出检测出遮挡区域的图像，包括：对第四特征图进行逻辑回归处理，以输出检测出遮挡区域的图像。7.一种基于单张图像的遮挡区域检测设备，其特征在于，包括：编码装置、解码装置、检测结果输出装置和处理器；
所述编码装置用于对所述第一待检测图像进行编码处理，以得到不同尺寸至少的第一特征图、第二特征图和第三特征图；所述解码装置用于对所述第一特征图、所述第二特征图和所述第三特征图进行解码处理，以得到与所述第一待检测图像尺寸相同的第四特征图；检测结果输出装置用于所述第四特征图进行处理，以输出检测出遮挡区域的图像；所述处理器用于执行如权利要求1-6任一项所述的基于单目的遮挡区域检测方法。8.如权利要求7所述的设备，其特征在于，所述解码装置包括第一编码模块和第二编码模块，所述第一编码模块和所述第二编码模块均采用双线性插值方法实现。9.如权利要求7所述的设备，其特征在于，所述编码装置包括第一特征提取模块、第二特征提取模块和第三处理模块，所述第一特征提取模块包括三层卷积，所述第二特征提取模块和所述第三特征提取模块均包括八个残差模块，每个所述残差模块包括两个卷积层，最后一个所述残差模块的最后一个卷积层的步长为2。10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-6任一项所述的基于单目的遮挡区域检测方法。

技术总结
本发明提供一种基于单目的遮挡区域检测方法及设备，包括获取一张第一待检测图像;采用编码方法对满足预设条件的第一待检测图像进行编码处理，以得到不同尺寸的至少第一特征图、第二特征图和第三特征图；采用解码方法对第一特征图、所述第二特征图和第三特征图进行解码处理，以得到与第一待检测图像尺寸相同的第四特征图；对第四特征图进行处理，以输出检测出遮挡区域的图像。该方法在编码阶段对第一待检测图像进行了连续下采样处理得到了不同尺度的多个特征图，在不同尺度的特征图上分别使用对应尺度的待检测图像进行引导滤波，让检测到的遮挡区域的边缘部分更加清晰，可根据单张图像准确判断出遮挡区域，能够精确定位遮挡区域的位置和大小。区域的位置和大小。区域的位置和大小。


技术研发人员：钱刃 杨文帮 李建华 丘文峰 赵剑川 赵勇 王新安
受保护的技术使用者：北京大学深圳研究生院
技术研发日：2023.04.11
技术公布日：2023/8/14