一种用于自动驾驶的图像去马赛克方法与流程

1.本发明涉及自动驾驶的技术领域，尤其涉及一种用于自动驾驶的图像去马赛克方法。


背景技术：

2.车辆自动驾驶系统需要通过图像传感器获取车辆周围的图像信息，以便进行路况判断、障碍物检测、车道线识别等任务。通常的图像传感器都覆盖有彩色滤波阵列(color filter array)，每个像素点只采集一部分光谱信息，如红色r、绿色g、蓝色b光分量，去马赛克算法通过补足每个像素点缺失的颜色信息重建完整的彩色图像，由于需要基于各个像素点的单一颜色进行插值还原缺失的颜色分量，重建误差不可避免，常见的会带来如拉链效应、伪彩色、混叠等伪像。在自动驾驶系统中，这些伪像可能会导致障碍物检测、车道线识别等任务的误判，因此提高去马赛克算法的准确性和可靠性尤为重要。


技术实现要素：

3.本发明提供了一种用于自动驾驶的图像去马赛克方法，解决了现有算法重建误差不可避免，常见的会带来如拉链效应、伪彩色、混叠等伪像技术问题。
4.本发明可通过以下技术方案实现：
5.一种用于自动驾驶的图像去马赛克方法，利用去马赛克插值方法生成初始全彩色图像rgb，计算色差图像
△
gb和
△
gr，记为色差图像δ，再检测色差图像中的色差异常点并进行修正，然后对修正后的色差图像进行自适应滤波，记滤波后的色差图像为最后对滤波后的色差图像进行颜色值修正，以得到最终全彩色图像。
6.进一步，色差异常点检测
7.计算各个色差图像中当前彩色点沿水平、垂直、45度和135度斜边方向的梯度值gradis，is＝h、v、45和135，以及当前彩色点色差值沿水平、垂直、45度和135度斜边方向与相邻彩色点色差值之间的差值diffis，is＝h、v、45和135，记沿水平、垂直、45度和135度斜边方向的梯度阈值分别为th1is，is＝h、v、45和135，色差差值阈值分别为th2is，is＝h、v、45和135，亮度阈值分别为th3is，is＝h、v、45和135，
8.若任一方向的gradis》th1is、diffis》th2is、亮度最大值lumamax》th3is三个条件同时满足，则对应的当前像素点为色差异常点；
9.色差异常点修正
10.选择满足异常点检测条件的所有方向中梯度最大的方向修正，修正方法是沿方向取中值：
11.△′
＝mediam{
△
i-n
,
…△i,
…△
i+n
}
12.其中，
△i表示异常点的色差，
△
i-n
～
△
i+n
表示沿方向的相邻色差，n取1或2。
13.进一步，以初始全彩色图像为指导对色差图像滤波，滤除伪彩色的同时保持较好的边缘清晰度，滤波公式为：
[0014][0015]
其中，δ
i,j
表示局部5x5或7x7窗口中像素点(i,j)的色差值，
[0016]
表示基于各向异性高斯径向基函数建立滤波核函数，d
i,j
＝[x
i-x,y
i-y]
t
表示像素点(i,j)到当前像素点的距离，
[0017]
表示核协方差矩阵，通过局部的梯度结构张量得到，i
x
和iy表示局部的水平方向和垂直方向的梯度值，可以得到特征向量v1表示局部边缘方向，与之关联的较大的特征值λ1是边缘强度，特征向量v2表示与局部边缘正交的方向，与之关联的是较小的特征值λ2。
[0018]
进一步，用滤波后的色差图像作为优化后的色差图像，重新利用去马赛克插值方法生成新的rgb插值，获得最终全彩色图像。
[0019]
进一步，计算色差修正值：基于色差修正值对颜色插值进行修正，保持原有的raw输入值不变，只对其他颜色的插值结果进行修正，
[0020]
在g像素位置，修正后的r和b通道值为：
[0021][0022][0023]
在r像素位置，修正后的g和b通道值为：
[0024][0025][0026]
在b像素位置，修正后的g和r通道值为：
[0027][0028][0029]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行实现如上文所述的方法。
[0030]
本发明有益的技术效果在于：
[0031]
1)通过对边缘区域异常色差的修正，可以很好的抑制边缘伪彩色。
[0032]
2)通过以彩色图像为指导对色差图像的分区域滤波，可以减少高噪声输入图像的彩色噪声的产生。
[0033]
3)通过以彩色图像为指导对色差图像沿方向滤波，可以减少边缘彩色噪声、提高边缘的清晰度。
[0034]
4)本发明在去马赛克图像结果的基础上对伪彩色进行修正，增加少量的处理步骤可获得较好的图像效果。
附图说明
[0035]
图1为本发明的总体流程示意图。
[0036]
图2为本发明的基于修正值更新去马赛克输出的过程示意图。
[0037]
图3为本发明的颜色值的直接修正的过程示意图。
具体实施方式
[0038]
下面结合附图及较佳实施例详细说明本发明的具体实施方式。
[0039]
如图1所示，本发明提供了一种用于自动驾驶的图像去马赛克方法，利用去马赛克插值方法生成初始全彩色图像rgb，计算色差图像
△
gb和
△
gr，再检测色差图像中的色差异常点并进行修正，然后对修正后的色差图像进行自适应滤波，最后对滤波后的色差图像进行颜色值修正，以得到最终全彩色图像。这样，通过现有技术中的去马赛克插值方法生成的各个颜色通道的全彩色图像再计算色差图像，然后对色差图像进行修正后得到修正值，将修正值作用于插值结果，可以有效去除去马赛克插值带来的边缘伪彩，而通过全彩色图像指导色差图像滤波，自适应地改变滤波的方向和强度，可以改善插值带来的彩色噪声和边缘模糊。
[0040]
具体如下：
[0041]
步骤1：去马赛克插值方法生成全彩色图像
[0042]
在现有的图像去马赛克算法中，通常先对像素数量最多的g通道进行插值，再利用g图像较好的图像分辨率信息插值r、b图像。为了充分利用各个颜色通道信息并减少插值带来的边缘锯齿，本发明采用色差加权和线性插值相结合的方法计算g通道值：
[0043][0044]
其中，α为加权因子，根据边缘强度确定，边缘越强，α值越小。
[0045][0046]
其中，c为r或b像素值，计算当前像素点周围各个像素点之间的色差δgc，并加权估计当前像素点色差，权重w
i,j
与邻近像素点到当前像素点的梯度成反比。
[0047][0048]
r和b通道插值根据如下公式计算：
[0049][0050][0051]
其中，w
i,j
根据像素点(i,j)到当前像素点的梯度计算权重，像素点(i,j)是指以当前点为中心的一定范围的窗口中的点集。
[0052]
步骤2：色差图像修正
[0053]
步骤2.1：计算色差图像
[0054]
这里使用的色差图像包括g-b色差图像
△
gb和g-r色差图
△
gr，即为色差图像
△
，
它们均是通过去马赛克插值后得到的全彩色图像对应的全尺寸图像的g通道图像和r、b通道图像对应像素值相减，即
[0055]
δgb＝g-b
[0056]
δgr＝g-r
[0057]
步骤2.2：色差图像异常点检测和修正
[0058]
去马赛克插值后会出现伪彩色的区域通常是亮暗变化剧烈的边缘。由于r、g、b颜色在边缘处变化速率不一致，导致某一个颜色值大于其他颜色通道值，显示为异常的彩色点，其在色差图像上有着与周围色差较大的差异，因此通过识别这些异常点并用周围色差进行修正，能够达到去除异常彩色点的作用。
[0059]
1)色差异常点检测
[0060]
计算各个色差图像中当前彩色点沿水平、垂直、45度和135度斜边方向的梯度值gradis，is＝h、v、45和135，以及当前彩色点色差值沿水平、垂直、45度和135度斜边方向与相邻彩色点色差值之间的差值diffis，is＝h、v、45和135，梯度可以在去马赛克插值后的全彩色图像上也可以在原始bayer图像上进行计算，为当前像素点与沿各个方向的相邻像素点的一阶或二阶导数。通常色差异常点出现在梯度值较大的方向上，并且其色差与沿方向上的其他像素点的差异都较大。
[0061]
记沿水平、垂直、45度和135度斜边方向的梯度阈值分别为th1is，is＝h、v、45和135，色差差值阈值分别为th2is，is＝h、v、45和135，亮度阈值分别为th3is，is＝h、v、45和135，
[0062]
在各个方向即以上四个方向上判断是否同时满足条件，其条件设置为gradis》th1is、diffis》th2is、亮度最大值lumamax》th3is，任一方向满足条件，则对应的当前像素点为色差异常点；
[0063]
2)色差异常点修正
[0064]
如果判断为异常点，则沿检测到异常点的方向对色差进行修正，当有多个方向的判断都满足条件时，选择满足异常点检测条件的所有方向中梯度最大的方向修正，也可以沿各个满足条件的方向修正后对结果进行平均，修正方法是沿方向取中值：
[0065]
△′
＝mediam{
△
i-n
,
…△i,
…△
i+n
}
[0066]
其中，
△i表示异常点的色差，
△
i-n
～
△
i+n
表示沿方向的相邻色差，n取1或2，如果下标n取1，就是3个点，以当前点为中心的i-1～i+1，如果n取2就是i-2～i+2，是5个点。。
[0067]
步骤2.3：色差图像滤波
[0068]
当输入图像噪声较大时，颜色插值会将噪声引入其他通道，在图像上表现为伪彩色斑点或斑块。基于步骤2.2修正的色差图像，以初始全彩色图像为指导对色差图像滤波，滤除伪彩色的同时保持较好的边缘清晰度，滤波公式为：
[0069][0070]
其中，δ
i,j
表示局部5x5或7x7窗口中像素点(i,j)的色差值，为了去除低频的彩色斑块，可以采用更大的滤波窗口，表示基于各向异性高斯径向基函数建立滤波核函数，d
i,j
＝[x
i-x,y
i-y]
t
表示像素点(i,j)到当前像素点的距离，
表示核协方差矩阵，通过局部的梯度结构张量得到，i
x
和iy表示局部的水平方向和垂直方向的梯度值，可以得到特征向量v1表示局部边缘方向，与之关联的较大的特征值λ1是边缘强度，特征向量v2表示与局部边缘正交的方向，与之关联的是较小的特征值λ2。
[0071]
步骤3：颜色值修正
[0072]
根据步骤2.3滤波之后的色差图像有两种方法对颜色进行修正，一种方法是用颜色修正后的色差值作为优化后的色差，回到步骤1重新计算新的rgb插值，过程如图2，获得最终全彩色图像。
[0073]
另一种方法如图3，根据色差图像计算色差修正值：基于色差修正值对颜色插值进行修正，保持原有的raw输入值不变，只对其他颜色的插值结果进行修正，
[0074]
在g像素位置，修正后的r和b通道值为：
[0075][0076][0077]
在r像素位置，修正后的g和b通道值为：
[0078][0079][0080]
在b像素位置，修正后的g和r通道值为：
[0081][0082][0083]
根据本发明的一个实施例，还提供了一种计算机可读存储介质。
[0084]
该计算机可读存储介质上存储有图像去马赛克程序，所述图像去马赛克程序被处理器执行时实现如上文所述任意一个实施例所述的图像去马赛克方法中的步骤。
[0085]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0086]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0087]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执
行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0088]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0089]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0090]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

技术特征：
1.一种用于自动驾驶的图像去马赛克方法，其特征在于：利用去马赛克插值方法生成初始全彩色图像rgb，计算色差图像
△
gb和
△
gr，记为色差图像δ，再检测色差图像中的色差异常点并进行修正，然后对修正后的色差图像进行自适应滤波，记滤波后的色差图像为最后对滤波后的色差图像进行颜色值修正，以得到最终全彩色图像。2.根据权利要求1所述的用于自动驾驶的图像去马赛克方法，其特征在于：色差异常点检测计算各个色差图像中当前彩色点沿水平、垂直、45度和135度斜边方向的梯度值gradis，is＝h、v、45和135，以及当前彩色点色差值沿水平、垂直、45度和135度斜边方向与相邻彩色点色差值之间的差值diffis，is＝h、v、45和135，记沿水平、垂直、45度和135度斜边方向的梯度阈值分别为th1is，is＝h、v、45和135，色差差值阈值分别为th2is，is＝h、v、45和135，亮度阈值分别为th3is，is＝h、v、45和135，若任一方向的gradis>th1is、diffis>th2is、亮度最大值lumamax>th3is三个条件同时满足，则对应的当前像素点为色差异常点；色差异常点修正选择满足异常点检测条件的所有方向中梯度最大的方向修正，修正方法是沿方向取中值：
△′
＝mediam{
△
i-n
,
…△
i
,
…△
i+n
}其中，
△
i
表示异常点的色差，
△
i-n
～
△
i+n
表示沿方向的相邻色差，n取1或2。3.根据权利要求2所述的用于自动驾驶的图像去马赛克方法，其特征在于：以初始全彩色图像为指导对色差图像滤波，滤除伪彩色的同时保持较好的边缘清晰度，滤波公式为：其中，δ
i,j
表示局部5x5或7x7窗口中像素点(i,j)的色差值，表示基于各向异性高斯径向基函数建立滤波核函数，d
i,j
＝[x
i-x,y
i-y]
t
表示像素点(i,j)到当前像素点的距离，表示核协方差矩阵，通过局部的梯度结构张量得到，i
x
和i
y
表示局部的水平方向和垂直方向的梯度值，可以得到特征向量v1表示局部边缘方向，与之关联的较大的特征值λ1是边缘强度，特征向量v2表示与局部边缘正交的方向，与之关联的是较小的特征值λ2。4.根据权利要求1所述的用于自动驾驶的图像去马赛克方法，其特征在于：用滤波后的色差图像作为优化后的色差图像，重新利用去马赛克插值方法生成新的rgb插值，获得最终全彩色图像。5.根据权利要求1所述的用于自动驾驶的图像去马赛克方法，其特征在于：计算色差修正值：基于色差修正值对颜色插值进行修正，保持原有的raw输入值不变，只对
其他颜色的插值结果进行修正，在g像素位置，修正后的r和b通道值为：在g像素位置，修正后的r和b通道值为：在r像素位置，修正后的g和b通道值为：在r像素位置，修正后的g和b通道值为：在b像素位置，修正后的g和r通道值为：在b像素位置，修正后的g和r通道值为：6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行实现如权利要求1-5任一项所述的方法。

技术总结
本发明涉及自动驾驶的技术领域，公开了一种用于自动驾驶的图像去马赛克方法，其特征在于：利用去马赛克插值方法生成初始全彩色图像RGB，计算色差图像


技术研发人员：林啸 王宏伟 张浩 李阳 岳大胜
受保护的技术使用者：北京辉羲智能科技有限公司
技术研发日：2023.05.22
技术公布日：2023/8/23