伪色抑制方法及装置、终端设备、存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种伪色抑制方法及装置、终端设备、存储介质。


背景技术：

2.随着车载、安防、智能终端的发展，其对图像质量的也要求越来越高。在图像采集时为了节省成本，通常采用彩色过滤片组(color filter array，cfa)采集不同频谱的光用于后续图像彩色信息的恢复。该恢复方法也被简称为cfa方法或去马赛克。cfa方法直接决定了图像质量及色彩的准确性。
3.当前人们对图像的色彩准确程度和细节纹理准确程度的要求越来越高，但不论是传统方法还是人工智能(artificial intelligence，ai)插值，在一些高频信息处，因采样精度的影响，会出现插值错误导致出现纹理和色彩异常的情况。由于人在观察的时候，具有先验知识，因此对色彩上的变化更加敏感。图像中出现异常色彩会大大降低图像质量。虽然在很多架构中，会在后续加些色彩降噪模块，能够在一定程度上使异常色彩得到抑制，但经过色彩校正矩阵(color correction matrix，ccm)，色彩的饱和度会很鲜艳。这个时候再进行伪色去除，误伤正常色彩的概率更大些。


技术实现要素：

4.本技术实施例提供一种伪色抑制方法及装置、终端设备、存储介质，以提升图像质量。
5.一方面，本技术实施例提供一种伪色抑制方法，所述方法包括：
6.对bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的rgb图像；
7.针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果；
8.根据所述检测结果进行伪色修正。
9.可选地，所述对bayer格式图像数据采用至少两种不同插值算法进行插值处理，得到各自对应的rgb图像包括：
10.基于多通道信息相关性对bayer格式图像数据进行插值处理，得到第一rgb图像；
11.利用均值插值算法对bayer格式图像数据进行插值处理，得到第二rgb图像。
12.可选地，所述根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果包括：
13.根据对应不同插值算法得到的rgb图像确定图像差异权重；
14.根据所述图像差异权重确定各像素的伪色概率，得到伪色概率图像。
15.可选地，所述图像差异权重包括以下任意一种或多种：uv差异权重、h差异权重、纹理差异权重。
16.可选地，针对每个像素点，根据对应不同插值算法得到的rgb图像确定uv差异权重和h差异权重包括：
17.获取对应不同插值算法得到的rgb图像的颜色相关数据h、u、v；
18.针对每个像素点，根据所述颜色相关数据h、u、v进行色彩差异计算，得到uv差异权重和h差异权重。
19.可选地，针对每个像素点，根据对应不同插值算法得到的rgb图像确定纹理差异权重包括：
20.针对每个像素点，根据所述像素点与其周围像素点的亮度和/或色度的梯度，根据所述梯度确定所述像素点的纹理差异权重。
21.可选地，所述方法还包括：对bayer格式图像数据进行插值之前，对所述bayer格式图像数据进行基础增益处理。
22.可选地，所述基础增益处理包括以下任意一种或多种：坏点去除处理、白平衡处理。
23.可选地，所述图像差异权重还包括：伪色类型权重；所述方法还包括：
24.根据所述bayer格式图像数据的排列方式，推测确定各像素点的伪色类型权重；和/或
25.根据对所述bayer格式图像数据进行基础增益处理的信息获得当前可能的环境色温，根据所述环境色温确定各像素点的伪色类型权重。
26.可选地，所述根据所述检测结果进行伪色修正，得到修正后的图像包括：
27.根据各像素的伪色概率将所述伪色概率图像分为正常区域和异常区域；
28.对所述正常区域内的各像素，依据所述像素的伪色概率计算得到正常概率；
29.对所述异常区域内的各像素，依据所述像素的伪色概率计算得到异常概率，根据所述异常概率确定所述像素的修正权重；
30.根据所述修正权重和所述正常区域内的各像素的正常概率进行伪色修正，得到修正后的图像。
31.可选地，所述根据所述修正权重和所述正常区域内的各像素的正常概率进行伪色修正包括：
32.根据所述正常概率确定所述像素的正常色彩参考信息；
33.根据所述像素的色彩信息、所述像素的正常色彩参考信息、以及所述修正权重，确定所述像素修正后的色彩信息。
34.可选地，所述根据所述正常概率确定所述像素的正常色彩参考信息包括：以所述像素为中心，在其周围一定半径范围内寻找所述正常概率大于等于设定值的像素，将所述像素的色彩数据中值作为所述像素的正常色彩参考信息。
35.可选地，所述根据所述正常概率确定所述像素的正常色彩参考信息还包括：
36.在所述像素周围一定范围内的所有像素的正常概率均小于所述设定值时，将所述一定范围内的所有像素的色彩数据的中值作为所述像素的正常色彩参考信息；
37.所述根据所述像素的色彩信息、所述像素的正常色彩参考信息、以及所述修正权重，确定所述像素修正后的色彩信息包括：
38.根据所述像素的灰度数据、所述像素的正常色彩参考信息、以及所述修正权重，确
定所述像素修正后的色彩信息。
39.另一方面，本技术实施例还提供一种伪色抑制装置，所述装置包括：
40.插值模块，用于对bayer格式图像数据采用至少两种不同插值算法进行插值处理，得到各自对应的rgb图像；
41.伪色检测模块，用于针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果；
42.伪色修正模块，用于根据所述检测结果进行伪色修正，得到修正后的图像。
43.可选地，所述装置还包括：
44.预处理模块，用于对所述bayer格式图像数据进行基础增益处理；
45.所述插值模块对进行基础增益处理后的bayer格式图像数据进行插值。
46.可选地，所述装置还包括：伪色辅助模块，用于根据所述bayer格式图像数据的排列方式，推测确定各像素点的伪色类型权重；和/或根据对所述bayer格式图像数据进行基础增益处理的信息获得当前可能的环境色温，根据所述环境色温确定各像素点的伪色类型权重。
47.可选地，所述伪色修正模块包括：
48.区域划分单元，用于根据各像素的伪色概率将所述伪色概率图像分为正常区域和异常区域；
49.第一计算单元，用于对所述正常区域内的各像素，依据所述像素的伪色概率计算得到正常概率；
50.第二计算单元，用于对所述异常区域内的各像素，依据所述像素的伪色概率计算得到异常概率，根据所述异常概率确定所述像素的修正权重；
51.修正单元，用于根据所述修正权重和所述正常区域内的各像素的正常概率进行伪色修正，得到修正后的图像。
52.另一方面，本技术实施例还提供一种终端设备，所述终端设备包括上面所述的伪色抑制装置。
53.另一方面，本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上面所述方法的步骤。
54.另一方面，本技术实施例还提供一种终端设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上面所述方法的步骤。
55.本技术实施例提供的伪色抑制方法及装置、终端设备、存储介质，对bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的rgb图像；针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，根据检测结果进行伪色修正。本技术实施例提供的方案可有效抑制伪色、摩尔纹等、减弱该类异常信息对图像数据的干扰，使得插值后的图像在色彩上更加准确，提升了图像质量。
56.进一步地，通过对bayer数据进行坏点去除、白平衡等基础增益处理，可以提高输入的bayer格式图像数据的质量，提高伪色检测结果的准确性。
57.进一步地，在进行伪色检测时，根据对应不同插值算法得到的rgb图像确定图像差异权重，图像差异权重可以有多种导向的差异权重，比如，uv差异权重、h差异权重、纹理差
异权重，利用多种导向的差异权重可以确定各像素的伪色概率时更灵活、准确。
58.进一步地，还可根据所述bayer格式图像数据的排列方式，推测确定各像素点的伪色类型权重；和/或根据对所述bayer格式图像数据进行基础增益处理的信息获得当前可能的环境色温，根据所述环境色温确定各像素点的伪色类型权重，从而可以使得伪色检测结果更准确。
附图说明
59.图1是本技术实施例提供的伪色抑制方法的一种流程图；
60.图2是本技术实施例提供的伪色抑制方法的另一种流程图；
61.图3是本技术实施例提供的伪色抑制装置的一种结构示意图；
62.图4是本技术实施例提供的伪色抑制装置的另一种结构示意图；
63.图5是本技术实施例中伪色检测模块进行伪色概率计算的过程示意图；
64.图6是本技术实施例中伪色修正模块的一种结构示意图；
65.图7是本技术实施例中伪色修正模块进行伪色修正的过程示意图；
66.图8是本技术实施例提供的终端设备的一种硬件结构示意图。
具体实施方式
67.为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
68.针对通过插值方法得到的图像在插值高频处产生的伪色问题，本技术实施例提供一种伪色抑制方法及装置，对bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的rgb图像；针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，根据检测结果进行伪色修正，最终得到高质量的图像。
69.如图1所示，是本技术实施例提供的伪色抑制方法，该方法包括以下步骤：
70.步骤101，对bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的rgb图像。
71.bayer格式图像是相机内部的原始图像，其是在一块滤镜上设置不同的颜色，bayer色彩滤波阵列，由一半的g，1/4的r，1/4的b组成，一般bayer格式的图像绿色格式的像素是r和g像素的和。
72.通常，为了得到较好的图像质量和较准确的色彩，需要对bayer格式图像数据进行插值处理，但经过插值处理的图像在高频信息处有时会出现摩尔纹等伪色问题，而为了消除伪色，首先需要能够准确地检测出图像中的伪色。为此，在本技术实施例中，针对bayer格式图像数据分别采用两种不同插值算法进行插值处理，进而利用这两种不同方式插值得到的rgb图像进行伪色检测。
73.在具体应用中，可以选用现有技术中任意两种不同的插值算法，比如可以采用以下两种插值方式：
74.(1)基于多通道信息相关性对bayer格式图像数据进行插值处理，得到第一rgb图像。所述通道信息相关性包括但不限于色差、梯度、数值、方向等，一种具体插值过程简要介绍如下：
75.首先，进行多通道相关性的色差计算：
76.选择当前通道ch1像素的邻域n
×
n块内待插值的ch1通道数据对非ch1通道的像素位置进行预插值，获得该邻域内所有ch2通道的数据。依据邻域内ch2通道像素将ch2通道数据预插出来。
77.计算当前像素邻域内n
×
n中通道ch1和通道ch2的色差。由于当前像素为ch1通道，待插值为ch2通道，邻域内计算的色差公式为cd＝v1-v2；计算邻域内以当前像素为中心的m个(m≥4)不同方向的单位色差，单位色差cd＝mean(cdm)；同时计算该方向的色差梯度数值，色差梯度公式为cd_d＝cd1-cd2；
78.其次，进行基于主方向的色差融合：
79.统计m个方向上的色差梯度数据绝对值之和的倒数作为该方向上的权重数值w。由于目前插值方向有m个，因此需要筛选出主要的插值方向。此处对插值方向做自适应选择，具体操作如下：
80.threshold＝(max(wm)+min(wm))/2；
81.wm＝wm-threshold。
82.经过上述操作后挑选出插值的主方向，有利于提高密集区域的插值准确程度。
83.依据m个方向上的权重wm和当前方向上的单位色差进行融合计算，获得总色差数值cd，cd＝sum(wm
×
cdm)/(sum(wm))。
84.此时当前像素的ch2通道插值数据v2可依据色差和ch1通道数据v1进行计算，公式如下：v2＝v1
–
cd。
85.(2)利用均值插值算法对bayer格式图像数据进行插值处理，得到第二rgb图像。
86.当然，本技术实施例中并不仅限于上述两种插值方式，还可以采用其它插值方式，对此不做限定。
87.步骤102，针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果。
88.具体地，可以根据对应不同插值算法得到的rgb图像确定图像差异权重，然后根据所述图像差异权重确定各像素的伪色概率，得到伪色概率图像。
89.在一种非限制性实施例中，所述图像差异权重可以包括但不限于以下任意一种或多种：uv差异权重、h差异权重、纹理差异权重。
90.下面分别对这几种差异权重的计算过程进行详细说明。
91.由于rgb颜色空间适合于显示系统，但却并不适合于图像处理，因此，对于uv差异权重和h差异权重，可以获取对应不同插值算法得到的rgb图像的颜色相关数据h、u、v；然后，针对每个像素点，根据所述颜色相关数据h、u、v进行色彩差异计算，得到uv差异权重和h差异权重。
92.具体地，对于第一rgb图像和第二rgb图像进行色域转换，得到相应的yuv(也称ycbcr)和hsv数据。
93.yuv中的y表示明亮度，uv的作用是描述影像色彩及饱和度。
94.hsv中的h(hue)表示色调，s(saturation)表示饱和度，v(value)表示明亮度。
95.在本技术实施例中，可以根据两种不同插值方式得到的rgb图像获取对应的uv数据和h数据，然后针对每个像素点，分别计算两种插值方式的色彩差异，即uv差异和/或h差
异，根据计算得到的色彩差异确定相应的差异权重。色彩差异程度越大，说明该像素点是伪色的概率越大，则相应色彩差异导向的权重越大。
96.假设当前像素插值方式(1)获得的颜色数据的uv为u
ij
、v
ij
，插值方式2获得的颜色数据的uv为u
i,j
、v
i,j
，则uv差异计算公式如下：
97.uv
diff
＝max(abs(u
i,j-u
i,j
),abs(v
i,j-v
i,j
))；
98.假设当前像素的插值方式1获得的颜色数据的h为h
i,j
，插值方式2获得的颜色数据的h为h
i,j
，则h差异计算公式如下：
[0099][0100]
根据上面计算得到的uv差异，确定uv差异权重。
[0101]
根据计算得到的uv差异uv
diff
，确定uv差异权重alphauv；根据计算得到的h差异h
diff
，确定h差异权重alphah。
[0102]
由于伪色在纹理差异较大的区域更加明显，为此，还可以计算当前像素点的纹理差异参数，用来进一步指导伪色的检测。纹理差异参数计算包括但不限于使用亮度/色度上的梯度等。具体地，针对每个像素点，根据所述像素点与其周围像素点的亮度和/或色度的梯度，根据所述梯度确定所述像素点的纹理差异权重alphastd。
[0103]
在本技术实施例中，可以根据上述任意两项或多项差异权重计算各像素的伪色概率(比如将差异权重相乘、求平均值等)，基于各像素的伪色概率即可得到伪色概率图像。
[0104]
步骤103，根据所述检测结果进行伪色修正，得到修正后的图像。
[0105]
在进行伪色修正时，可以根据相应的阈值将伪色概率图像分为正常区域和异常区域。所述阈值可为软阈值或者为硬阈值，具体不做限定。所述软阈值是指根据所述伪色概率图像中的伪色概率来确定所述阈值；所述硬阈值是指预先设定所述阈值。
[0106]
例如：原伪色概率分布范围为[0，100]，根据硬阈值20，将[0，20]分为正常区域，[21-100]分为异常区域。
[0107]
对于正常区域内的各像素，依据其伪色概率进行正常概率计算，得到正常概率。
[0108]
对于伪色概率在[0，20]范围内被划分到正常区域的各像素，需要确定各像素的正常概率。一般伪色概率越大，其正常概率越小。因此可以设定正常概率的值在[100，0]范围内，即将伪色概率[0，20]映射到正常概率[100，0]。
[0109]
比如，在一种非限制性实施例中，可以按照以下公式进行映射：
[0110]
p1＝100-p0×
5；
[0111]
其中，p0表示像素的伪色概率，p1表示该像素的正常概率。
[0112]
类似地，对于异常区域内的各像素，依据其伪色概率进行异常概率计算，获得异常概率。
[0113]
对于伪色概率在[21，100]范围内被切题分到异常区域的各像素，需要确定各像素的异常概率。一般伪色概率越大，其异常概率也越大，因此可以设定异常概率的值在[0，100]范围内，即将伪色概率[21，100]映射到异常概率[0，100]。
[0114]
比如，在一种非限制性实施例中，可以按照以下公式进行映射：
[0115]
p2＝(p
0-21)
×
100/(100-21)；
[0116]
另外，对于异常区域内的各像素，依据计算得到的该像素的异常概率确定该像素的修正权重alpha，所述修正权重alpha用于融合当前像素和可参考的正常像素的uv信息以
抑制当前像素的伪色程度。
[0117]
原则上，异常概率越大，该像素的修正权重alpha越大，异常概率与修正权重alpha的对应关系包括但不限于一次线性、两次或分段线性正比的关系。权重范围为[0-1]。
[0118]
对于异常区域内的各像素，可以根据该像素自身的色彩信息、该像素的正常色彩参考信息、以及该像素的修正权重确定该像素修正后的色彩信息。
[0119]
需要说明的是，所述正常色彩参考信息主要是指uv数据。
[0120]
对于异常区域内的各像素，按照上述方式确定所述像素的正常色彩参考信息后，使用上面计算得到的所述像素的修正权重alpha，并融合所述像素的uv数据(即伪色修正前的uv数据)和对应该像素的正常色彩参考信息，对该像素进行伪色修正。
[0121]
假如可参考的正常色彩uv数据为uf
i,j
,vf
i,j
，当前像素的uv为u
i,jvi,j
，一种融合公式如下：
[0122]ui,j
′
＝u
i,j
×
(1-alpha)+uf
i,j
×
alpha
[0123]vi,j
′
＝v
i,j
×
(1-alpha)+vf
i,j
×
alpha
[0124]
其中，u
i,j
′vi,j
′
为当前像素修正后的uv数据。
[0125]
所述正常色彩参考信息可以按照以下方式确定：以当前像素为中心，向其周围半径r的范围内寻找正常概率较大(比如所述正常概率大于等于设定值)的像素，将这些像素的色彩数据的中值作为当前像素的正常色彩参考信息。
[0126]
若当前像素周围的像素的正常概率均不满足需求，即在其周围半径r的范围内的像素的正常概率均小于所述设定值时，则可使用当前像素周围半径r内的色彩数据的中值和当前像素的灰度数据进行融合，对当前像素进行伪色修正。
[0127]
比如，以v通道为例，假设当前像素为8bit数据，其灰度数据为128，该当前像素周围半径r的范围内的像素的正常概率均小于所述设定值，其周围半径r内的所有像素的色彩数据的中值为medv，按照以下公式将该中值和所述灰度数据进行融合，对当前像素进行伪色修正：
[0128]
corv＝alpha
′×
medv+(1-alpha
′
)
×
128；
[0129]
其中，alpha
′
为当前像素周期半径r内的所有像素的修正权重的均值。
[0130]
当然，在实际应用中，并不仅限于上述融合计算公式，还可以有其它融合方式，比如将上面公式中的alpha
′
替换为当前像素的修正权重alpha，或者将上面公式中第二项中的alpha
′
替换为当前像素的修正权重alpha等等，对此本发明实施例不做限定。
[0131]
最后，将修正后的yuv数据进行色彩空间转换到rgb，并输出图像。
[0132]
在本技术另一种非限制性实施例中，为了保证bayer格式图像数据的质量，在另一种非限制性实施例中，还可在上述步骤101之前，对bayer格式图像数据进行基础增益处理，比如进行坏点去除、白平衡等处理。
[0133]
本技术实施例提供的伪色抑制方法，对bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的rgb图像；针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，根据检测结果进行伪色修正。本技术实施例提供的方案可有效抑制伪色、摩尔纹等、减弱该类异常信息对图像数据的干扰，使得插值后的图像在色彩上更加准确，提升了图像质量。进一步地，通过对bayer数据进行坏点去除、白平衡等基础增益处理，可以提高输入的bayer格式图像数据的质量，提高伪色检测结果的准确性。
[0134]
如图2所示，是本技术实施例提供的伪色抑制方法的另一种流程图，包括以下步骤：
[0135]
步骤201，对bayer格式图像数据进行基础增益处理。
[0136]
步骤202，对处理后的bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的rgb图像。
[0137]
步骤203，针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，确定各像素点的色彩差异权重和纹理差异权重alphastd。
[0138]
所述色彩差异权重可以包括uv差异权重alphauv和/或h差异权重alphah。
[0139]
步骤204，确定各像素点的伪色类型权重。
[0140]
在具体应用中，可以采用多种方式确定各像素点的伪色类型权重。
[0141]
比如，在一种非限制性实施例中，可以根据所述bayer格式图像数据的排列方式，推测确定各像素点的伪色类型权重；
[0142]
再比如，在另一种非限制性实施例中，可以根据对所述bayer格式图像数据进行基础增益处理的信息获得当前可能的环境色温，根据所述环境色温确定各像素点的伪色类型权重。
[0143]
再比如，在另一种非限制性实施例中，还可以综合上面这两种方式得到的伪色类型，比如进行加权平均等，确定各像素点的伪色类型权重。
[0144]
需要说明的是，上述步骤203和步骤204并没有时间上的先后顺序关系，可以是同步进行。
[0145]
步骤205，根据各像素点的色彩差异权重、纹理差异权重alphastd、伪色类型权重中的任意两项或多项，计算所述像素点的伪色概率，得到伪色概率图像。
[0146]
比如，按照以下公式计算各像素点的伪色概率：
[0147]
alphafc＝alphauv
×
alphah
×
alphastd
×
alphafctype
[0148]
步骤206，根据所述伪色概率确定正常区域和异常区域。
[0149]
步骤207，对所述异常区域的各像素进行伪色修正，得到修正后的图像。
[0150]
对所述异常区域的各像素进行伪色修正的具体过程可参照前面图1所示实施例中的描述，在此不再赘述。
[0151]
该实施例的伪色抑制方法，通过对bayer数据进行坏点去除、白平衡等基础增益处理，可以提高输入的bayer格式图像数据的质量，提高伪色检测结果的准确性。而且，还进一步确定各像素点的伪色类型权重，综合多种不同导向的伪色权重，从而可以使得伪色检测结果更准确。在此基础上，可以更好好对伪色进行修正，得到高质量的图像。
[0152]
相应地，本技术实施例还提供一种伪色抑制装置，如图3所示，是该装置的一种结构示意图。
[0153]
该实施例的伪色抑制装置包括以下各模块：
[0154]
插值模块301，用于对bayer格式图像数据采用至少两种不同插值算法进行插值处理，得到各自对应的rgb图像；
[0155]
伪色检测模块302，用于针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果；
[0156]
伪色修正模块303，用于根据所述检测结果进行伪色修正，得到修正后的图像。
[0157]
如图4所示，是该装置的另一种结构示意图。
[0158]
与图3所示实施例的区别在于，在该实施例中，所述装置还包括：预处理模块304，用于对所述bayer格式图像数据进行基础增益处理。
[0159]
相应地，所述插值模块301对进行基础增益处理后的bayer格式图像数据进行插值。
[0160]
进一步地，所述装置还可包括：伪色辅助模块305，用于根据所述bayer格式图像数据的排列方式，推测确定各像素点的伪色类型权重；和/或根据对所述bayer格式图像数据进行基础增益处理的信息获得当前可能的环境色温，根据所述环境色温确定各像素点的伪色类型权重。
[0161]
在该实施例中，所述伪色检测模块302可以根据对应不同插值算法得到的rgb图像确定图像差异权重；根据所述图像差异权重确定各像素的伪色概率，得到伪色概率图像。
[0162]
其中，所述图像差异权重可以包括但不限于以下任意一种或多种：uv差异权重、h差异权重、纹理差异权重、伪色类型权重。
[0163]
图5示出了本技术实施例中所述伪色检测模块302进行伪色概率计算的过程示意图。
[0164]
参照图5，对插值方式1获得的rgb图像和插值方式2获得的rgb图像进行色域转换，将两个图像数据转换为yuv和hsv格式，然后使用两种插值方式获得的颜色相关数据h、u、v进行色彩差异程度计算，得到uv差异权重、h差异权重；另外，利用插值方式1获得的rgb图像和插值方式2获得的rgb图像得到两者的纹理差异权重；另外，还可根据图4中的预处理模块304处理后的bayer格式图像数据，确定各像素点的伪色类型权重，具体确定方式在前面已有详细说明，在此不再赘述。
[0165]
然后，根据上述计算得到的uv差异权重、h差异权重、纹理差异权重、以及伪色类型权重，计算得到伪色概率，比如，在一种非限制性实施例中，可以将这四种不同导向的权重相乘，得到的乘积作为所述伪色概率，进而可以得到伪色概率图像。
[0166]
相应地，图4中的伪色修正模块303可以根据伪色概率图像进行伪色修正，得到修正后的图像。
[0167]
如图6所示，是所述伪色修正模块303的一种结构示意图，该伪色修正模块303包括以下各单元：
[0168]
区域划分单元331，用于根据各像素的伪色概率将所述伪色概率图像分为正常区域和异常区域；
[0169]
第一计算单元332，用于对所述正常区域内的各像素，依据所述像素的伪色概率计算得到正常概率；
[0170]
第二计算单元333，用于对所述异常区域内的各像素，依据所述像素的伪色概率计算得到异常概率，根据所述异常概率确定所述像素的修正权重；
[0171]
修正单元334，用于根据所述像素的修正权重和所述正常区域内的各像素的正常概率进行伪色修正，得到修正后的图像。
[0172]
图7示出了所述伪色修正模块303进行伪色修正的过程，下面结合图6和图7对该修正过程进行详细说明。
[0173]
首先，由区域划分单元331对伪色概率图像进行色彩分区，划分出正常区域和异常
区域；
[0174]
然后，由第一计算单元332对正常区域内的各像素，依据所述像素的伪色概率计算得到正常概率，并由第二计算单元333对异常区域内的各像素，依据所述像素的伪色概率计算得到异常概率，根据所述异常概率确定所述像素的修正权重；
[0175]
然后，对于异常区域内的各像素，由修正单元334根据正常区域内的各像素的正常概率，确定该像素的正常色彩参考信息，根据该正常色彩参考信息、以及该像素的uv数据和修正权重，计算得到该像素修正后的uv数据。
[0176]
在得到异常区域内的各像素的修正后的uv数据后，代替相应像素的原uv数据，然后将相应图像的所有yuv数据进行色彩空间转换到rgb，得到修正后的图像。
[0177]
关于伪色抑制装置的其他相关描述可以参照前述实施例中的相关描述，此处不再赘述。
[0178]
相应地，本技术实施例还提供一种终端设备，该终端设备包括上述伪色抑制装置。
[0179]
在具体实施中，上述装置可以对应于网络设备和/或用户设备中相应功能的芯片，例如soc(system-on-a-chip，片上系统)、基带芯片、芯片模组等。
[0180]
在具体实施中，关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。
[0181]
例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
[0182]
本技术实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图1或图2中所示方法的全部或部分步骤。所述存储介质可以包括只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁盘或光盘等。存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
[0183]
请参照图8，本技术实施例还提供了一种终端设备的硬件结构示意图。该终端设备包括处理器801、存储器802和收发器803。
[0184]
处理器801可以是一个通用中央处理器(central processing unit，cpu)、微处理器、特定应用集成电路(application-specific integrated circuit，asic)，或者一个或多个用于控制本技术方案程序执行的集成电路。处理器801也可以包括多个cpu，并且处理
器801可以是一个单核(single-cpu)处理器，也可以是多核(multi-cpu)处理器。这里的处理器可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。
[0185]
存储器802可以是rom或可存储静态信息和指令的其他类型的静态存储设备、ram或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compactdisc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，本技术实施例对此不作任何限制。存储器802可以是独立存在(此时，存储器802可以位于该装置外，也可以位于该装置内)，也可以和处理器801集成在一起。其中，存储器802中可以包含计算机程序代码。处理器801用于执行存储器802中存储的计算机程序代码，从而实现本技术实施例提供的方法。
[0186]
处理器801、存储器802和收发器803通过总线相连接。收发器803用于与其他设备或通信网络通信。可选的，收发器803可以包括发射机和接收机。收发器803中用于实现接收功能的器件可以视为接收机，接收机用于执行本技术实施例中的接收的步骤。收发器803中用于实现发送功能的器件可以视为发射机，发射机用于执行本技术实施例中的发送的步骤。
[0187]
当图8所示的结构示意图用于示意上述实施例中所涉及的终端设备的结构时，处理器801用于对终端设备的动作进行控制管理，例如，处理器801用于支持终端设备执行图1或图2中的步骤，和/或本技术实施例中所描述的其他过程中的终端设备执行的动作。处理器801可以通过收发器803与其他网络实体通信，例如，与上述网络设备通信。存储器802用于存储终端设备的程序代码和数据。
[0188]
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
[0189]
本发明实施例中出现的“多个”是指两个或两个以上。
[0190]
本发明实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本发明实施例中对设备个数的特别限定，不能构成对本发明实施例的任何限制。
[0191]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0192]
本发明所提供的各实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数
据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0193]
在本发明所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0194]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0195]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理布置，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0196]
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的部分步骤。
[0197]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

技术特征：
1.一种伪色抑制方法，其特征在于，所述方法包括：对bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的rgb图像；针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果；根据所述检测结果进行伪色修正。2.根据权利要求1所述的方法，其特征在于，所述对bayer格式图像数据采用至少两种不同插值算法进行插值处理，得到各自对应的rgb图像包括：基于多通道信息相关性对bayer格式图像数据进行插值处理，得到第一rgb图像；利用均值插值算法对bayer格式图像数据进行插值处理，得到第二rgb图像。3.根据权利要求1所述的方法，其特征在于，所述根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果包括：根据对应不同插值算法得到的rgb图像确定图像差异权重；根据所述图像差异权重确定各像素的伪色概率，得到伪色概率图像。4.根据权利要求3所述的方法，其特征在于，所述图像差异权重包括以下任意一种或多种：uv差异权重、h差异权重、纹理差异权重。5.根据权利要求4所述的方法，其特征在于，针对每个像素点，根据对应不同插值算法得到的rgb图像确定uv差异权重和h差异权重包括：获取对应不同插值算法得到的rgb图像的颜色相关数据h、u、v；针对每个像素点，根据所述颜色相关数据h、u、v进行色彩差异计算，得到uv差异权重和h差异权重。6.根据权利要求4所述的方法，其特征在于，针对每个像素点，根据对应不同插值算法得到的rgb图像确定纹理差异权重包括：针对每个像素点，根据所述像素点与其周围像素点的亮度和/或色度的梯度，根据所述梯度确定所述像素点的纹理差异权重。7.根据权利要求4至6任一项所述的方法，其特征在于，所述方法还包括：对bayer格式图像数据进行插值之前，对所述bayer格式图像数据进行基础增益处理。8.根据权利要求7所述的方法，其特征在于，所述基础增益处理包括以下任意一种或多种：坏点去除处理、白平衡处理。9.根据权利要求8所述的方法，其特征在于，所述图像差异权重还包括：伪色类型权重；所述方法还包括：根据所述bayer格式图像数据的排列方式，推测确定各像素点的伪色类型权重；和/或根据对所述bayer格式图像数据进行基础增益处理的信息获得当前可能的环境色温，根据所述环境色温确定各像素点的伪色类型权重。10.根据权利要求3所述的方法，其特征在于，所述根据所述检测结果进行伪色修正，得到修正后的图像包括：根据各像素的伪色概率将所述伪色概率图像分为正常区域和异常区域；对所述正常区域内的各像素，依据所述像素的伪色概率计算得到正常概率；对所述异常区域内的各像素，依据所述像素的伪色概率计算得到异常概率，根据所述
异常概率确定所述像素的修正权重；根据所述修正权重和所述正常区域内的各像素的正常概率进行伪色修正，得到修正后的图像。11.根据权利要求10所述的方法，其特征在于，所述根据所述修正权重和所述正常区域内的各像素的正常概率进行伪色修正包括：根据所述正常概率确定所述像素的正常色彩参考信息；根据所述像素的色彩信息、所述像素的正常色彩参考信息、以及所述修正权重，确定所述像素修正后的色彩信息。12.根据权利要求11所述的方法，其特征在于，所述根据所述正常概率确定所述像素的正常色彩参考信息包括：以所述像素为中心，在其周围一定半径范围内寻找所述正常概率大于等于设定值的像素，将所述像素的色彩数据中值作为所述像素的正常色彩参考信息。13.根据权利要求12所述的方法，其特征在于，所述根据所述正常概率确定所述像素的正常色彩参考信息还包括：在所述像素周围一定范围内的所有像素的正常概率均小于所述设定值时，将所述一定范围内的所有像素的色彩数据的中值作为所述像素的正常色彩参考信息；所述根据所述像素的色彩信息、所述像素的正常色彩参考信息、以及所述修正权重，确定所述像素修正后的色彩信息包括：根据所述像素的灰度数据、所述像素的正常色彩参考信息、以及所述修正权重，确定所述像素修正后的色彩信息。14.一种伪色抑制装置，其特征在于，所述装置包括：插值模块，用于对bayer格式图像数据采用至少两种不同插值算法进行插值处理，得到各自对应的rgb图像；伪色检测模块，用于针对每个像素点，根据对应不同插值算法得到的rgb图像进行伪色检测，得到检测结果；伪色修正模块，用于根据所述检测结果进行伪色修正，得到修正后的图像。15.根据权利要求14所述的装置，其特征在于，所述装置还包括：预处理模块，用于对所述bayer格式图像数据进行基础增益处理；所述插值模块对进行基础增益处理后的bayer格式图像数据进行插值。16.根据权利要求15所述的装置，其特征在于，所述装置还包括：伪色辅助模块，用于根据所述bayer格式图像数据的排列方式，推测确定各像素点的伪色类型权重；和/或根据对所述bayer格式图像数据进行基础增益处理的信息获得当前可能的环境色温，根据所述环境色温确定各像素点的伪色类型权重。17.根据权利要求14至16任一项所述的装置，其特征在于，所述伪色修正模块包括：区域划分单元，用于根据各像素的伪色概率将所述伪色概率图像分为正常区域和异常区域；第一计算单元，用于对所述正常区域内的各像素，依据所述像素的伪色概率计算得到正常概率；第二计算单元，用于对所述异常区域内的各像素，依据所述像素的伪色概率计算得到
异常概率，根据所述异常概率确定所述像素的修正权重；修正单元，用于根据所述修正权重和所述正常区域内的各像素的正常概率进行伪色修正，得到修正后的图像。18.一种终端设备，其特征在于，所述终端设备包括如权利要求14至17任一项所述的伪色抑制装置。19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至13任一项所述方法的步骤。20.一种终端设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行权利要求1至13任一项所述方法的步骤。

技术总结
本申请公开了一种伪色抑制方法及装置、终端设备、存储介质，该方法包括：对bayer格式图像数据采用至少两种不同插值算法进行插值，得到各自对应的RGB图像；针对每个像素点，根据对应不同插值算法得到的RGB图像进行伪色检测，得到检测结果；根据所述检测结果进行伪色修正，得到修正后的图像。利用本申请方案，可以有效提升图像质量。效提升图像质量。效提升图像质量。


技术研发人员：王秀花 凌晨 赵磊
受保护的技术使用者：展讯通信（上海）有限公司
技术研发日：2023.06.21
技术公布日：2023/9/7