一种基于统计特征和深度感知特征的无参考色调映射图像质量评价方法

pictures,”ieee transactions on image processing,vol.26,no.6,pp.2957-2971,jun.2017(色调映射hdr图像的无参考质量评价))，简称为：higrade。gu等人提出了一种基于信息熵、统计自然性和结构的盲色调映射图像质量方法(k.gu,s.wang,g.zhai,s.ma,x.yang,w.lin,w.zhang,and w.gao,“blind quality assessment of tone-mapped images via analysis of information,naturalness,and structure,”ieee transactions on multimedia,vol.18,no.3,pp.432-443,mar.2016(通过分析信息量、自然度和结构特性的无参考色调映射图像质量评估方法))，简称为：btmqi。fang等人通过分析色调映射图像的视觉特性，提取梯度特征来度量结构变换，并进一步提取颜色特征来捕获色彩的视觉退化，最后通过支持向量回归进行质量评价(y.fang,j.yan,y.zuo,et al.,“blind quality assessment for tone-mapped images by analysis of gradient and chromatic statistics,”ieee transactions on multimedia,vol.23,pp.955-966,2021(基于梯度和色度统计分析的色调映射图像盲质量评价))，简称为:vqgg。
4.综上所述，虽然现存的色调映射图像质量评价方法取得了令人满意的性能，但是仍然存在一定局限性。无参考色调映射图像质量评价方法性能有待进一步提高，在全面考虑感知失真的基础上，如何提出一种可靠的无参考色调映射图像质量评价方法，成为了色调映射图像处理领域具有挑战性的问题。


技术实现要素：

5.本发明所要解决的技术问题是提供一种基于统计特征和深度感知特征的无参考色调映射图像质量评价方法，其无需提供原始图像的任何信息，且能够获得与主观感知质量高度一致的客观评价结果。
6.本发明解决上述技术问题所采用的技术方案为：一种基于统计特征和深度感知特征的无参考色调映射图像质量评价方法，其特征在于包括以下步骤：
7.将待评价的色调映射图像记为m，假定其尺寸为l
×
w，应用一个可变尺寸l
×
w的非线性内核f(s,t)，对相邻像素进行块处理，并找到最高(pixel
max
)和最低(pixel
min
)强度像素之间的差异性来计算其对应的分形维度图。具体来说，非线性内核记作f(s,t)，其中，符号表示向下取整操作，r＝2,3,4,...,j表示缩放因子，用于描述像素的特定结构与其周围环境的自相似程度，变量和均为非负整数，其中符号表示向上取整操作；然后，计算覆盖整幅图像所需的方框数，记作nd(x,y,d),其中，d＝1,2,3,...,j-1表示矩阵nd(x,y,d)的维数；再计算nd(x,y,d)和r的斜率，获得该像素的分形维度，通过计算输入图像m所有像素的分形维度，可以获得其对应的分形维度图，记作mf；最后，对mf进行10bin直方图统计，获得mf的直方图统计特征，同时提取其偏度、峰度、熵、中值、标准差等补充特征。最终，提取10维分形维度特征，记为ff；
8.步骤2：对于给定的色调映射图像m，先使用fej
é
r-korovkin小波对图像进行小波
变换。然后，在水平、垂直和对角线方向的子带系数上，分别提取小波系数归一化后的第一位数字分布特征。最后，将提取的水平、垂直和对角线方向的子带系数第一位数分布特征进行串接，得到小波域的27维特征向量，记为fw。
9.步骤3：对于给定的色调映射图像m，先利用3
×
3的sobel算子计算m对应的梯度图，记作mg。然后，在mg上进行归一化操作并提取第一位数字分布特征。最后，提取mg对应的9维特征向量，记为fg。
10.步骤4：对于给定的色调映射图像m，首先，对rgb图像的每个对数分量进行去均值处理，即ra(x,y)＝log(r(x,y))-ur，ga(x,y)＝log(g(x,y))-ug，ba(x,y)＝log(b(x,y))-ub。其中ur、ug、ub分别表示r、g、b图像通道的均值。根据以上公式，可推导出，分别表示r、g、b图像通道的均值。根据以上公式，可推导出，然后将m1、m2和m3的系数拟合为高斯分布，并提取其均值和方差作为颜色特征。最后，可提取6维颜色统计特征，记为fc。
11.步骤5：级联步骤1～步骤4所提取的特征，构成联合统计特征，记作fs,fs＝[ff,fw,fg,fc]；
[0012]
步骤6：对于给定的色调映射图像m，使用imagenet数据集预训练的inception-v3模型提取其深度特征。具体来说，先将待评价m输入预先训练的inception-v3模型，并执行其所有的预定义操作。然后，全局平均池化(global average pooling，gap)层附加到每个inception模块的输出，并向每个inception模块添加gap层，能够提取不同抽象级别深度感知特征。在深度特征提取过程中，在inception模块的每一层上提取每个特征图的平均值，并将其串接成一个特征向量。fk表示从第k个inception模块中提取的特征向量。然后，将所有提取的所有层特征向量进行串接，记作其中n为inception-v3模型中inception模块的个数，符号表示级联算子。考虑到所提取的深度特征具有高维性，采用主成分分析(principal component analysis，pca)进行降维处理。最终，将提取的降维后深度特征，记作f
r-d
。
[0013]
步骤7：对步骤5和步骤6提取的两类特征fs,f
r-d
进行集成学习回归处理。具体来说，先对两类特征fs,f
r-d
分别使用支持向量回归，得到两个客观质量评价分数，并将这两个客观质量分数串接成一个2维特征向量，再进行支持向量回归处理。最终，得到待评估色调映射图像m的客观质量评价分数，记为q
predict
；其中，q
predict
越大，说明输入图像m的质量越好；反之，说明输入图像的质量越差。
附图说明
[0014]
图1为本发明方法的总体实现框图
具体实施方式
[0015]
以下结合附图实施例对本发明作进一步详细描述。
[0016]
本发明提出的一种基于统计特征和深度感知特征的无参考色调映射图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
[0017]
将待评价的色调映射图像记为m，假定其尺寸为l
×
w，应用一个可变尺寸l
×
w的非
线性内核f(s,t)，对相邻像素进行块处理，并找到最高(pixel
max
)和最低(pixel
min
)强度像素之间的差异性来计算其对应的分形维度图。具体来说，非线性内核记作f(s,t)，其中，符号表示向下取整操作，r＝2,3,4,...,j表示缩放因子，用于描述像素的特定结构与其周围环境的自相似程度，变量和均为非负整数，其中符号表示向上取整操作；然后，计算覆盖整幅图像所需的方框数，记作nd(x,y,d),其中，d＝1,2,3,...,j-1表示矩阵nd(x,y,d)的维数；再计算nd(x,y,d)和r的斜率，获得该像素的分形维度，通过计算输入图像m所有像素的分形维度，可以获得其对应的分形维度图，记作mf；最后，对mf进行10bin直方图统计，获得mf的直方图统计特征，同时提取其偏度、峰度、熵、中值、标准差等补充特征。最终，提取10维分形维度特征，记为ff；
[0018]
步骤2：对于给定的色调映射图像m，先使用fej
é
r-korovkin小波对图像进行小波变换。然后，在水平、垂直和对角线方向的子带系数上，分别提取小波系数归一化后的第一位数字分布特征。最后，将提取的水平、垂直和对角线方向的子带系数第一位数分布特征进行串接，得到小波域的27维特征向量，记为fw。
[0019]
步骤3：对于给定的色调映射图像m，先利用3
×
3的sobel算子计算m对应的梯度图，记作mg。然后，在mg上进行归一化操作并提取第一位数字分布特征。最后，提取mg对应的9维特征向量，记为fg。
[0020]
步骤4：对于给定的色调映射图像m，首先，对rgb图像的每个对数分量进行去均值处理，即ra(x,y)＝log(r(x,y))-ur，ga(x,y)＝log(g(x,y))-ug，ba(x,y)＝log(b(x,y))-ub。其中ur、ug、ub分别表示r、g、b图像通道的均值。根据以上公式，可推导出，分别表示r、g、b图像通道的均值。根据以上公式，可推导出，然后将m1、m2和m3的系数拟合为高斯分布，并提取其均值和方差作为颜色特征。最后，可提取6维颜色统计特征，记为fc。
[0021]
步骤5：级联步骤1～步骤4所提取的特征，构成联合统计特征，记作fs,fs＝[ff,fw,fg,fc]；
[0022]
步骤6：对于给定的色调映射图像m，使用imagenet数据集预训练的inception-v3模型提取其深度特征。具体来说，先将待评价m输入预先训练的inception-v3模型，并执行其所有的预定义操作。然后，全局平均池化(global average pooling，gap)层附加到每个inception模块的输出，并向每个inception模块添加gap层，能够提取不同抽象级别深度感知特征。在深度特征提取过程中，在inception模块的每一层上提取每个特征图的平均值，并将其串接成一个特征向量。fk表示从第k个inception模块中提取的特征向量。然后，将所有提取的所有层特征向量进行串接，记作其中n为inception-v3模型中inception模块的个数，符号表示级联算子。考虑到所提取的深度特征具有高维性，采用主成分分析(principal component analysis，pca)进行降维处理。最终，将提取的降
transactions on image processing,vol.21,no.8,pp.3339-3352,aug.2012(盲图像质量评估:dct域的自然场景统计方法))，diivine(a.k.moorthy anda.c.bovik,“blind image quality assessment:from natural scene statistics to perceptual quality,”ieee transactions on image processing,vol.20,no.12,pp.3350-3364,dec.2011(盲图像质量评价:从自然场景统计到感知质量))、gm_log(w.xue,x.mou,l.zhang,a.c.bovik and x.feng,“blind image quality assessment using joint statistics of gradient magnitude and laplacian features,”ieee transactions on image processing,vol.23,no.11,pp.4850-4862,2014(基于梯度幅度和拉普拉斯特征联合统计的盲图像质量评价))、og(l.liu,y.hua,q.zhao,h.huang,and a.c.bovik,“blind image quality assessment by relative gradient statistics and adaboosting neural network,”signal processing:image communication,vol.40,pp.1-15,2016(基于相对梯度统计和adaboosting神经网络的盲图像质量评价))；2种全参考的色调映射图像客观质量评价方法，它们是tmqi和fsitm；4种无参考的色调映射图像客观质量评价方法，它们是btmqi，vqgc，higrade和yue。
[0028]
表1本发明方法与bliinds-ii、brisque、diivine、gm_log、og、tmqi、fsitm、btmqi，vqgc，higrade和yue共11种现有的客观质量评价方法在espl-live hdr数据库和tmid数据库中的预测性能指标plcc、srocc和rmse值
[0029][0030]
表1给出了本发明方法与bliinds-ii、brisque、diivine、gm_log、og、tmqi、fsitm、btmqi，vqgc，higrade和yue共11种现有的客观质量评价方法在espl-live hdr数据库和tmid数据库中的评估性能指标plcc、srocc和rmse的值。其中由于tmqi和fsitm法只提供了tmid数据库上的指标，因此，这两个模型在表1中espl-live数据库上的指标用
“‑‑”
表示，同时，fsitm方法在tmid数据库仅给出了plcc和srocc,因此，其rmse指标同样用
“‑‑”
表示。此外，btmqi方法在这两个数据库上都没有给出rmse指标，因此，表格中同样用
“‑‑”
表示，需要注意的是，表格中黑体表示每种评价准则下性能最好的算法。
[0031]
从表1中可以得出以下结论，在tmid数据库和espl-live数据库中，本发明方法均
具有最优的质量评价性能。本发明方法在不同数据集中均具有较好的评价性能，表明本发明方法具有很好的鲁棒性，此外，与全参考色调映射图像质量评价方法相比，本发明方法依然占据优势。
[0032]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于统计特征和深度感知特征的无参考色调映射图像质量评价方法，其特征在于包括以下步骤：步骤1：将待评价的色调映射图像记为m，假定其尺寸为l
×
w，应用一个可变尺寸l
×
w的非线性内核f(s,t)，对相邻像素进行块处理，并找到最高(pixel
max
)和最低(pixel
min
)强度像素之间的差异性来计算其对应的分形维度图。具体来说，非线性内核记作f(s,t)，其中，符号表示向下取整操作，r＝2,3,4,...,j表示缩放因子，用于描述像素的特定结构与其周围环境的自相似程度，变量和均为非负整数，其中符号表示向上取整操作；然后，计算覆盖整幅图像所需的方框数，记作n
d
(x,y,d),其中，d＝1,2,3,...,j-1表示矩阵n
d
(x,y,d)的维数；再计算n
d
(x,y,d)和r的斜率，获得该像素的分形维度，通过计算输入图像m所有像素的分形维度，可以获得其对应的分形维度图，记作m
f
；最后，对m
f
进行10bin直方图统计，获得m
f
的直方图统计特征，同时提取其偏度、峰度、熵、中值、标准差等补充特征。最终，提取10维分形维度特征，记为f
f
；步骤2：对于给定的色调映射图像m，先使用fej
é
r-korovkin小波对图像进行小波变换。然后，在水平、垂直和对角线方向的子带系数上，分别提取小波系数归一化后的第一位数字分布特征。最后，将提取的水平、垂直和对角线方向的子带系数第一位数分布特征进行串接，得到小波域的27维特征向量，记为f
w
。步骤3：对于给定的色调映射图像m，先利用3
×
3的sobel算子计算m对应的梯度图，记作m
g
。然后，在m
g
上进行归一化操作并提取第一位数字分布特征。最后，提取m
g
对应的9维特征向量，记为f
g
。步骤4：对于给定的色调映射图像m，首先，对rgb图像的每个对数分量进行去均值处理，即r
a
(x,y)＝log(r(x,y))-u
r
，g
a
(x,y)＝log(g(x,y))-u
g
，b
a
(x,y)＝log(b(x,y))-u
b
。其中u
r
、u
g
、u
b
分别表示r、g、b图像通道的均值。根据以上公式，可推导出，分别表示r、g、b图像通道的均值。根据以上公式，可推导出，然后将m1、m2和m3的系数拟合为高斯分布，并提取其均值和方差作为颜色特征。最后，可提取6维颜色统计特征，记为f
c
。步骤5：级联步骤1～步骤4所提取的特征，构成联合统计特征，记作f
s
,f
s
＝[f
f
,f
w
,f
g
,f
c
]；步骤6：对于给定的色调映射图像m，使用imagenet数据集预训练的inception-v3模型提取其深度特征。具体来说，先将待评价m输入预先训练的inception-v3模型，并执行其所有的预定义操作。然后，全局平均池化(globalaverage pooling，gap)层附加到每个inception模块的输出，并向每个inception模块添加gap层，能够提取不同抽象级别深度感知特征。在深度特征提取过程中，在inception模块的每一层上提取每个特征图的平均值，并将其串接成一个特征向量。f
k
表示从第k个inception模块中提取的特征向量。然后，将所
有提取的所有层特征向量进行串接，记作f
d
＝f1⊕
f2⊕…⊕
f
n
，其中n为inception-v3模型中inception模块的个数，符号
“⊕”
表示级联算子。考虑到所提取的深度特征具有高维性，采用主成分分析(principal component analysis，pca)进行降维处理。最终，将提取的降维后深度特征，记作f
r-d
。步骤7：对步骤5和步骤6提取的两类特征f
s
,f
r-d
进行集成学习回归处理。具体来说，先对两类特征f
s
,f
r-d
分别使用支持向量回归，得到两个客观质量评价分数，并将这两个客观质量分数串接成一个2维特征向量，再进行支持向量回归处理。最终，得到待评估色调映射图像m的客观质量评价分数，记为q
predict
；其中，q
predict
越大，说明输入图像m的质量越好；反之，说明输入图像的质量越差。

技术总结
本发明公开了一种基于统计特征和深度感知特征的无参考色调映射图像质量评价方法。对于统计特征提取，首先，在对应的分形维数图上提取统计特征，用于度量局部纹理的变化；然后，从对应的小波子带图和梯度图中提取第一数字分布特征来捕捉图像结构变化，同时，提取颜色统计特征，用于度量颜色质量退化。对于深度感知特征提取，使用预训练的Inception-V3模型提取深度特征，表征其全局语义信息。最后，将所提取的统计特征和深度感知特征进行聚合，利用集成学习回归策略，生成客观质量评价分数。本发明能够不依赖参考图像，自动地评价色调映射图像质量的优劣，且获得与主观感知高度一致的评价结果。价结果。价结果。


技术研发人员：崔跃利 蔡思文 徐佳渂 方喆炜 刘丽红
受保护的技术使用者：台州学院
技术研发日：2023.06.26
技术公布日：2023/9/19