一种无参考图像质量评价方法、系统、电子设备及存储介质

1.本发明涉及图像处理技术领域，更具体地说，涉及一种无参考图像质量评价方法、系统、电子设备及存储介质。


背景技术：

2.无参考图像质量评价(nr-iqa)方法在评价过程中不需要参考图像信息，通过分析失真图像本身的特性来评价图像质量。nr-iqa方法具有更高的实用性，因为在实际应用中，往往无法获取到原始图像或者参考图像，同时也具有最高的难度，需要考虑失真图像的复杂特性和人眼的视觉特性。因此，nr-iqa方法已成为客观图像质量评价方法的研究热点之一，具有重要的理论和实际意义。
3.由于参考图像信息的缺失，许多传统的nr-iqa方法关注失真图像的特定失真类型，并根据失真类型提出相应的评价算法。例如用基于滤波的方法来估计图像中的噪声，用锐度、模糊度估计算法对模糊图像进行质量评价等。如果能够知道图像失真过程或图像中的失真类型，这种方法可以获得较高的准确率。
4.此外，还有一部分nr-iqa方法不针对特定类型的失真，而是提取能够描述多种失真类型的通用质量特征，以实现对多种失真的图像进行质量评价。这种方法的重点和难点在于选取何种特征来度量失真程度，在传统方法中一般通过自然场景统计(nss)来手工提取，而在基于深度学习的方法中可以通过深度学习网络模型自动学习。下面分别介绍基于手工提取特征和基于深度学习的nr-iqa方法。
5.当前，基于手工提取特征的方法biqi方法、brisque方法、niqe方法和il-niqe方法，基于深度学习的方法有iqa-cnn方法、diqam-nr方法、hyperiqa方法、db-cnn方法和ts-cnn方法。
6.biqi方法使用广义高斯分布(ggd)对图像小波分解系数进行拟合，将ggd模型的参数作为特征，使用支持向量机进行分类得到5种失真类型的概率。然后使用支持向量回归对5种失真类型分别计算其质量得分，最后将各类型得分进行加权求和，得到总的图像质量评分。
7.brisque方法也采用了biqi的两阶段框架，首先计算失真图像的多尺度去均值对比度归一化(mscn)系数，再使用非对称广义高斯分布(aggd)对mscn系数及其不同方向的相关系数进行拟合，使用aggd的系数作为特征进行质量分数预测。
8.niqe方法使用的特征和brisque相同，然后使用多元高斯分布(mvg)对特征进行拟合，分别对失真图像和自然图像进行nss特征的mvg拟合，将二者的mvg模型之间的距离定义为失真图像的质量。
9.il-niqe方法将mscn系数、梯度统计信息、log-gabor滤波器响应和色彩统计信息作为质量感知特征，然后使用mvg进行建模，将mvg之间的距离作为图像质量。
10.iqa-cnn首次使用卷积神经网络(cnn)来进行无参考图像质量评价。该模型由一层卷积层、最大最小池化层和两层全连接层组成，将不重叠的图像块作为cnn的输入，以扩充
数据量，取所有图像块质量分数的均值作为失真图像的质量分数。
11.diqam-nr方法通过构建10层卷积层和2层全连接层进行特征提取和分数预测，同样以图像块作为输入，但输出为图像块的质量分数和权重，最后进行加权求和得到整个图像的质量分数。
12.hyperiqa方法针对真实失真图像进行质量评价，使用resnet-50来提取失真图像的内容特征，通过超网络对不同图像生成自适应的参数来进行质量分数的预测，并且使用了多尺度特征来增强模型感知细节特征的能力。
13.db-cnn方法同时适用于合成失真和真实失真图像。该方法使用在imagenet上预训练的vgg-16提取真实失真特征，使用在waterloo exploration数据集和pascal voc 2012上预训练的cnn提取合成失真特征，最后利用双线性池化对两个特征进行特征融合，通过全连接层映射为质量分数。
14.ts-cnn方法同样为双分支结构，该方法的两个分支分别以失真图像和梯度图像作为输入，通过基于区域的全卷积神经网络将输入图像块分类为不同的失真类别和区域。
15.然而，这些方法忽略了人类视觉系统hvs特性对图像失真感知的影响，因此可能无法达到与人眼感知高度一致的效果。


技术实现要素：

16.本发明要解决的技术问题在于，提供一种无参考图像质量评价方法、系统、电子设备及存储介质。
17.本发明解决其技术问题所采用的技术方案是：构造一种无参考图像质量评价方法，其特征在于，包括以下步骤：
18.s1、基于待评价图像获取若干样本图像块，并获取每一所述样本图像块对应的对比敏感度加权梯度图像；
19.s2、分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；
20.s3、分别获取所述样本图像块的高级内容特征和所述对比敏感度加权梯度图像的高级位置特征，对所述多尺度特征、所述高级内容特征和所述高级位置特征进行特征拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
21.s4、根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果。
22.优选地，在本发明所述的无参考图像质量评价方法中，
23.在所述步骤s2中，所述分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；包括以下步骤：
24.s21、获取所述样本图像块基于所述预设改进型resnet-50中预设结构层输出的第一特征图，和所述对比敏感度加权梯度图像基于预设结构层输出的第二特征图；
25.s22、拼接所述第一特征图和所述第二特征图以得到所述预设结构层对应的初级拼接特征图；
26.s23、对所述初级拼接特征图重新分配不同通道特征的重要性并进行全局平均池化以得到所述初级拼接特征图对应的一维向量；
27.s24、基于第一预设全连接层和第二预设全连接层生成所述一维向量中各通道的权重向量；
28.s25、基于所述权重限量对所述初级拼接特征图进行融合以得到融合特征图；
29.s26、对所述融合特征图进行全局平均池化以得到所述样本图像块的尺度特征，以根据所有的尺度特征得到所述样本图像块的多尺度特征。
30.优选地，在本发明所述的无参考图像质量评价方法中，
31.在所述步骤s22中，所述预设结构层包括conv2_10结构层，conv3_12结构层和conv4_18结构层。
32.优选地，在本发明所述的无参考图像质量评价方法中，还包括：
33.s261、通过1
×
1卷积减少所述融合特征图的通道数量，并对减少通道数量的融合特征图进行全局平均池化以得到所述样本图像块的多尺度特征。
34.优选地，在本发明所述的无参考图像质量评价方法中，
35.在所述步骤s3中，所述全连接神经网络；包括三层全连接神经网络：
36.所述对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数，包括：基于以下公式获取样本图像块的预测质量分数：
37.qi＝w3ρ(w2ρ(w1f+b1)+b2)+b338.其中，qi为样本图像块i的预测质量分数，w1、w2和w3分别为所述三层全连接神经网络的参数，b1、b2和b3分别为所述三层全连接神经网络的偏置项，f为所述拼接特征，ρ(
·
)为relu激活函数。
39.优选地，在本发明所述的无参考图像质量评价方法中，
40.在所述步骤s4中，所述根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果，包括：
41.获取所有所述样本图像块的预测质量分数的平均值为所述待评价图像的质量评价结果。
42.优选地，在本发明所述的无参考图像质量评价方法中，还包括基于使用l1损失函数对所述样品图像块的预测质量分数获取过程进行训练：
[0043][0044]
其中为第i个图像块的目标质量分数，qi为获取的第i个图像块的质量分数，l1代表l1正则化。
[0045]
本发明还构造一种无参考图像质量评价系统，包括：
[0046]
第一获取单元，用于基于待评价图像获取若干样本图像块，并获取每一所述样本图像块对应的对比敏感度加权梯度图像；
[0047]
第二获取单元，分别基于预设改进型resnet-50获取所述样本图像块的多尺度内
容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；
[0048]
第三获取单元，用于分别获取所述样本图像块的高级内容特征和所述对比敏感度加权梯度图像的高级位置特征，对所述多尺度特征、所述高级内容特征和所述高级位置特征进行特征拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
[0049]
结果输出单元，用于根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果。
[0050]
本发明还构造一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任意一项所述的无参考图像质量评价方法。
[0051]
本发明还构造一种电子设备，包括存储器和处理器；
[0052]
所述存储器用于存储计算机程序；
[0053]
所述处理器用于执行所述计算机程序实现如上面任一项所述的无参考图像质量评价方法。
[0054]
实施本发明的一种无参考图像质量评价方法、系统、电子设备及存储介质，具有以下有益效果：通过双分支卷积神经网络提取图像的内容特征和位置特征，实现对图像质量分数的准确预测。
附图说明
[0055]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0056]
图1是本发明一种无参考图像质量评价方法一实施例的程序流程图；
[0057]
图2是本发明一种无参考图像质量评价方法一实施例的逻辑框图；
[0058]
图3是本发明一种无参考图像质量评价方法中掩膜结构一实施例的示意图；
[0059]
图4是本发明一种无参考图像质量评价方法中梯度图像和对比敏感度加权梯度图像对比示意图；
[0060]
图5是本发明一种无参考图像质量评价方法另一实施例的程序流程图；
[0061]
图6是本发明一种无参考图像质量评价方法另一实施例的逻辑框图；
[0062]
图7是本发明一种无参考图像质量评价系统一实施例的逻辑框图；
[0063]
图8是本发明一种无参考图像质量评价方法一实施例的结果对比示意图；
[0064]
图9是本发明一种无参考图像质量评价方法另一实施例的结果对比示意图。
具体实施方式
[0065]
为了对本发明的技术特征.目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0066]
如图1和图2所示，在本发明的无参考图像质量评价方法第一实施例中，包括：s1、基于待评价图像获取若干样本图像块，并获取每一所述样本图像块对应的对比敏感度加权梯度图像。具体的，可以对待评价图像进行采样得到若干大小满足要求的样本图像块。可以理解，每个采样所得图像块的质量分数都继承原始图像即待评价图像的质量分数。同时对每一样本图像块进行对比敏感度加权的梯度图像获取。梯度图像可以提供丰富的结构信息
和轮廓信息，同时人类视觉系统对这些信息也非常敏感。因此，使用梯度图像可以基于位置分支提取失真图像中的物体形状信息，更符合背侧通路对全局形状的感知。在一实施例中，通过scharr算子作为梯度算子，其掩膜结构如图3所示，以得到梯度图像。通过对得到的梯度图像进行对比敏感度加权来增加梯度图像中人眼敏感的频率信息，使得图像评价过程与hvs感知高度一致。其具体过程可以为，
[0067]
首先根据如下的对比敏感度函数对得到的样本图像块中每个像素点计算对应的对比敏感度，可得到对比敏感图。
[0068][0069]
其中a(f)为像素点的对比敏感度，f为样本图像块中像素点的空间频率，f通过下面的公式获取：
[0070][0071]fx
＝i(i,j)-i(i-1,j)
[0072]fy
＝i(i,j)-i(i,j-1)
[0073]
其中f
x
和fy分别为水平和垂直方向上的空间频率，i(i,j)为样本图像块中像素点((i,j))的灰度值。
[0074]
再将对比敏感图与梯度图像按下式进行加权融合得到对比敏感度加权梯度图：
[0075]icwg
＝αic+βig+γ
[0076]
其中i
cwg
为样本图像块的对比敏感度加权梯度图像，ic为样本图像块的对比敏感图，ig为样本图像块的梯度图，α，β和γ为常数，在一实施例中，取α＝β＝0.5，γ＝0。
[0077]
梯度图像和对比敏感度加权梯度图像效果如图4所示。从图中可以看出，相较于梯度图像，对比敏感度加权梯度图更好地突出了人眼感兴趣的区域，如眼睛周围的花纹，鸟嘴和身体的边缘部分。这是因为对比敏感度加权梯度图对图像中的不同区域给予不同的权重，能够更好地捕捉到人眼所关注的图像细节。此外，对比敏感度加权梯度图还能捕捉到图像中的失真结构信息，如jpeg压缩失真所导致的块状失真结构和高斯噪声失真导致的图像噪点，而这些结构信息会对图像质量产生较大的影响。
[0078]
s2、分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征。具体的，将样本图像块作为内容分支，将基于样本图像块得到的对比敏感度加权梯度图像作为位置分支，都通过在imagenet上预训练的resnet-50作为特征提取的骨干网络分别进行特征提取，以得到多尺度内容特征和多尺度位置特征。将分别得到的尺度特征图拼接在一起，经过多尺度特征模块进行融合，使得融合过程能够同时关注图像的全局特征和局部细节特征。预训练是指在大规模数据上对模型进行训练，使其能够提取到通用的特征表示，然后将其在特定任务上进行微调，使其适用于下游任务。这里使用的resnet-50是可以是在在大型图像分类数据集imagenet上预训练的。使用该改进型resnet-50进行特征提取能够减少训练时间，避免从头开始训练模型的昂贵的计算成本。
[0079]
s3、分别获取所述样本图像块的高级内容特征和所述对比敏感度加权梯度图像的
高级位置特征，对所述多尺度特征、所述高级内容特征和所述高级位置特征进行特征拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数。具体的，可以分别获取内容分支和位置分支的高级特征，即高级内容特征和高级位置特征，将其和得到的多尺度特征进行拼接，拼接后得到的拼接特征图进行全连接神经网络映射得到该样本图像块的预设质量分数。
[0080]
s4、根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果。具体的，根据得到的所有的样品本图像块的预测质量分数进行数据运算得到最终的待评价图像的质量分数即对应其质量评价结果。
[0081]
可选的，如图5和图6所示，在所述步骤s2中，所述分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；包括以下步骤：s21、获取所述样本图像块基于所述预设改进型resnet-50中预设结构层输出的第一特征图，和所述对比敏感度加权梯度图像基于预设结构层输出的第二特征图；s22、拼接所述第一特征图和所述第二特征图以得到所述预设结构层对应的初级拼接特征图；s23、对所述初级拼接特征图重新分配不同通道特征的重要性并进行全局平均池化以得到所述初级拼接特征图对应的一维向量；s24、基于第一预设全连接层和第二预设全连接层生成所述一维向量中各通道的权重向量；s25、基于所述权重限量对所述初级拼接特征图进行融合以得到融合特征图；s26、对所述融合特征图进行全局平均池化以得到所述样本图像块的多尺度特征。具体的，在内容分支中，可以基于预设改进型resnet-50中预设结构层获取其样本图像块对应的第一特征图，其中多尺度内容特征可以由多个第一特征图组成。在位置分支中，可以基于预设改进型resnet-50中预设结构层获取对比敏感度加权梯度图像对应的第二特征图，其中，多尺度位置特征可以由多个第二特征图组成。对得到的第一特征图和第二特征图进行特征拼接得到该预设结构层对应的初级拼接特征图。然后使用通道注意力机制对拼接的特征图重新分配不同通道特征的重要性，将拼接后的特征图经过全局平均池化将其降低到一维向量，然后再通过全连接层fc1(对应第一预设全连接层)和fc2(对应第二预设全连接层)生成各个通道的权重向量wc，使得每个通道都有一个对应的权值。最后，将该权重向量与拼接的特征图相乘，进一步融合内容通路和位置通路的特征图(对应图2中ms-module过程)。最后可以依次经过卷积减少融合后的特征图通道数，并进行全局平均池化得到多尺度特征向量。
[0082]
可选的，在上述基础上，可以包括步骤s261、通过1
×
1卷积减少所述融合特征图的通道数量，并对减少通道数量的融合特征图进行全局平均池化以得到所述样本图像块的多尺度特征。这一过程如下式所示：
[0083][0084]
其中w1和w2分别为两个全连接层的参数，σ(
·
)和δ(
·
)分别为sigmoid和relu激活函数，gap(
·
)为全局平均池化，conv1×1(
·
)为1
×
1卷积操作，f
ci
为多尺度内容特征，f
pi
为多尺度位置特征，fi为拼接后的特征，fi′
为经过通道注意力机制后的特征，fm为融合后的得
到的多尺度特征。即可以利用1
×
1卷积将融合后的特征图通道数减少一半，以降低计算量，然后进行全局平均池化得到多尺度特征向量。
[0085]
可选的，所述预设结构层包括conv2_10结构层，conv3_12结构层和conv4_18结构层。具体的，将原始resnet-50中最后的平均池化层和全连接层移除得到预设改进型resnet-50，其具体结构层可以参考下表1：
[0086]
表1 resnet-50网络结构
[0087][0088]
其中，可以基于其中的conv2_10结构层，conv3_12结构层和conv4_18结构层为预设结构层以分别得到对应的尺度特征，并根据所有的尺度特征得到多该样本图像块的多尺度特征。
[0089]
可选的，所述步骤s3中，所述全连接神经网络；包括三层全连接神经网络：
[0090]
所述对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数，包括：基于以下公式获取样本图像块的预测质量分数：
[0091]
qi＝w3ρ(w2ρ(w1f+b1)+b2)+b3[0092]
其中，qi为样本图像块i的预测质量分数，w1、w2和w3分别为所述三层全连接神经网络的参数，b1、b2和b3分别为所述三层全连接神经网络的偏置项，f为所述拼接特征，ρ(
·
)为relu激活函数。具体的，
[0093]
其中激活函数可以满足
[0094]
ρ(x)＝max(0,x)
[0095]
并可以依照下面函数完成对所述多尺度特征、所述高级内容特征和所述高级位置特征的特征拼接，
[0096][0097]
其中fc为高级内容特征，fm为多尺度特征，f
p
为高级位置特征，为拼接操作。
[0098]
基于conv2_10结构层，conv3_12结构层和conv4_18结构层得到三个尺度特征，即对应多尺度特征，
[0099]
可选的，在所述步骤s4中，所述根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果，包括：获取所有所述样本图像块的预测质量分数的平均值为所述待评价图像的质量评价结果。具体的，可以从待评价图像中随机采样5个224
×
224像素的图像块。然后，对这5个图像块进行预测，并取预测结果的平均值来得到测试图像的质量分数。具体计算公式如下式所示：
[0100][0101]
其中n为从测试图像中采样的图像块数量，qi为模型预测的第i个图像块的质量分数。采样的图像块数量和大小均可以根据需要进行调整。
[0102]
可选的，本发明的方法中，还包括基于使用l1损失函数对所述样品图像块的预测质量分数获取过程进行训练：
[0103][0104]
其中为第i个图像块的目标质量分数，qi为获取的第i个图像块的质量分数，l1代表l1正则化；所述训练过程采用adam优化器。具体的，可以对待评价图像进行随机水平翻转以得到翻转图像，基于该翻转图像执行上述的步骤s1及其之后的动作，以得到样本图像块的预测质量分数。并基于l1损失函数计算预测值和真实值之间的差异，损失函数的值越小则模型预测的准确度越高，因此通过优化损失函数来使上述过程达到最优。其具体过程可以理解为：每次训练都重新从图片中进行采样，其具体的训练过程如下：将数据集划分为训练集和测试集，使用训练集中的图像来训练模型；从训练集中抽取一定数量如48张图像，然后对抽取的每张图像随机水平翻转并采样5个图像块，将这240个图像块均视为独立的训练样本；获取240个图像块的对比敏感度加权梯度图像，然后输入模型得到每个图像块的预测质量分数；利用损失函数计算预测值与真实值之间的差异，并使用反向传播更新上述过程中各函数的参数。重复上面的步骤，直到训练集中所有图像均参与了训练，则一轮训练结束，设置总训练轮次为50轮。
[0105]
在一实施例中，可以使用adam优化器对上述过程中的参数进行更新，adam优化器优化的参数可以包括两个预设改进型resnet-50中的参数、三个尺度特征分别融合过程中的参数(如图2所示的ms-module过程)以及最后三层全连接神经网络(对应三个全连接层)中的参数，从而最小化损失函数。神经网络的训练过程可以分为前向传播和反向传播。前向传播是指模型根据输入推理输出的过程。反向传播首先根据损失函数计算模型输出与真实值之间的差异，然后计算该差异对输出层每个参数的梯度，并逐层向输入层传播，从而计算出整个模型中每个参数的梯度，最后利用梯度下降法来更新参数。在一实施例中，可以设置adam优化器的优化过程中满足，权重衰减率为5
×
10-4，训练轮数为50，批处理大小为48，初始学习率为5
×
10-5，每经过10轮训练学习率减半。
[0106]
另，如图7所示，本发明的一种无参考图像质量评价系统，包括：
[0107]
第一获取单元110，用于基于待评价图像获取若干样本图像块，并获取每一所述样本图像块对应的对比敏感度加权梯度图像；
[0108]
第二获取单元120，分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；
[0109]
第三获取单元130，用于分别获取所述样本图像块的高级内容特征和所述对比敏感度加权梯度图像的高级位置特征，对所述多尺度特征、所述高级内容特征和所述高级位置特征进行特征拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
[0110]
结果输出单元140，用于根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果。
[0111]
具体的，这里的无参考图像质量评价系统各单元之间具体的配合操作过程具体可以参照上述无参考图像质量评价方法，这里不再赘述。
[0112]
另，本发明的一种电子设备，包括存储器和处理器；存储器用于存储计算机程序；
处理器用于执行计算机程序实现如上面任意的无参考图像质量评价方法。具体的，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过电子设备下载和安装并且执行时，执行本发明实施例的方法中限定的上述功能。本发明中的电子设备可为笔记本、台式机、平板电脑、智能手机等终端，也可为服务器。
[0113]
另，本发明的一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上面任意一项的无参考图像质量评价方法。具体的，需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0114]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
[0115]
以一具体实施例进行说明。
[0116]
为了避免训练集和测试集中的图像内容重复，根据原始图像对合成失真数据集进行了80％和20％的训练集和测试集划分。对于真实失真数据集，直接按80％和20％的比例进行训练集和测试集划分。为了减少随机误差的影响，每个数据集都按照上述规则进行了10次随机划分，取10次实验结果的中位数作为最终结果。这样设计实验可以全面评估上述过程在不同数据集上的表现，并能够避免训练集和测试集中的图像内容重复的问题。最终结果可靠性更高。
[0117]
在本实施例中，主要使用斯皮尔曼等级相关系数(srocc)和皮尔逊相关系数(plcc)两个指标来进行性能比较。其中srocc用于评价预测的单调性，plcc用于评价预测分数与主观质量分数的线性相关性，它们的范围均为[-1，1]，绝对值越大表示模型的性能越好。其计算方式如下面公式：
[0118]
[0119][0120]
其中m为图像数目，xi和yi分别为第i张图像的主观评价分数和预测分数，和分别为主观评价分数均值和预测分数均值，di为第i张图像主观评价分数和预测分数排名的差值。
[0121]
此外，在大型合成失真数据集waterloo上，由于缺少主观质量分数，使用原始/失真图像辨别能力测试(d-test)，排序一致性测试(l-test)和图像对偏好一致性测试(p-test)进行性能比较，计算方式分别如下面公式所示：
[0122][0123]
其中s
p
和sd分别为数据集中参考图像和失真图像集合，s
p
′
和s
′d为模型预测的参考图像和失真图像集合。
[0124][0125]
其中n为参考图像数量，c为失真类型数量，l
ij
和q
ij
分别表示真实失真顺序和预测的失真顺序。
[0126][0127]
其中q为图像对总数，qc为模型预测顺序正确的图像对数量。
[0128]
为了全面测试本实施例的性能，在合成失真和真实失真数据集上进行了实验，并与主流方法进行了对比。实验中的合成失真数据集包括live、csiq、tid2013、kadid-10k和waterloo，而真实失真数据集包括livec和koniq-10k。我们与3个传统方法，即psnr、ssim、brisque以及7个基于深度学习的方法cnn、biecon、meon、diqam-nr、hyperiqa、db-cnn、ts-cnn进行对比。其中，db-cnn和ts-cnn与本实施例相似，都采用了双分支结构。本实施例在单个数据集上的实验结果见表2和表3，表中对性能前两名的srocc和plcc值进行了加粗。
[0129]
综合srocc和plcc结果来看，本实施例在六个常用数据集上均表现良好。与同为双分支结构的db-cnn和ts-cnn相比，本实施例在大多数数据集上都能保持领先，特别是与ts-cnn相比，本实施例在真实数据集上与其保持着较大的性能差距。
[0130]
表2单个数据集上的srocc结果
[0131][0132]
表3单个数据集上的plcc结果
[0133][0134][0135]
同时，为了测试本实施例在特定失真类型上的性能表现，在live、csiq和tid2013三个数据集上进行了实验，针对每个数据集,在整个数据集上对模型进行训练，然后在某一失真类型上测试。实验结果如表4，表5和表6所示。
[0136]
表4live数据集上单个失真类型的srocc结果
[0137][0138]
表5csiq数据集上单个失真类型的srocc结果
[0139][0140]
表6tid2013数据集上单个失真类型的srocc结果
[0141][0142]
从表中可以看出本实施例在live和csiq上的4种失真类型都取得了最好的性能表现，优于其他方法。在tid2013数据集上，本实施例在24种失真类型中的17种失真类型上能够取得前2名的性能表现，仅次于hyperiqa的19种。图8为cnn、meon、diqa、hyperiqa、dbcnn和本实施例在tid2013各个失真类型上的srocc折线图。从图中可以更加直观地看出，本实施例在tid2013所有失真类型上都表现出稳定且优异的性能。
[0143]
综合三个数据集上单个失真类型的实验结果来看，本实施例在特定的失真类型方面也表现出优异的性能。
[0144]
另外，在live、csiq、tid2013和livec四个数据集上进行了交叉数据集实验。具体而言，本文在其中一个数据集上进行训练，然后在其余数据集上测试，例如，在live数据集上训练模型，然后在csiq、tid2013和livec数据集上进行测试，以此类推。通过该过程可以
更全面地测试模型的泛化性能，实验的srocc结果如表7所示。
[0145]
从实验结果可以看出，本实施例一共取得了8次最好的性能表现，优于db-cnn的4次。交叉数据集实验的srocc折线图如图9所示。从图中可以看出，本实施例在交叉数据集测试中保持着稳定且优秀的性能，证明本实施例有着良好的泛化性能。
[0146]
表7交叉数据集实验的srocc结果
[0147][0148]
为了进一步在大规模数据集上测试本实施例的泛化性能，在整个live数据集上训练，在waterloo数据集上进行测试，并计算d-test、p-test和l-test指标，实验结果如表8所示。从表中可以看出，本实施例在d-test和l-test指标上均取得了前两名的性能表现，在l-test指标上也非常有竞争力，这进一步证明了本实施例优秀的泛化性能。
[0149]
表8d-test，l-test和p-test结果
[0150][0151][0152]
为了验证本实施例中各个模块的有效性，在live、csiq和livec数据集上进行了消融实验。以仅有失真图像为输入的内容分支作为基准模型，在其基础上逐步加入以梯度图像为输入的位置分支，以对比敏感度加权梯度图像为输入的位置分支，以及双分支多尺度特征模块，实验结果如表9所示。
[0153]
从表9可以看出，加入位置分支并以失真图像的梯度图像作为输入后，模型能够从
中提取到丰富的结构信息，有效地提高了性能。使用对比敏感度加权梯度图像作为位置分支输入时，模型性能提升更加显著，表明以对比敏感度加权梯度图像作为输入可以显式地引导模型更关注hvs敏感的部分，从而使模型与人类视觉感知高度一致。最后，将双分支的多尺度特征模块引入模型后，无论是使用梯度图像还是对比敏感度加权梯度图像作为位置分支输入，模型性能都有所提升，并且在真实失真数据集livec上的提升最为明显。这是因为livec中图像失真程度分布不均，双分支多尺度特征模块使得模型能够同时关注全局特征和局部细节特征，从而提高了模型性能。
[0154]
表9消融实验的srocc值
[0155][0156]
其中，本发明中涉及的英文名词说明可参照附录。可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。
[0157]
附录：专有名词中英文对照表
[0158]

技术特征：
1.一种无参考图像质量评价方法，其特征在于，包括以下步骤：s1、基于待评价图像获取若干样本图像块，并获取每一所述样本图像块对应的对比敏感度加权梯度图像；s2、分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；s3、分别获取所述样本图像块的高级内容特征和所述对比敏感度加权梯度图像的高级位置特征，对所述多尺度特征、所述高级内容特征和所述高级位置特征进行特征拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；s4、根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果。2.根据权利要求1所述的无参考图像质量评价方法，其特征在于，在所述步骤s2中，所述分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；包括以下步骤：s21、获取所述样本图像块基于所述预设改进型resnet-50中预设结构层输出的第一特征图，和所述对比敏感度加权梯度图像基于预设结构层输出的第二特征图；s22、拼接所述第一特征图和所述第二特征图以得到所述预设结构层对应的初级拼接特征图；s23、对所述初级拼接特征图重新分配不同通道特征的重要性并进行全局平均池化以得到所述初级拼接特征图对应的一维向量；s24、基于第一预设全连接层和第二预设全连接层生成所述一维向量中各通道的权重向量；s25、基于所述权重限量对所述初级拼接特征图进行融合以得到融合特征图；s26、对所述融合特征图进行全局平均池化以得到所述样本图像块的尺度特征，以根据所有的尺度特征得到所述样本图像块的多尺度特征。3.根据权利要求2所述的无参考图像质量评价方法，其特征在于，在所述步骤s22中，所述预设结构层包括conv2_10结构层，conv3_12结构层和conv4_18结构层。4.根据权利要求2所述的无参考图像质量评价方法，其特征在于，所述方法还包括：s261、通过1
×
1卷积减少所述融合特征图的通道数量，并对减少通道数量的融合特征图进行全局平均池化以得到所述样本图像块的多尺度特征。5.根据权利要求3所述的无参考图像质量评价方法，其特征在于，在所述步骤s3中，所述全连接神经网络；包括三层全连接神经网络；所述对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数，包括：基于以下公式获取样本图像块的预测质量分数：q
i
＝w3ρ(w2ρ(w1f+b1)+b2)+b3其中，q
i
为样本图像块i的预测质量分数，w1、w2和w3分别为所述三层全连接神经网络的参数，b1、b2和b3分别为所述三层全连接神经网络的偏置项，f为所述拼接特征，ρ(
·
)为relu激活函数。
6.根据权利要求1所述的无参考图像质量评价方法，其特征在于，在所述步骤s4中，所述根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果，包括：获取所有所述样本图像块的预测质量分数的平均值为所述待评价图像的质量评价结果。7.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述方法还包括基于使用l1损失函数对所述样品图像块的预测质量分数获取过程进行训练：其中为第i个图像块的目标质量分数，q
i
为获取的第i个图像块的质量分数，l1代表l1正则化。8.一种无参考图像质量评价系统，其特征在于，包括：第一获取单元，用于基于待评价图像获取若干样本图像块，并获取每一所述样本图像块对应的对比敏感度加权梯度图像；第二获取单元，分别基于预设改进型resnet-50获取所述样本图像块的多尺度内容特征和所述对比敏感度加权梯度图像的多尺度位置特征，并对所述多尺度内容特征和所述多尺度位置特征进行拼接融合以得到所述样本图像块的多尺度特征；第三获取单元，用于分别获取所述样本图像块的高级内容特征和所述对比敏感度加权梯度图像的高级位置特征，对所述多尺度特征、所述高级内容特征和所述高级位置特征进行特征拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；结果输出单元，用于根据所有所述样本图像块的预测质量分数获取所述待评价图像的质量评价结果。9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的无参考图像质量评价方法。10.一种电子设备，其特征在于，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序实现如权利要求1-7任一项所述的无参考图像质量评价方法。

技术总结
本发明涉及一种无参考图像质量评价方法、系统、电子设备及存储介质，包括：S1、基于待评价图像获取若干样本图像块及其对应的对比敏感度加权梯度图像；S2、分别基于预设改进型ResNet-50获取样本图像块的多尺度内容特征和对比敏感度加权梯度图像的多尺度位置特征，并进行拼接融合以得到样本图像块的多尺度特征；S3、分别获取样本图像块的高级内容特征和对比敏感度加权梯度图像的高级位置特征，对多尺度特征、高级内容特征和高级位置特征进行特征拼接并进行全连接神经网络映射以获取样本图像块的预测质量分数；S4、根据所有样本图像块的预测质量分数获取待评价图像的质量评价结果。实施本发明能够实现对图像质量分数的准确预测。测。测。


技术研发人员：储颖 陈帆
受保护的技术使用者：深圳大学
技术研发日：2023.04.11
技术公布日：2023/7/28