基于自适应曲率特征融合的图像盲去噪方法及系统与流程

1.本发明涉及图像数据处理的技术领域，特别涉及一种基于自适应曲率特征融合的图像盲去噪方法及系统。


背景技术：

2.随着影像技术的快速发展，人们对图像效果的要求越来越高，但图像在获取、传播过程中，受自身设备、环境或者传播路径的影响会受到不同程度的噪声污染，因此，对未知噪声的图像处理成为提高图像质量的重要基础。
3.近年来，神经网络的迅猛发展为图像去噪提供了一种高效的解决方案，而较为成熟的去噪模型一般都是围绕加性高斯噪声的图像处理，得到的训练模型无法具有广泛的适用性；同时，真实噪声往往具有未知性和多样性，现有技术中对于噪声等级和噪声分布情况的研究还存在欠缺。


技术实现要素：

4.发明目的：提出一种基于自适应曲率特征融合的图像盲去噪方法及系统，以解决现有技术存在的上述问题，通过构建基于两阶段盲去噪模型的方式，获取噪声等级和噪声分布的数据，并计算得到曲率图，随后根据图像的噪声等级进行曲率权重的自适应学习，以满足细节特征与去噪强度的要求。
5.技术方案：第一方面，提出了一种基于自适应曲率特征融合的图像盲去噪方法，该方法包括以下步骤：
6.步骤1、基于卷积神经网络构建两阶段端到端的去噪模型；其中去噪模型包括：噪声估计子网络和去噪子网络；
7.步骤2、读取待分析的原始噪声图像数据，并利用去噪模型获得噪声分布图；
8.进一步的，获取噪声分布图的过程包括以下步骤：
9.步骤2.1、读取待分析的原始噪声图像数据，并利用去噪模型执行特征提取，获得图像特征；
10.步骤2.2、去噪模型在第一阶段采用卷积核为3*3大小的卷积层对图像特征执行池化操作，获得池化特征；
11.步骤2.3、利用去噪模型的分类模块和映射模块对池化特征进行分类映射，获得噪声分布估计和噪声等级估计；
12.步骤2.4、基于噪声分布估计获得噪声分布图；
13.步骤3、将噪声分布图与原始噪声图像数据的残差进行融合，获得曲率图；
14.步骤4、利用基于自适应粒子群优化算法对曲率图的加权曲率系数进行更新；
15.进一步的，利用基于自适应粒子群优化算法对曲率图的加权曲率系数进行更新的过程包括以下步骤：
16.步骤4.1、初始化参数系数；所述参数系数包括：权重系数、粒子速度、粒子位置信
息、粒子自身最优位置、种群最优位置、个体的认知、社会认知、原速度惯性权重、迭代次数；
17.步骤4.2、在迭代次数内，通过精英学习策略更新参数系数；
18.步骤4.3、对迭代更新过程中的收敛状态进行评估，并根据隶属函数判断种群进化的状态；
19.步骤4.4、根据种群的进化状态确定更新过程中参数系数的变化规则，并在不同阶段制定相对应的策略；
20.步骤4.5、构建损失函数；
21.步骤4.6、将当前迭代过程中损失函数对应的数值用于步骤7的判断依据，并跳转至步骤5；
22.步骤5、利用去噪子网络对更新后的加权曲率、噪声等级和原始噪声图像进行处理分析，获得残差图像；
23.步骤6、将残差图像与原始噪声图像进行融合，获得去噪图像数据；
24.步骤7、判断迭代次数和损失函数值是否同时满足预设阈值，当满足时，将当前获得的去噪图像数据作为最终的去噪图像，并输出；若不满足时，则跳转至步骤4。
25.在第一方面的一些可实现方式中，基于pnp架构获取噪声分布估计，对应的获取表达式为：
26.；
27.式中，表示第次迭代的噪声分布估计；表示噪声估计模型；表示第次迭代的最新重构图像。其中重构图像为经过每一次迭代后获得的降噪图像。
28.在第一方面的一些可实现方式中，基于获得的曲率图构建曲率监督模块，用于为不同的特征图像赋予相应的权重，获取加权曲率。利用率监督注意模块执行数据处理的过程中，首先进行去噪先验建模，对曲率图进行1*1卷积，然后利用激活函数激活，再与重构图像得到的特征图进行1*1卷积，得到注意图，并将注意图作为去噪子网络的输入。
29.在第一方面的一些可实现方式中，利用去噪模型执行图像去噪之前，还包括：构建包含训练数据和测试数据的数据训练集对去噪模型执行性能优化的操作。其中，数据训练集中60%的数据是训练数据；40%的数据是测试数据。
30.在第一方面的一些可实现方式中，采用适应度函数作为构建的损失函数，对应的表达式为：
31.；
32.式中，表示需要学习的权重系数；表示去噪子网络使用的算法；表示去噪估计子网络输出的去噪图；表示输入的噪声图像；n表示噪声图像总数量。
33.第二方面，提出一种基于自适应曲率特征融合的图像盲去噪系统，用于实现一种基于自适应曲率特征融合的图像盲去噪方法，该系统包括以下模块：
34.模型构建模块用于为基于卷积神经网络构建两阶段端到端的去噪模型；
35.图像获取模块用于读取待分析的图像数据，并利用去噪模型获得噪声分布图；
36.曲率计算模块用于将噪声分布图与原始噪声图像数据的残差进行融合，获得曲率图；
37.曲率优化模块用于利用基于自适应粒子群优化算法对曲率图的加权曲率系数进行优化；
38.残差模块用于利用去噪子网络对优化后的加权曲率、噪声等级和原始噪声图像进行处理分析，获得残差图像；
39.融合模块用于融合残差图像与原始噪声图像，获得去噪图像数据；
40.判断模块用于判断当前的迭代次数和损失函数值是否满足预设阈值，并将满足阈值时的去噪图像作为最终的去噪图像；
41.输出模块用于输出最终的去噪图像。
42.第三方面，提出一种基于自适应曲率特征融合的图像盲去噪方法设备，该设备包括：处理器以及存储有计算机程序指令的存储器。其中，处理器读取并执行计算机程序指令，以实现基于自适应曲率特征融合的图像盲去噪方法。
43.第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令。其中，计算机程序指令被处理器执行时，以实现基于自适应曲率特征融合的图像盲去噪方法。
44.有益效果：本发明提出了一种基于自适应曲率特征融合的图像盲去噪方法及系统，基于神经网络模型构建噪声估计子网络和去噪子网络，将噪声图像输入到噪声估计子网络，以获得噪声分布图，融合原始图像计算出曲率图，并设置曲率权重系数；基于卷积层构建去噪子网络，将得到的加权曲率、噪声等级分布图以及原始噪声图像输入到卷积层进行去噪训练，利用自适应粒子群优化算法对曲率权重系数进行寻优，以最大迭代次数或loss函数阈值作为终止条件，融合原始噪声图像和噪声残差图获得最优的去噪输出图。本方案针对细节特征程度不同的图像，分类进行特征提取，并基于自适应算法对曲率权重加以学习，大大提升了自然环境下的细节把控和去噪能力。
附图说明
45.图1为本发明的盲去噪数据处理框图。
46.图2为本发明的基于自适应曲率特征融合的图像盲去噪流程图。
具体实施方式
47.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
48.实施例一
49.在一个实施例中，提出一种基于自适应曲率特征融合的图像盲去噪方法，通过构建基于两阶段盲去噪模型的方式，获取噪声等级和噪声分布的数据，并计算得到曲率图；随后根据图像的噪声等级进行曲率权重的自适应学习，以满足细节特征与去噪强度的要求。
50.具体的，如图1所示，基于自适应曲率特征融合的图像盲去噪方法包括以下步骤：
51.步骤1、基于卷积神经网络构建两阶段端到端的去噪模型；
52.具体的，去噪模型包括：噪声估计子网络和去噪子网络，分别对应两个数据处理阶
段，在第一阶段噪声估计子网络对原始噪声图像数据进行分析，获得噪声分布估计和噪声等级估计，随后将估计结果输入第二阶段的去噪子网络进行针对性的去噪操作。
53.为了提高去噪模型的去噪性能，在利用去噪模型执行图像去噪之前，还包括对去噪模型执行性能优化的操作。可选的，通过构建包含训练数据和测试数据的数据训练集，执行性能训练。优选实施例中，将数据训练集中60%的数据作为训练数据，将40%的数据作为测试数据。另外，为了使去噪模型能够适应不同噪声等级的估计，数据训练集的噪声等级预设在[0,50]的范围内随机分布。
[0054]
步骤2、读取待分析的图像数据，并利用去噪模型获得噪声分布图；
[0055]
具体的，去噪模型为基于卷积神经网络的两阶段式数据处理模型，在数据处理的第一阶段，原始噪声图像基于卷积层的特征提取与分类属性，通过映射学习得到噪声分布估计和噪声等级估计；随后，利用噪声估计子网络获得噪声分布图，并输出。
[0056]
可选的，去噪模型在数据处理的第一阶段不使用池化层，而采用卷积核大小为3*3卷积层进行池化；随后，通过4层全神经网络映射学习，获得噪声分布估计和噪声等级估计。
[0057]
步骤3、将噪声分布图与原始噪声图像数据的残差进行融合，获得曲率图；
[0058]
具体的，构建噪声估计子网络，并利用噪声估计子网络将噪声分布图与原始噪声图像的残差进行融合；随后，基于融合结果执行曲率计算，获得曲率图。
[0059]
其中，残差表示原始噪声图像与噪声分布图像之间的差值，即当表示原始噪声图像；表示噪声分布图像时，残差图像的表达式为：。
[0060]
可选的，由于曲率图不仅可以用作先验，而且作为监督注意力机制可以有效丰富细节，为提高网络性能，根据噪声估计子网络输出的噪声分布图，融合原始噪声图像的残差，计算得到曲率信息。
[0061]
步骤4、利用基于自适应粒子群优化算法对曲率图的加权曲率系数进行更新；
[0062]
步骤5、构建去噪子网络，并利用去噪子网络对优化后的加权曲率、噪声等级和原始噪声图像进行处理分析，获得残差图像；
[0063]
具体的，将原始噪声图像、噪声等级图和加权曲率图作为输入，输入到去噪子网络中。优选实施例中，去噪子网络采用基于编-解码器结构，并在执行数据处理的过程中，依次执行下采样和上采样操作，在下采样和上采样操作中分别使用2*2步长卷积和2*2转置卷积。
[0064]
步骤6、将残差图像与原始噪声图像进行融合，获得去噪图像数据；
[0065]
步骤7、判断迭代次数和损失函数值是否同时满足预设阈值，当满足时，将当前获得的去噪图像数据作为最终的去噪图像，并输出；若不满足时，则跳转至步骤4。
[0066]
在进一步的实施例中，第一阶段对应噪声估计阶段主要采用卷积神经网络，用于提取原始噪声图像的图像特征，比对噪声图像进行噪声等级和噪声分布的映射估计，输出第一阶段后续数据处理过程中所需的噪声等级图和噪声分布图。
[0067]
在进一步的实施例中，第二阶段对应图像去噪阶段，采用自适应加权曲率的权重优化方法以及卷积层进行数据处理，其中将曲率作为自适应加权曲率权重优化方法的输入数据，基于重建卷积层处理真实噪声的图像、加权曲率和噪声等级的混合图像，并通过迭代寻找匹配训练集的最优去噪模型。
[0068]
在进一步的实施例中，基于获得的曲率图构建曲率监督模块，用于为不同的特征
图像赋予相应的权重，获取加权曲率。利用曲率监督注意模块执行数据处理的过程中，首选进行去噪先验建模，对曲率图进行1*1卷积，然后利用激活函数激活，再与重构图像得到的特征图进行1*1卷积，得到注意图，增强图像有效特征，而信息较少的特征将会被注意模块抑制。其中重构图像为经过每一次迭代后获得的降噪图像。
[0069]
优选实施例中，如图2所示，获得优化去噪模型的过程包括以下步骤：
[0070]
步骤
①
、根据盲噪声图像数据集构建训练数据，并基于特征编码与特征解码结构构建神经网络模型；
[0071]
步骤
②
、为弥补特征编码与特征解码结构引入的纹理结构和图像细节丢失的缺陷，利用unet模块对原始图像数据进行特征提取，获得噪声分布图和噪声等级图，同时根据得到的噪声分布图和原始噪声图像进行融合，获得曲率图；
[0072]
步骤
③
、设置曲率加权权重系数，并将其作为输入数据传输至自适应粒子群算法中，并设置迭代次数以及损失函数为阈值条件进行迭代，在迭代过程中以达到图像去噪最优为目标，训练多样化的去噪模型。
[0073]
实施例二
[0074]
在实施例一基础上的进一步实施例中，现有技术中，获取噪声分布常采用pnp方法，即plug-and-play，当该方法在观测图像噪声分布不准确时，去噪模型就会发生明显退化。因此，本实施例基于pnp架构，将噪声分布估计视作为一个变量，并基于该变量估计每次迭代的噪声分布。
[0075]
具体的，获取噪声分布的表达式为：
[0076]
；
[0077]
式中，表示第次迭代的噪声分布估计；表示噪声估计模型；表示第次迭代的最新重构图像。其中重构图像为经过每一次迭代后获得的降噪图像。
[0078]
实施例三
[0079]
在实施例一基础上的进一步实施例中，由于不同信噪比在图像重建的过程中对纹理细节的保留与图像去噪的力度具有对抗性，因此本实施基于不同噪声的水平，选用与其相适应的曲率强度，通过采用自适应粒子群优化的方法对曲率的加权系数进行优化。
[0080]
具体的，采用自适应粒子群优化的过程包括以下步骤：
[0081]
步骤1、初始化参数系数；其中，参数系数包括：迭代权重系数、粒子群算法涉及到的各个参数；
[0082]
可选的，设置自适应粒子群算法中的迭代权重系数，初始化粒子群算法中的粒子速度、粒子位置信息，由于粒子速度和位置信息在每次的迭代过程中都会更新，因此针对每一次迭代更新过程中产生的数值，均执行一次自身最优位置和种群最优位置的记录。
[0083]
其中，在执行迭代更新的过程中，粒子速度的更新依赖于个体的认知、社会认知，以及原速度的惯性权重。
[0084]
步骤2、通过迭代查找的方式，更新参数系数；
[0085]
步骤3、对迭代更新过程中的收敛状态进行评估，并根据隶属函数判断种群进化的状态；
[0086]
可选的，种群进化过程中的状态包括4种，分别是探索、发现、收敛和跳出。
[0087]
步骤4、根据种群的进化状态确定更新过程中参数系数的变化规则，并在不同阶段制定相对应的策略；
[0088]
具体的，根据种群的进化状态确定更新过程中个体的认知、社会认知，以及原速度的惯性权重的变化规则，并在不同阶段对粒子个体认知加速度和群体加速度做出不同的策略。
[0089]
可选的，基于精英学习策略动态调整个体的认知、社会认知，以及原速度的惯性权重，以避免迭代过程中过早收敛，平衡算法全局和局部的寻优能力。
[0090]
步骤5、构建损失函数；
[0091]
具体的，将适应度函数作为损失函数，对应的表达式为：
[0092]
；
[0093]
式中，表示需要学习的权重系数；表示去噪子网络使用的算法；表示去噪估计子网络输出的去噪图；表示输入的噪声图像；n表示噪声图像总数量。
[0094]
每次迭代过程中，都会重新计算loss函数，以loss函数最小化为最优结果，根据loss函数阈值和迭代次数，确定算法终止条件。
[0095]
步骤6、将当前迭代过程中损失函数对应的数值作为迭代结束条件的判断依据。
[0096]
实施例四
[0097]
在一个实施例中，提出一种基于自适应曲率特征融合的图像盲去噪系统，用于实现一种基于自适应曲率特征融合的图像盲去噪方法，该系统包括以下模块：模型构建模块、图像获取模块、曲率计算模块、曲率优化模块、残差模块、融合模块、判断模块和输出模块。
[0098]
其中，模型构建模块基于卷积神经网络用于构建两阶段端到端的去噪模块；图像获取模块用于读取待分析的图像数据，并利用去噪模型获得噪声分布图；曲率计算模块用于将噪声分布图与原始噪声图像数据的残差进行融合，获得曲率图；曲率优化模块用于利用基于自适应粒子群优化算法对曲率图的加权曲率系数进行优化；残差模块用于利用去噪子网络对优化后的加权曲率、噪声等级和原始噪声图像进行处理分析，获得残差图像；融合模块用于融合残差图像与原始噪声图像，获得去噪图像数据；判断模块用于判断当前的迭代次数和损失函数值是否满足预设阈值，并将满足阈值时的去噪图像作为最终的去噪图像；输出模块用于输出最终的去噪图像。
[0099]
在进一步的实施例中，为了提高两阶段去噪模型的去噪性能，系统中还包括性能优化模块，通过构建数据训练集的方式，对模型构建模块构建的去噪模型进行性能训练，更新模型参数。
[0100]
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

技术特征：
1.一种基于自适应曲率特征融合的图像盲去噪方法，其特征在于，包括以下步骤：步骤1、基于卷积神经网络构建两阶段端到端的去噪模型；所述去噪模型包括：噪声估计子网络和去噪子网络；步骤2、读取待分析的原始噪声图像数据，并利用所述噪声估计子网络获得当前所述原始噪声图像数据对应的噪声分布和噪声等级，并基于噪声分布获得噪声分布图；步骤3、将所述噪声分布图与原始噪声图像数据的残差进行融合，获得曲率图；步骤4、利用基于自适应粒子群优化算法对所述曲率图的加权曲率系数进行更新；步骤5、利用所述去噪子网络对更新后的加权曲率、噪声等级和原始噪声图像进行处理分析，获得残差图像；步骤6、将所述残差图像与原始噪声图像进行融合，获得去噪图像数据；步骤7、判断迭代次数和损失函数值是否同时满足预设阈值，当满足时，将当前获得的去噪图像数据作为最终的去噪图像，并输出；若不满足时，则跳转至步骤4。2.根据权利要求1所述的一种基于自适应曲率特征融合的图像盲去噪方法，其特征在于，获取噪声分布图的过程包括以下步骤：步骤2.1、读取待分析的原始噪声图像数据，并利用去噪模型执行特征提取，获得图像特征；步骤2.2、去噪模型在第一阶段采用卷积核为3*3大小的卷积层对图像特征执行池化操作，获得池化特征；步骤2.3、利用去噪模型的分类模块和映射模块对池化特征进行分类映射，获得噪声分布估计和噪声等级估计；步骤2.4、基于噪声分布估计获得噪声分布图。3.根据权利要求2所述的一种基于自适应曲率特征融合的图像盲去噪方法，其特征在于，基于pnp架构获取噪声分布估计，对应的获取表达式为：；式中，表示第次迭代的噪声分布估计；表示噪声估计模型；表示第次迭代的最新重构图像；所述重构图像为经过每一次迭代后获得的降噪图像。4.根据权利要求3所述的一种基于自适应曲率特征融合的图像盲去噪方法，其特征在于，基于获得的曲率图构建曲率监督模块，用于为不同的特征图像赋予相应的权重，获取加权曲率；所述曲率监督注意模块执行数据处理的过程中，首先进行去噪先验建模，对曲率图进行1*1卷积，然后利用激活函数激活，再与重构图像得到的特征图进行1*1卷积，得到注意图，并将所述注意图作为去噪子网络的输入。5.根据权利要求1所述的一种基于自适应曲率特征融合的图像盲去噪方法，其特征在于，利用去噪模型执行图像去噪之前，还包括：构建包含训练数据和测试数据的数据训练集对去噪模型执行性能优化的操作；所述数据训练集中60%的数据是训练数据；所述数据训练集中40%的数据是测试数据。6.根据权利要求1所述的一种基于自适应曲率特征融合的图像盲去噪方法，其特征在
于，利用基于自适应粒子群优化算法对曲率图的加权曲率系数进行更新的过程包括以下步骤：步骤4.1、初始化参数系数；所述参数系数包括：迭代权重系数、粒子速度、粒子位置信息、粒子自身最优位置、种群最优位置、个体的认知、社会认知、原速度惯性权重、迭代次数；步骤4.2、在迭代次数内，通过精英学习策略更新参数系数；步骤4.3、对迭代更新过程中的收敛状态进行评估，并根据隶属函数判断种群进化的状态；步骤4.4、根据种群的进化状态确定更新过程中参数系数的变化规则，并在不同阶段制定相对应的策略；步骤4.5、构建损失函数；步骤4.6、将当前迭代过程中损失函数对应的数值用于步骤7的判断依据，并跳转至步骤5。7.根据权利要求6所述的一种基于自适应曲率特征融合的图像盲去噪方法，其特征在于，采用适应度函数作为构建的损失函数，对应的表达式为：；式中，表示需要学习的权重系数；表示去噪子网络使用的算法；表示去噪估计子网络输出的去噪图；表示输入的噪声图像；n表示噪声图像总数量。8.一种图像去噪系统，用于实现如权利要求1-7任意一项所述的基于自适应曲率特征融合的图像盲去噪方法，其特征在于，所述图像去噪系统包括以下模块：模型构建模块，被设置为构建两阶段端到端的去噪模型；图像获取模块，被设置为读取待分析的原始噪声图像数据，并利用去噪模型获得噪声分布图；曲率计算模块，被设置为将噪声分布图与原始噪声图像数据的残差进行融合，获得曲率图；曲率优化模块，被设置为对曲率图的加权曲率系数进行优化；残差模块，被设置为对优化后的加权曲率、噪声等级和原始噪声图像进行处理分析，获得残差图像；融合模块，被设置为融合残差图像与原始噪声图像，获得去噪图像数据；判断模块，被设置为判断当前的迭代次数和损失函数值是否满足预设阈值，并将满足阈值时的去噪图像作为最终的去噪图像；输出模块，被设置为输出最终的去噪图像。9.一种基于自适应曲率特征融合的图像盲去噪方法设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-7任意一项所述的基于自适应曲率特征融合的图像盲去噪方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的基于自适应曲率特征融合的图像盲去噪方法。

技术总结
本发明提出了一种基于自适应曲率特征融合的图像盲去噪方法及系统，属于图像数据处理的技术领域。针对图像数据受到噪声影响的现象，通过构建基于两阶段端到端去噪模型的方式获取噪声等级和噪声分布数据，从而获得曲率图，并通过自适应学习的方式优化曲率，进而满足实际应用过程中对细节特征以及去噪强度的要求。另外，本发明针对细节特征程度不同的图像，分类进行特征提取，基于自适应算法对曲率权重加以学习，大大提升了自然环境下的细节把控和去噪能力。控和去噪能力。控和去噪能力。


技术研发人员：于亮亮 李成华 张阳
受保护的技术使用者：中科方寸知微（南京）科技有限公司
技术研发日：2023.08.18
技术公布日：2023/9/16