一种基于PGGAN模型的图像修复方法

一种基于pggan模型的图像修复方法
技术领域
1.本发明涉及图像修复技术领域，特别涉及一种基于pggan模型的图像修复方法。


背景技术：

2.图像修复(image inpainting)是指基于相邻空间信息将图像损失部分的像素填补完全使其结构纹理完整一致。图像修复所处理的问题是一个病态的反问题，它无法用数学过程来描述，也无法表示出其逆过程，人类无法从最终的退化影像中获得准确的原始影像信息。当破损区域较大，图像结构复杂时，对图像的修复具有很强的主观性，此时对图像的修复是在边界上用已知数据进行预测与之吻合，构成修复结果，表现出更强的病态性。因此图像修复研究的有效方法一直是个极具挑战的问题。
3.现有技术中，主要是基于生成对抗网络(generative adversarial network,gan),此方法将图片修复的问题转变为了生成和对抗的问题，gan包含两个模型，一个是生成模型(generative model),一个是判别模型(discriminative model)。将破损图像转变为高斯分布输入生成器，生成器会根据对破损图像的特征提取和上采样实现对图像的修复，判别器则输入真实图像(完整图像)和生成的图像，对两者进行特征提取下采样操作，进行对比判别生成器生成图像的真假以此来使得生成器和判别器互相博弈，以达到训练的目的。
4.上述现有技术存在的缺陷是：在具有复杂表面物体的图像修复上依旧存在不足。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种基于pggan模型的图像修复方法。
6.本发明实施例提供一种基于pggan模型的图像修复方法，包括：
7.获取待修复的图像集；
8.构建pggan模型；所述pggan模型包括生成器，局部判别器和全局判别器；生成器，局部判别器和全局判别器均由第一渐进层和第二渐进层构成；
9.将图像集中的图像输入到pggan模型，获得修复后的图像；
10.其中，所述pggan模型的构建，包括以下步骤：
11.在生成器的每个渐进层中第一普通卷积层后面加入高斯噪声；
12.将生成器的每个渐进层中第二普通卷积层换成可变卷积层dcnv2，并在可变卷积层后面添加注意力模块se；
13.全局判别器为pggan模型原有的判别器，局部判别器为将pggan模型原有判别器中每个渐进层的第二普通卷积层换成可变卷积层dcnv2。
14.另外的，所述图像集包括训练集，验证集和测试集，通过训练集对pggan模型进行训练；将测试集中待修复的图像输入到pggan模型中输出修复后的图像，将修复后的图像和验证集对比，根据联合损失函数选取出最优pggan模型。
15.另外的，所述联合损失函数为重建损失函数、对抗损失函数和平滑损失函数之和：
16.l＝λ
rec
l
rec
+λ
ant(g)
l
ant(g)
+λ
ant(p)
l
ant(p)
+λ
tv
l
tv
17.其中l表示所述联合损失函数，l
rec
表示所述重建损失函数，l
ant(g)
表示所述全局对抗损失函数，l
ant(p)
表示所述局部对抗损失函数，l
tv
表示所述平滑损失函数；λ
rec
、λ
ant(g)
、λ
ant(p)
和λ
tv
分别表示重建损失函数、全局对抗损失函数、局部对抗损失函数和平滑损失函数在训练中的权重。
18.另外的，所述重建损失函数l
rec
为：
[0019][0020]
l(yg,y
t
)＝-(y
t log(yg))+(1-y
t
)log(1-yg)
[0021]
其中m表示图像训练数据集，yg表示输出的生成图像，y
t
表示输入的真实图像；
[0022]
所述对抗损失函数l
ant
为：
[0023][0024]
其中x表示真实图像；z表示待修复区域；
[0025]
所述平滑损失函数l
tv
为：
[0026][0027]
其中x
i,j
代表输入图像中的一个像素点。
[0028]
另外的，全局对抗损失函数和局部对抗损失函数均为对抗损失函数，使用的是wgan-gp损失。
[0029]
另外的，所述在生成器的每个渐进层中第一普通卷积层后面加入高斯噪声包括：在第一渐进层的全连接层full-connected与第二件渐进层的上采样层upsample后面加入高斯噪声。
[0030]
本发明实施例提供的上述一种基于pggan模型的图像修复方法，与现有技术相比，其有益效果如下：
[0031]
通过在pggan模型的生成器中加入噪声、可变卷积层dcnv2和注意力模块se，来增加对形变较为复杂的物体图像的特征提取，提高对相邻空间信息的提取以在保证纹理和结构一致性的基础上对破损部位进行修复；在判别器上使用双判别器结构，分为全局判别器和局部判别器，全局判别器使用pggan原有的判别器，保证全局的图像风格一致性和整体图像的连续程度，局部判别器使用在原有判别器基础上使用可变卷积层dcnv2的判别器，针对局部特征进行特征提取与生成图像进行对抗以达到对图像局部复杂特征信息的提取、对比、修复，结合保证图像全局一致性的全局判别器对具有复杂形变物体的图像有更好的修复效果。
附图说明
[0032]
图1为一个实施例中提供的一种基于pggan模型的图像修复方法的流程示意图；
[0033]
图2为一个实施例中提供的一种基于pggan模型的图像修复方法的渐进层结构示意图；
[0034]
图3为一个实施例中提供的一种基于pggan模型的图像修复方法的判别器结构示
意图；
[0035]
图4为一个实施例中提供的一种基于pggan模型的图像修复方法的pggan图像修复模型结构示意图；
[0036]
图5为一个实施例中提供的一种基于pggan模型的图像修复方法的渐进式增加层的方法示意图。
具体实施方式
[0037]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0038]
如图1所示，一个实施例中，提供的一种基于pggan模型的图像修复方法，该方法包括：
[0039]
步骤1：将训练集、验证集和测试集的图像预处理成低分辨率的图像，即8
×
8像素的图像。
[0040]
步骤2：基于渐进式对抗网络的特点利用改变卷积方式、添加噪声影响、添加注意力模块、更改判别器结构的方法构建基于改进pggan的图像修复模型，图像修复模型是包括生成器和双判别器构成的生成对抗网络。
[0041]
生成器的渐进层结构如图2所示，渐进层包括两个像素归一化层、一个普通卷积层和一个可变卷积层、高斯噪声输入和一个se注意力模块，改变卷积方式包括在生成器的每个渐进层中第二普通卷积层换成可变卷积层；添加噪声影响是包括在生成器的每个渐进层中第一普通卷积层后加入高斯噪声。
[0042]
图2中normalize代表归一化操作，full-connected代表全连接层，pixelnormal表示像素归一化层，upsample代表上采样，dcnv2表示可变卷积层，se表示注意力模块。
[0043]
判别器的结构如图3所示，判别器包括全局判别器(g)和局部判别器(p)，全局判别器使用pggan原有的判别器，局部判别器使用在原有判别器基础上使用可变卷积的判别器。改变卷积方式是包括局部判别器的每个渐进层中第二普通卷积层换成可变卷积层,为了解决具有复杂形变物体的图像修复效果不佳的问题，如纹理不清晰结构不连贯。
[0044]
图3中part代表对输入图像的切割，downsample代表下采样。
[0045]
本发明针对pggan的生成器和判别器在网络训练是常出现的权重不优化，特征易丢失的问题，进行了结构优化、图像特征保护和模型保护。
[0046]
一方面，本发明利用具有可学习偏移量可变卷积层的灵活性来更好的获形变较为复杂物体的特征信息，来保证在生成器修复破损图像时更好的对相邻空间信息的提取以在保证纹理和结构一致性的基础上对破损部位进行修复，同时保证在局部判别器中更好的对图像局部复杂特征信息的提取以进行真实图像和生成图像局部特征的对比以此训练参数，达到更好的修复效果。
[0047]
步骤3：基于联合损失函数，采用数据集训练图像修复模型，获得最佳参数模型；联合函数为重建损失函数、对抗损失函数和平滑损失函数之和。
[0048]
本发明基于改进pggan图像修复模型的结构示意图如图4所示，将待修复图像训练集输入生成器，并将生成器的生成图像和真实图像(完整图像)输入判别器进行训练。
[0049]
gan的学习优化过程时生成器和判别器之间不断竞争的过程，但在训练过程中要考虑到使两者竞争的同时避免两者非良性竞争，基于gan的图像修复如果仅用对抗函数会出现修复效果不佳的问题，为了提升此模型的图像修复能力，本发明使用联合对抗函数为重建损失函数、对抗损失函数和平滑损失函数之和。
[0050]
联合损失函数表示为：
[0051]
l＝λ
rec
l
rec
+λ
ant(g)
l
ant(g)
+λ
ant(p)
l
ant(p)
+λ
tv
l
tv
；
[0052]
其中l表示联合损失函数，l
rec
表示重建损失函数，l
ant(g)
表示全局对抗损失函数，l
ant(p)
表示局部对抗损失函数，l
tv
表示平滑损失函数；λ
rec
、λ
ant(g)
、λ
ant(p)
和λ
tv
分别表示重建损失函数、全局对抗损失函数、局部对抗损失函数和平滑损失函数在训练中的权重。
[0053]
重建损失函数定义如下：
[0054][0055]
l(yg,y
t
)＝-(y
t
log(yg))+(1-y
t
)log(1-yg)
[0056]
其中m表示图像训练数据集，yg表示输出的生成图像，y
t
表示输入的真实图像。
[0057]
可选地，对抗损失函数定义如下：
[0058][0059]
全局对抗损失函数和局部对抗损失函数使用的皆是此处的对抗损失函数使用的是wgan-gp损失，其中x表示真实图像；z表示待修复区域。
[0060]
平滑损失函数定义如下：
[0061][0062]
其中x
i,j
代表输入图像中的一个像素点。
[0063]
利用对局部对抗损失函数和全局损失函数使用不同的权重可在整体的对抗训练过程中更好的针对局部特征和整体和谐度调整参数，使两者在一定程度上受到约束，做到保证局部的特征的基础上保持整体的一致性，确保各区域的纹理修复完整，加入l
tv
是为了保证整体图像的平滑程度。
[0064]
本发明基于改进pggan图像修复模型的结构示意图如图4所示，本发明基于改进pggan的图像修复模型是由生成器(g)和判别器(d)两个部分构成。基于pggan的渐进式地增加生成器和判别器的规模的特点其中生成器的主要任务是将破损的图像通过卷积、加入一定噪声的方式进行逐层的修复，目的是生成足以欺骗判别器的图像；判别器的主要任务是以真实样本为标准分为全局和局部的两个部分进行对抗，两个判别器都会随着生成器进行渐进式增加层，局部判别器的输入是剪裁过的生成器输出图像和真实图像，局部判别器的任务是侧重于小模块的特征提取，将生成图像和真实图像局部特征进行提取以真假判别，全局判别器的输入是完整的生成图像和真实图像，其任务是在对整体图像进行真假判别。两个网络在不断的渐进增加层同时进行对抗和博弈的过程中通过学习进行优化。其中渐进式增加层的方法如图5所示，当生成器(g)和判别器(d)的分辨率加倍和减半时，平滑地淡入新层。图5以16
×
16图像(a)到32
×
32图像(c)的过渡来说明举例。在过渡(b)期间，利用残差网络的方法，将在更高分辨率上操作的层视为残差块，其权重α从0到1线性增加。这里的2x
和0.5x分别指使用最近邻滤波和平均池化的方法将图像分辨率加倍和减半。
[0065]
图5中的torgb表示将特征向量投影到rgb颜色的层，而fromrgb则相反。
[0066]
步骤4：将待修复的图像输入训练好的最佳参数模型，输出修复后的图像。
[0067]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于pggan模型的图像修复方法，其特征在于，包括：获取待修复的图像集；构建pggan模型；所述pggan模型包括生成器，局部判别器和全局判别器；生成器，局部判别器和全局判别器均由第一渐进层和第二渐进层构成；将图像集中的图像输入到pggan模型，获得修复后的图像；其中，所述pggan模型的构建，包括以下步骤：在生成器的每个渐进层中第一普通卷积层后面加入高斯噪声；将生成器的每个渐进层中第二普通卷积层换成可变卷积层dcnv2，并在可变卷积层后面添加注意力模块se；全局判别器为pggan模型原有的判别器，局部判别器为将pggan模型原有判别器中每个渐进层的第二普通卷积层换成可变卷积层dcnv2。2.如权利要求1所述的一种基于pggan模型的图像修复方法，其特征在于，所述图像集包括训练集，验证集和测试集，通过训练集对pggan模型进行训练；将测试集中待修复的图像输入到pggan模型中输出修复后的图像，将修复后的图像和验证集对比，根据联合损失函数选取出最优pggan模型。3.如权利要求2所述的一种基于pggan模型的图像修复方法，其特征在于，所述联合损失函数为重建损失函数、对抗损失函数和平滑损失函数之和：l＝λ
rec
l
rec
+λ
ant(g)
l
ant(g)
+λ
ant(p)
l
ant(p)
+λ
tv
l
tv
其中l表示所述联合损失函数，l
rec
表示所述重建损失函数，l
ant(g)
表示所述全局对抗损失函数，l
ant(p)
表示所述局部对抗损失函数，l
tv
表示所述平滑损失函数；λ
rec
、λ
ant(g)
、λ
ant(p)
和λ
tv
分别表示重建损失函数、全局对抗损失函数、局部对抗损失函数和平滑损失函数在训练中的权重。4.如权利要求3所述的一种基于pggan模型的图像修复方法，其特征在于，所述重建损失函数l
rec
为：l(y
g
,y
t
)＝-(y
t log(y
g
))+(1-y
t
)log(1-y
g
)其中m表示图像训练数据集，y
g
表示输出的生成图像，y
t
表示输入的真实图像；所述对抗损失函数l
art
为：其中x表示真实图像；z表示待修复区域；所述平滑损失函数l
tv
为：其中x
i,j
代表输入图像中的一个像素点。5.如权利要求4所述的一种基于pggan模型的图像修复方法，其特征在于，全局对抗损失函数和局部对抗损失函数均为对抗损失函数，使用的是wgan-gp损失。
6.如权利要求1所述的一种基于pggan模型的图像修复方法，其特征在于，所述在生成器的每个渐进层中第一普通卷积层后面加入高斯噪声包括：在第一渐进层的全连接层full-connected与第二件渐进层的上采样层upsample后面加入高斯噪声。

技术总结
本发明公开了一种基于PGGAN模型的图像修复方法，其涉及图像修复技术领域。包括：获取待修复的图像集；构建PGGAN模型；所述PGGAN模型包括生成器，局部判别器和全局判别器；生成器，局部判别器和全局判别器均由第一渐进层和第二渐进层构成；将图像集中的图像输入到PGGAN模型，获得修复后的图像。本发明通过可变卷积的判别器对局部特征进行特征提取与生成图像进行对抗以达到对图像局部复杂特征信息的提取、对比、修复，结合保证图像全局一致性的全局判别器对具有复杂形变物体的图像有更好的修复效果。复效果。复效果。


技术研发人员：盛婕 杨刚 戴丽珍 邓高强 和益庆 杨海龙 杨辉 陆荣秀 徐芳萍
受保护的技术使用者：华东交通大学
技术研发日：2023.07.05
技术公布日：2023/9/9