一种图像修复方法、系统及电子设备

1.本发明涉及图像修复技术领域，特别是涉及一种图像修复方法、系统及电子设备。


背景技术：

2.随着信息时代的高速发展以及各类图像传感器的出现，大量的数据以图像的形式在网络中传播，由于传感器被部分遮挡或者图像在传输过程中产生像素的损失，导致图像接收设备接收到的图像信息有所丢失，图像不完整，于是图像修复技术被用来修复图像的缺失部分，增强图像的质量。
3.对于传统的图像修复算法而言，大部分方法只能从输入的图像中获取有用的信息，通过扩散或者块填充的方法对缺损或者遮挡的图像进行修复，但是如果图像出现大面积的破损，传统的图像修复算法修复效果就会很差，几乎丧失了修复能力，而且图像数据是属于结构性数据，传统的图像修复算法欠缺感知上下文语义信息的能力，所以修复效果往往不佳。
4.随着深度学习的进步，基于深度学习的图像修复逐渐成长起来依赖于训练的神经网络的“幻觉”来填补图像中的大洞；尤其现在卷积神经网络的迅速发展以及生成式对抗网络的设计使得图像处理领域得到了快速地发展，基于深度学习的图像修复技术也得到了广泛且深入地研究。
5.现如今生成式对抗(generative adversarial networks，gan)网络得到了广泛地研究，是当下图像修复技术的热点。传统的图像修复方法是直接将整幅图像输入到修复网络中进行修复，这种修复方式会造成没有损坏的图像区域进行了没有必要的修复，给修复网络造成了计算压力并造成了像素的损失，修复效率不高；并且传统的gan网络由于自身的网络结构不完善，存在对大面积缺损图像修复结果比较模糊以及鉴别器鉴别能力差等问题。


技术实现要素：

6.为解决现有技术存在的上述问题，本发明提供了一种图像修复方法、系统及电子设备。
7.为实现上述目的，本发明提供了如下方案：
8.一种图像修复方法，包括：
9.获取目标检测数据集以及图像修复数据集；
10.采用所述目标检测数据集训练改进后的yolov5网络得到目标检测模型；
11.采用所述图像修复数据集训练改进后的gan网络得到图像修复模型；
12.将待修复图像输入所述目标检测模型中检测出待修复区域；
13.将所述待修复区域输入所述图像修复模型得到图像修复结果；
14.融合所述图像修复结果和待修复图像得到修复后的图像。
15.可选地，在yolov5网络中加入盒注意力机制得到所述改进后的yolov5网络。
16.可选地，yolov5网络中，在深层次特征与下一层的浅层次特征进行融合的时候加入所述盒注意力机制得到所述改进后的yolov5网络。
17.可选地，在gan网络中引入协同调制机制和双重对比损失函数后得到所述改进后的gan网络。
18.可选地，在gan网络中引入协同调制机制的过程包括：将无条件协调生成器调制为协同调制生成器；
19.调制为协同调制生成器的过程中，潜在因子通过八个全连接网络转换和仿射变换之后生成风格向量。
20.可选地，所述双重对比损失函数为
21.式中，g为生成器，d为鉴别器，为第一种情况下的对比损失函数，为第二种情况下的对比损失函数，为鉴别器将生成器生成的假样本分辨成真实样本的概率最小化，为判别器将真样本判别为真样本的概率最大化。
22.根据本发明提供的具体实施例，本发明公开了以下技术效果：
23.本发明提供的图像修复方法，将传统的图像修复方法拆分为待修复区域检测阶段和图像修复阶段，首先采用目标检测模型将待修复区域检测出来，然后只将待修复区域输入到图像修复模型进行图像修复，能够避免了将整幅图像进行修复造成的资源浪费，提高修复效率。并且，本发明训练改进后的yolov5网络得到目标检测模型，能够解决原始yolov5网络在复杂背景下和多噪声条件下检测精度不佳或者误检漏检的问题，训练改进后的gan网络得到图像修复模型，能够解决传统的gan网络对于大面积破损图像的修复效果不佳的问题，进而提高图像修复效果。
24.进一步，本发明还提供了以下实施结构：
25.一种图像修复系统，应用于上述提供的图像修复方法；所述系统包括：
26.数据集获取模块，用于获取目标检测数据集以及图像修复数据集；
27.目标检测模型训练模块，用于采用所述目标检测数据集训练改进后的yolov5网络得到目标检测模型；所述改进后的yolov5网络为在yolov5网络中加入盒注意力机制得到的网络；
28.图像修复模型训练模块，用于采用所述图像修复数据集训练改进后的gan网络得到图像修复模型；所述改进后的gan网络为在gan网络中引入协同调制机制和双重对比损失函数后得到的网络；
29.待修复区域检测模块，用于将待修复图像输入所述目标检测模型中检测出待修复区域；
30.修复结果确定模块，用于将所述待修复区域输入所述图像修复模型得到图像修复结果；
31.图像修复模块，用于融合所述图像修复结果和待修复图像得到修复后的图像。
32.一种电子设备，包括：
33.存储器，用于存储计算机程序；
34.处理器，与所述存储器连接，用于调取并执行所述计算机程序以实施上述提供的图像修复方法。
35.一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序；所述计算机程序用于实施上述提供的图像修复方法。
36.因本发明上述提供的实施结构实现的技术效果与本发明提供的图像修复方法实现的技术效果相同，故在此不再进行赘述。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明提供的图像修复方法的流程图；
39.图2为本发明提供的融合盒注意力机制的yolov5网络结构示意图；
40.图3为本发明提供的盒注意力机制的结构示意图；
41.图4为本发明提供的调制为协同调制生成器的结构示意图；其中，图4的(a)为无条件调制生成器的结构示意图，图4的(b)为条件生成器的结构示意图，图4的(c)为条件调制生成器的结构示意图，图4的(d)为协同调制生成器的结构示意图；
42.图5为本发明提供的基于无条件协调生成器的示意图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.本发明的目的是提供一种图像修复方法、系统及电子设备，能够提高图像修复效果和图像修复效率。
45.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
46.如图1所示，本发明提供的图像修复方法，包括：
47.步骤100：获取目标检测数据集以及图像修复数据集。在这一步骤之前，需要根据修复的对象的不同来制作不同的目标检测数据集以及图像修复数据集。其中，根据自身需求收集待修复区域目标检测数据集，并完成数据的标注。
48.步骤101：采用目标检测数据集训练改进后的yolov5网络得到目标检测模型。该步骤主要采用的是ba-yolo目标检测算法来训练检测待修复区域的目标检测模型。具体的，是将盒注意力机制box attention融入到yolov5网络的特征融合过程中的ba-yolo算法对目标检测数据集进行训练。其中，融合盒注意力机制的yolov5网络结构如图2所示。图2中，模块名称中英对照如表1所示。
49.表1模块名称中英对照表
[0050][0051][0052]
在实际应用过程中，boxattention属于多头注意力机制，box attention将具有相同特征的多头聚合，结合可学习的投影矩阵wo在多头注意力multi-head self-attention的基础上进行注意力计算。其中，给定第i个注意力头中的query(音译为意图)向量q的感兴趣盒为bi，boxattention使用双线性插值从感兴趣盒bi中提取尺寸大小为m
×
m的特征图vi。在第i个head attention(注意力头)的计算中，特征图vi为一组对应query向量q的value，然后计算query向量q和m
×
m可学习的key向量ki之间的点积，再经过softmax函数之后得到注意力权重图，最后再乘以对应位置的价值v，得到带注意力权值尺寸为m
×
m的特征图vi的加权平均值hi为：
[0053][0054]
式中，q,ki,v分别表示的是查询量，键值以及价值。boxattention(q,ki,vi)为注意力头机制，vi为第i个价值。
[0055]
根据上述得到的加权平均值hi，然后在特征融合的时候如图3所示，将深层次特征与下一层浅层次的特征进行融合的时候加入注意力机制来分配权重，相当于在小尺度的大目标信息中找到一个感兴趣区域roi，然后再利用浅层信息做细节补充，并抑制无关信息。所以，在yolov5网络中加入盒注意力机制可以增强对关键特征的提取能力，进而增强网络的特征融合效果，降低噪声和复杂背景的影响，提高对目标(即待修复区域)的检测精度，能够更加精准地找到图像中待修复区域目标。
[0056]
步骤102：采用图像修复数据集训练改进后的gan网络得到图像修复模型。该步骤主要采用的是引入协同调制机制和双重对比损失函数的gan模型来训练图像修复模型。
[0057]
在实际应用过程中，首先为了加强对大面积缺损图像的修复能力，在gan网络中引入协同调制机制来综合条件gan网络和非条件gan网络的优势。具体的，在无条件协调生成器(如图4的(a)所示)中，潜在因子z被调制的过程如图4的(a)至图4的(d)以及图5所示，潜在因子z被八个全连接网络m转换成为了中间向量w，此时的中间向量w在保持与训练集一致
的同时，还能使得属性分布更加均匀，保持与生成图像之间更好地线性关系，有利于对生成的图像进行属性控制，所以中间向量w更加适合作为生成器的输入。之后中间向量w经过仿射变换a后再通过解调得到能控制合成网络每层的风格。另外，通过额外的噪声可以帮助合成网络提升随机变换的性能。潜在因子z通过八个全连接网络m的映射和仿射变换a之后生成的风格向量s可以表示为：
[0058]
s＝a(m(z)) (2)
[0059]
式中，m(z)表示八个全连接网络对潜在因子z进行映射，a(
·
)表示进行仿射变换。
[0060]
协同调制生成器能够协调条件gan网络和无条件gan网络之间的差异性，自然地学习并利用随机风格，如图4的(d)所示。此时风格向量s可以表示为：
[0061]
s＝a(e(y),m(z)) (3)
[0062]
式中，e(y)表示条件生成器，y表示条件输入。
[0063]
为了提高gan网络中鉴别器的鉴别能力，在引入协同调制机制的基础上使用双重对比损失函数。在第一种情况下，即在所有生成的图像中加入一张真实的图片，要求鉴别器能够将这张真实的图像选择出来的情况，对比损失函数为：
[0064][0065]
式中，为期望函数，p(x)表示的是真实样本的分布，n(0,id)表示假样本的分布，id表示假样本的范围，d(x)表示生成判别器将样本x分类为真实数据的概率。d(g(z))表示把假样本分辨成真样本的概率。
[0066]
在第二种情况下，即在一批真实的图片当中放入一张生成的图片，要求鉴别器将这一张生成图片鉴别出来的情况，对比损失函数为
[0067][0068]
将这两种场景下的训练过程用统一的双重对比损失函数表示为：
[0069][0070]
式中，g为生成器，d为鉴别器，为第一种情况下的对比损失函数，为第二种情况下的对比损失函数，为鉴别器将生成器生成的假样本分辨成真实样本的概率最小化，为判别器将真样本判别为真样本的概率最大化。
[0071]
在协同调制的基础上，引入双重对比损失函数，能够让鉴别器在多张生成图像和一张真实图像中挑选出那一张真实图像，之后在多张真实图像和一张生成图像中识别出那一张生成图像，以此来加强鉴别器的鉴别能力，使其有能力与生成器进行对抗。结合这两种机制可以。
[0072]
gan网络的损失函数通过这种对比学习，可以强化鉴别器对于真实图像和生成图像之间的甄别能力，可以拥有足够地泛化能力用来激励对抗生成器(即gan网络中的生成网络)的对抗，给生成器传输更多的有意义地信息，促进生成器的进化，使得生成器生成的样本语义连贯，增强模型的图像修复能力，此外，还可以增强对大面积缺损图像的修复能力和修复效果。
[0073]
步骤103：将待修复图像输入目标检测模型中检测出待修复区域。
[0074]
步骤104：将待修复区域输入图像修复模型得到图像修复结果。
[0075]
步骤105：融合图像修复结果和待修复图像得到修复后的图像，即将输出的图像修复结果与背景融合形成与待修复图像尺寸相当的图像，即为修复后的图像。
[0076]
基于上述描述，相对于现有技术，本发明具有以下特点：
[0077]
i)将传统的图像修复方法分解为了待修复区域检测和缺损图像修复两个阶段，提高了图像修复的效率。
[0078]
ii)在yolov5网络中引入了盒注意力机制，提出了ba-yolo算法，增强了yolov5网络对关键特征的注意力，忽略了背景和噪声的影响，提高了待修复区域的目标检测精度。
[0079]
iii)在传统的gan网络中同时引入了协同调制机制和双重对比损失函数，可以增强模型对大面积缺损图像的修复效果以及提高鉴别器的能力。
[0080]
进一步，本发明还提供了以下实施结构：
[0081]
一种图像修复系统，应用于上述提供的图像修复方法。系统包括：
[0082]
数据集获取模块，用于获取目标检测数据集以及图像修复数据集。
[0083]
目标检测模型训练模块，用于采用目标检测数据集训练改进后的yolov5网络得到目标检测模型。改进后的yolov5网络为在yolov5网络中加入盒注意力机制得到的网络。
[0084]
图像修复模型训练模块，用于采用图像修复数据集训练改进后的gan网络得到图像修复模型。改进后的gan网络为在gan网络中引入协同调制机制和双重对比损失函数后得到的网络。
[0085]
待修复区域检测模块，用于将待修复图像输入目标检测模型中检测出待修复区域。
[0086]
修复结果确定模块，用于将待修复区域输入图像修复模型得到图像修复结果。
[0087]
图像修复模块，用于融合图像修复结果和待修复图像得到修复后的图像。
[0088]
一种电子设备，包括：
[0089]
存储器，用于存储计算机程序。
[0090]
处理器，与存储器连接，用于调取并执行计算机程序以实施上述提供的图像修复方法。
[0091]
此外，上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0092]
本发明将传统的图像修复方法拆分为待修复区域检测阶段和图像修复阶段，首先将待修复区域检测出来，然后只将待修复区域输入到图像修复网络，避免将整幅图像进行修复造成资源浪费，提高修复效率。
[0093]
此外，在待修复区域检测阶段，本发明在yolov5网络中加入盒注意力机制boxattention的方法，提出了ba-yolo算法，来解决原始yolov5网络在复杂背景下和多噪声
条件下检测精度不佳或者误检漏检的问题，盒注意力机制可以使得yolov5网络在进行特征融合的时候加强对关键特征的关注，忽略背景和噪声的影响。本发明提出的ba-yolo算法对于待修复目标区域的检测精度相比于yolov5网络的检测精度更高。
[0094]
在图像修复阶段，本发明提出了一种在gan网络中引入协同调制机制和双重对比损失函数来优化图像修复性能的算法，针对传统的gan网络对于大面积破损图像的修复效果不佳的问题，本发明在gan网络中引入协同调制机制来结合条件gan网络生成图像风格可控的优势和非条件gan网络图像随机生成能力强的优势，提高修复网络对大面积缺损图像的修复性能，同时，针对传统gan的损失函数对于鉴别器的特征表示泛化不足，无法激发生成器的对抗性进化的缺点，本发明在引入协同调制机制的基础上，在gan网络中使用了双重对比损失函数，增强鉴别器的鉴别能力并使其有能力与生成器对抗。提出的引入协同调制机制和双重对比损失函数的图像修复算法在大面积的图像修复工作中效果更好，性能更优。
[0095]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0096]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种图像修复方法，其特征在于，包括：获取目标检测数据集以及图像修复数据集；采用所述目标检测数据集训练改进后的yolov5网络得到目标检测模型；采用所述图像修复数据集训练改进后的gan网络得到图像修复模型；将待修复图像输入所述目标检测模型中检测出待修复区域；将所述待修复区域输入所述图像修复模型得到图像修复结果；融合所述图像修复结果和待修复图像得到修复后的图像。2.根据权利要求1所述的图像修复方法，其特征在于，在yolov5网络中加入盒注意力机制得到所述改进后的yolov5网络。3.根据权利要求2所述的图像修复方法，其特征在于，yolov5网络中，在深层次特征与下一层的浅层次特征进行融合的时候加入所述盒注意力机制得到所述改进后的yolov5网络。4.根据权利要求1所述的图像修复方法，其特征在于，在gan网络中引入协同调制机制和双重对比损失函数后得到所述改进后的gan网络。5.根据权利要求4所述的图像修复方法，其特征在于，在gan网络中引入协同调制机制的过程包括：将无条件协调生成器调制为协同调制生成器；调制为协同调制生成器的过程中，潜在因子通过八个全连接网络转换和仿射变换之后生成风格向量。6.根据权利要求4所述的图像修复方法，其特征在于，所述双重对比损失函数为式中，g为生成器，d为鉴别器，为第一种情况下的对比损失函数，为第二种情况下的对比损失函数，为鉴别器将生成器生成的假样本分辨成真实样本的概率最小化，为判别器将真样本判别为真样本的概率最大化。7.一种图像修复系统，其特征在于，应用于如权利要求1-6任意一项所述的图像修复方法；所述系统包括：数据集获取模块，用于获取目标检测数据集以及图像修复数据集；目标检测模型训练模块，用于采用所述目标检测数据集训练改进后的yolov5网络得到目标检测模型；所述改进后的yolov5网络为在yolov5网络中加入盒注意力机制得到的网络；图像修复模型训练模块，用于采用所述图像修复数据集训练改进后的gan网络得到图像修复模型；所述改进后的gan网络为在gan网络中引入协同调制机制和双重对比损失函数后得到的网络；待修复区域检测模块，用于将待修复图像输入所述目标检测模型中检测出待修复区域；修复结果确定模块，用于将所述待修复区域输入所述图像修复模型得到图像修复结果；融合所述图像修复结果和待修复图像得到修复后的图像。
8.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，与所述存储器连接，用于调取并执行所述计算机程序以实施如权利要求1-6任意一项所述的图像修复方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序；所述计算机程序用于实施如权利要求1-6任意一项所述的图像修复方法。

技术总结
本发明公开一种图像修复方法、系统及电子设备，涉及图像修复技术领域。本发明将传统的图像修复方法拆分为待修复区域检测阶段和图像修复阶段，首先采用目标检测模型将待修复区域检测出来，然后只将待修复区域输入到图像修复模型进行图像修复，能够避免了将整幅图像进行修复造成的资源浪费，提高修复效率。并且，本发明训练改进后的yolov5网络得到目标检测模型，能够解决原始yolov5网络在复杂背景下和多噪声条件下检测精度不佳或者误检漏检的问题，训练改进后的GAN网络得到图像修复模型，能够解决传统的GAN网络对于大面积破损图像的修复效果不佳的问题，进而提高图像修复效果。进而提高图像修复效果。进而提高图像修复效果。


技术研发人员：张永军 张宇
受保护的技术使用者：北京邮电大学
技术研发日：2023.07.17
技术公布日：2023/10/15