一种生成对抗网络的缺陷合成方法、系统、设备、及介质与流程

1.本发明涉及图像处理技术领域，更具体地说，它涉及一种生成对抗网络的缺陷合成方法、系统、设备、及介质。


背景技术：

2.深度神经网络因具备自动提取图像特征的能力，在图像识别、目标检测等计算机视觉领域逐步取代手工制作特征的传统视觉特征提取的方法，在工业质检领域的应用也越来越广泛。布匹缺陷检测是纺织工业领域一项重要任务，随着数字化产业升级这一国家战略的推进，利用机器设备自动化坯布瑕疵缺陷检测替代人工检测是业务场景中的一种需求，深度学习也成了工业视觉缺陷检测的主流的方法。
3.然而深度学习模型的有监督训练需要依赖人工标注的数据，而坯布缺陷类别在实际生产场景中的形态众多，部分缺陷出现的频次很低，缺陷数据的采集存在较大的困难，因此，利用良品坯布的图像数据生成缺陷图像，成为落地过程中的一个重要环节。软件合成方法成为低成本扩充数据的一种重要方案。而目前用于坯布良品布种中生成疵点的方法，主要是通过泊松融合等克隆方法，但这种合成的方法，瑕疵缺陷纹理与良品布的纹理难以对齐，导致合成的边界感特别重，容易使模型学习到合成痕迹的特征信息，对模型迁移精度的提升比较有限。


技术实现要素：

4.针对现有技术存在的不足，本发明的目的在于提供一种生成对抗网络的缺陷合成方法、系统、设备、及介质，具有使缺陷纹理和良品布面纹理的对齐，提高检测模型的性能的优点。
5.本发明的上述技术目的是通过以下技术方案得以实现的：一种生成对抗网络的缺陷合成方法，包括：
6.对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；
7.对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；
8.将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；
9.将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型；
10.将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；
11.将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像。
12.可选的，所述生成器的优化目标为最小化生成器损失函数；所述生成器损失函数包括：
13.cgan_loss＝min g max d e
x,z
[log(1-d(x,g(x,z)))]+e
x,y
[log d(x,
[0014]
y)]；
[0015]
l1_loss＝e
x,y
[||y-g(x,z)||1]；
[0016]
其中cgan_loss为条件生成对抗网络的生成器的损失函数；l1_loss为l1正则损失函数；x是输入的图片，z是随机噪声，y是由判别器判定的真实图像；所述真实图像包括坯布缺陷图像和由判别器判定真实的网络缺陷图像；g为生成器模型；d为判别器模型。
[0017]
可选的，所述生成器通过resnet18进行下采样，然后使用反卷积实现上采样，中间使用横向连接获取底层特征信息。
[0018]
可选的，所述辨别器由特征提取模块和局部感知判别损失模块组成；对于正例，所述判别器的输入是缺陷遮罩图片和真实图像在通道维度上的拼接；对于负例，所述判别器的输入是坯布缺陷图像和网络缺陷图像在通道维度上的拼接。
[0019]
可选的，所述判别器的优化目标为最大化判别器损失函数；其中，判别器损失函数为：
[0020]
∑ilabelilog(d(x,y))+(1-labeli)log(1-d(x,g(x,z)))
[0021]
其中，labeli表示该点是否为真，其值只能为0或1；对于正例，labeli全为1，此时，判别器的优化目标为最大化：∑ilog(d(x,y))；对于负例，labeli在非mask遮罩区域的为1，在mask遮罩区域为0，此时判别器的优化目标为最大化：
[0022]
∑
非mask遮罩区域的点
log(d(x,y))+∑
mask遮罩区域的点
log(1-d(x,g(x,z)))。
[0023]
可选的，所述生成对抗网络模型在正则约束情况下的整体优化目标为：
[0024]g*
＝argmingmaxdlcgan(g,d)+λl1(g)。
[0025]
可选的，所述将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型，包括：
[0026]
将所述网络缺陷图像和缺陷遮罩图像输入判别器进行判别，更新判别器，固定生成器；
[0027]
将网络缺陷图像和缺陷遮罩图像输入更新后的判别器进行判别，固定判别器，更新生成器，得到生成对抗网络模型。
[0028]
一种生成对抗网络的缺陷合成系统，包括：缺陷标注模块，用于对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；
[0029]
缺陷遮罩模块，用于对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；
[0030]
缺陷生成模块，用于将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；
[0031]
模型建立模块，用于将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型；
[0032]
图片遮罩模块，用于将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；
[0033]
缺陷合成模块，用于将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像。
[0034]
一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
[0035]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0036]
综上所述，本发明具有以下有益效果：由于生成对抗网络模型能够自我更新，使得生成器所生成的缺陷形态更加解决真实的坯布缺陷图像中的缺陷形态，且由于判别器的存在，若缺陷纹理和布面纹理存在明显的合成痕迹则容易判定为假，因此生成器所生成的合成缺陷图像能够使缺陷纹理与坯布良品图像的布面纹理对齐，从而引导缺陷检测模型将注意力聚焦在缺陷形态本体，进而提升缺陷检测模型的性能。
附图说明
[0037]
图1为本发明的流程示意图；
[0038]
图2为本发明组装时的结构框图；
[0039]
图3为本发明实施例中计算机设备的内部结构图。
具体实施方式
[0040]
为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。
[0041]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
[0042]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”以及类似的表述只是为了说明的目的，而不是指示或暗示所指装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0043]
下面结合附图和实施例，对本发明进行详细描述。
[0044]
本发明提供了一种生成对抗网络的缺陷合成方法,如图1所示，包括：
[0045]
步骤100、对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；
[0046]
步骤200、对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；
[0047]
步骤300、将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；
[0048]
步骤400、将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型；
[0049]
步骤500、将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；
[0050]
步骤600、将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像。
[0051]
在实际应用中，首先对预先获取的所有坯布缺陷图像中的缺陷所在位置进行多边形框标注，将所有坯布缺陷图像中的各个缺陷标记出来，并得到各个坯布缺陷图像所对应的缺陷标注图像；随后，对缺陷标注图像中的缺陷所在位置的多边形框进行mask遮罩，通过mask遮罩对缺陷部位进行遮蔽得到缺陷遮罩图像，随后通过生成器在缺陷遮罩图像的遮罩区域生成与遮罩区域外的坯布线条相适配的缺陷心态，即可得到网络缺陷图像，并将生成的网络缺陷图像与带有mask遮罩的缺陷遮罩图像输入判别器中，判别器对缺陷遮罩图像和网络缺陷图像进行比对，并判断真假，并在判断出真假后将结果输入给生成器，通过生成器与判别器的相互对抗构成生成对抗网络模型，其中，生成器需要不断更新优化所生成的网络缺陷图像，目的在于使判别器判定为真，判别器也需要不断更新优化其判别能力，其优化目的在于判断出生成器生成的网络缺陷图像为假；在生成对抗网络模型构建完成后，只需在需要生成缺陷的坯布良品图像中进行任意的mask遮罩，生成器即可在mask遮罩区域生成与坯布良品图像的纹理相对齐的缺陷形态，在辨别器判定为真后输出，即可得到合成缺陷图像；由于生成对抗网络模型能够自我更新，使得生成器所生成的缺陷形态更加解决真实的坯布缺陷图像中的缺陷形态，且由于判别器的存在，若缺陷纹理和布面纹理存在明显的合成痕迹则容易判定为假，因此生成器所生成的合成缺陷图像能够使缺陷纹理与坯布良品图像的布面纹理对齐，从而引导缺陷检测模型将注意力聚焦在缺陷形态本体，进而提升缺陷检测模型的性能。
[0052]
进一步地，所述生成器的优化目标为最小化生成器损失函数；所述生成器损失函数包括：
[0053]
cgan_loss＝min g max d e
x,z
[log(1-d(x,g(x,z)))]+e
x,y
[log d(x,
[0054]
y)]；
[0055]
l1_loss＝e
x,y
[||y-g(x,z)||1]；
[0056]
其中cgan_loss为条件生成对抗网络的生成器的损失函数；l1_loss为l1正则损失函数；x是输入的图片，z是随机噪声，y是由判别器判定的真实图像；所述真实图像包括坯布缺陷图像和由判别器判定真实的网络缺陷图像；g为生成器模型；d为判别器模型。
[0057]
在实际应用中，生成器损失函数也是生成器的优化函数，其用于调节生成器模型的参数，以使生成器所生成的缺陷图像更加接近于真实数据的分布；其中，第一部分为条件gan生成器loss(cgan_loss)，目的在于最小化d(x,g(x,z))的负对数；d(x,g(x,z))为判别器认为g(x,z)为真实样本的概率；g(x,z)为生成器生成的网络缺陷图像；而第二部分为l1正则loss，使用l1正则有助于让生成的图片更加清晰。
[0058]
可选的，所述生成器通过resnet18进行下采样，然后使用反卷积实现上采样，中间使用横向连接获取底层特征信息。
[0059]
在实际应用中，生成器的输入是带有mask遮罩的640x640的图片，输出的是生成了缺陷形态的图片。
[0060]
可选地，所述辨别器由特征提取模块和局部感知判别损失模块组成；对于正例，所述判别器的输入是缺陷遮罩图片和真实图像在通道维度上的拼接；对于负例，所述判别器
的输入是坯布缺陷图像和网络缺陷图像在通道维度上的拼接。
[0061]
在实际应用中，特征提取模块可以但不限于vgg16。对于正例，判别器的输入是带有mask的原始图片和含缺陷形态的ground truth图片在通道这个维度上的拼接，因此判别器输入的shape为：6x640x640，该输入经过判别器后，输出的shape为：1x62x62，其中每个点的感受野是70x70，那么对于正例来说，我们希望输出的1x40x40的张量全为1，表示都为真。对于负例，判别器的输入是原始图片和生成图片在通道维度上的拼接，我们希望输出的1x40x40的mask区域为0，非mask区域为1。这是一种局部感知判别器，用于集中优化mask区域。
[0062]
进一步地，所述判别器的优化目标为最大化判别器损失函数；其中，判别器损失函数为：
[0063]
∑ilabelilog(d(x,y))+(1-labeli)log(1-d(x,g(x,z)))
[0064]
其中，labeli表示该点是否为真，其值只能为0或1；对于正例，labeli全为1，此时，判别器的优化目标为最大化：∑ilog(d(x,y))；对于负例，labeli在非mask遮罩区域的为1，在mask遮罩区域为0，此时判别器的优化目标为最大化：
[0065]
∑
非mask遮罩区域的点
log(d(x,y))+∑
mask遮罩区域的点
log(1-d(x,g(x,z)))。
[0066]
在实际应用中，辨别器损失函数也就是辨别器的优化函数，其目的在于最大化辨别器的辨认准确度，而要最大化辨别器的辨认准确度，则需要辨别器认定网络缺陷图像的mask区域为假，其他区域为真，从而达到了在mask区域生成瑕疵点的目的。
[0067]
进一步地，所述生成对抗网络模型在正则约束情况下的整体优化目标为：
[0068]g*
＝argmingmaxdlcgan(g,d)+λl1(g)。
[0069]
在实际应用中，生成对抗网络模型的训练优化问题可以总结为在正则约束条件下的最大化辨别器损失函数，最小化生成器损失函数的博弈。
[0070]
进一步地，所述将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型，包括：
[0071]
将所述网络缺陷图像和缺陷遮罩图像输入判别器进行判别，更新判别器，固定生成器；
[0072]
将网络缺陷图像和缺陷遮罩图像输入更新后的判别器进行判别，固定判别器，更新生成器，得到生成对抗网络模型。
[0073]
在实际应用中，通过网络缺陷图像和缺陷遮罩图像对判别器进行训练并更新，此时固定生成器，当前的生成器所生成的网络缺陷图像容易被判别器识别为假，此时固定判别器并更新生成器，依次反复实现生成对抗网络模型的迭代，并使判别器识别出生成器生成的网络缺陷图像为假的准确率为50％，即可完成生成对抗网络模型。
[0074]
如图2所示，本发明还提供了一种生成对抗网络的缺陷合成系统，包括：缺陷标注模块10，用于对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；
[0075]
缺陷遮罩模块20，用于对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；
[0076]
缺陷生成模块30，用于将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；
[0077]
模型建立模块40，用于将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判
别，得到生成对抗网络模型；
[0078]
图片遮罩模块50，用于将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；
[0079]
缺陷合成模块60，用于将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像。
[0080]
关于一种生成对抗网络的缺陷合成系统的具体限定可以参见上文中对于一种生成对抗网络的缺陷合成方法的限定，在此不再赘述。上述一种生成对抗网络的缺陷合成系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0081]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种生成对抗网络的缺陷合成方法。
[0082]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0083]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；
[0084]
对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；
[0085]
将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；
[0086]
将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型；
[0087]
将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；
[0088]
将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像。
[0089]
在一个实施例中，所述生成器的优化目标为最小化生成器损失函数；所述生成器损失函数包括：
[0090]
cgan_loss＝min g max d e
x,z
[log(1-d(x,g(x,z)))]+e
x,y
[log d(x,
[0091]
y)]；
[0092]
l1_loss＝e
x,y
[||y-g(x,z)||1]；
[0093]
其中cgan_loss为条件生成对抗网络的生成器的损失函数；l1_loss为l1正则损失函数；x是输入的图片，z是随机噪声，y是由判别器判定的真实图像；所述真实图像包括坯布缺陷图像和由判别器判定真实的网络缺陷图像；g为生成器模型；d为判别器模型。
[0094]
在一个实施例中，所述生成器通过resnet18进行下采样，然后使用反卷积实现上采样，中间使用横向连接获取底层特征信息。
[0095]
在一个实施例中，所述辨别器由特征提取模块和局部感知判别损失模块组成；对于正例，所述判别器的输入是缺陷遮罩图片和真实图像在通道维度上的拼接；对于负例，所述判别器的输入是坯布缺陷图像和网络缺陷图像在通道维度上的拼接。
[0096]
在一个实施例中，所述判别器的优化目标为最大化判别器损失函数；其中，判别器损失函数为：
[0097]
∑ilabelilog(d(x,y))+(1-labeli)log(1-d(x,g(x,z)))
[0098]
其中，labeli表示该点是否为真，其值只能为0或1；对于正例，labeli全为1，此时，判别器的优化目标为最大化：∑ilog(d(x,y))；对于负例，labeli在非mask遮罩区域的为1，在mask遮罩区域为0，此时判别器的优化目标为最大化：
[0099]
∑
非mask遮罩区域的点
log(d(x,y))+∑
mask遮罩区域的点
log(1-d(x,g(x,z)))。
[0100]
在一个实施例中，所述生成对抗网络模型在正则约束情况下的整体优化目标为：
[0101]g*
＝argmingmaxdlcgan(g,d)+λl1(g)。
[0102]
在一个实施例中，所述将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型，包括：
[0103]
将所述网络缺陷图像和缺陷遮罩图像输入判别器进行判别，更新判别器，固定生成器；
[0104]
将网络缺陷图像和缺陷遮罩图像输入更新后的判别器进行判别，固定判别器，更新生成器，得到生成对抗网络模型。
[0105]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0106]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0107]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种生成对抗网络的缺陷合成方法，其特征在于，包括：对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型；将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像。2.根据权利要求1所述的方法，其特征在于，所述生成器的优化目标为最小化生成器损失函数；所述生成器损失函数包括：cgan_loss＝min g max d e
x,z
[log(1-d(x,g(x,z)))]+e
x,y
[logd(x,y)]；l1_loss＝e
x,y
[||y-g(x,z)||1]；其中cgan_loss为条件生成对抗网络的生成器的损失函数；l1_loss为l1正则损失函数；x是输入的图片，z是随机噪声，y是由判别器判定的真实图像；所述真实图像包括坯布缺陷图像和由判别器判定真实的网络缺陷图像；g为生成器模型；d为判别器模型。3.根据权利要求2所述的方法，其特征在于，所述生成器通过resnet18进行下采样，然后使用反卷积实现上采样，中间使用横向连接获取底层特征信息。4.根据权利要求2所述的方法，其特征在于，所述辨别器由特征提取模块和局部感知判别损失模块组成；对于正例，所述判别器的输入是缺陷遮罩图片和真实图像在通道维度上的拼接；对于负例，所述判别器的输入是坯布缺陷图像和网络缺陷图像在通道维度上的拼接。5.根据权利要求2所述的方法，其特征在于，所述判别器的优化目标为最大化判别器损失函数；其中，判别器损失函数为：∑
i
label
i
log(d(x,y))+(1-label
i
)log(1-d(x,g(x,z)))其中，label
i
表示该点是否为真，其值只能为0或1；对于正例，label
i
全为1，此时，判别器的优化目标为最大化：∑ilog(d(x,y))；对于负例，label
i
在非mask遮罩区域的为1，在mask遮罩区域为0，此时判别器的优化目标为最大化：∑
非mask遮罩区域的点
log(d(x,y))+∑
mask遮罩区域的点
log(1-d(x,g(x,z)))。6.根据权利要求5所述的方法，其特征在于，所述生成对抗网络模型在正则约束情况下的整体优化目标为：g
*
＝argmin
g
max
d
lcgan(g,d)+λl1(g)。7.根据权利要求1-6任一项所述的方法，其特征在于，所述将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型，包括：将所述网络缺陷图像和缺陷遮罩图像输入判别器进行判别，更新判别器，固定生成器；将网络缺陷图像和缺陷遮罩图像输入更新后的判别器进行判别，固定判别器，更新生成器，得到生成对抗网络模型。8.一种生成对抗网络的缺陷合成系统，其特征在于，包括：缺陷标注模块，用于对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；
缺陷遮罩模块，用于对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；缺陷生成模块，用于将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；模型建立模块，用于将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型；图片遮罩模块，用于将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；缺陷合成模块，用于将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本发明涉及一种生成对抗网络的缺陷合成方法、系统、设备、及介质，其技术方案要点是：所述方法包括：对预先获取的坯布缺陷图像进行多边形标注，得到缺陷标注图像；对所述缺陷标注图像的多边形标注部分进行mask遮罩，得到缺陷遮罩图像；将所述缺陷遮罩图像输入生成器中，在缺陷遮罩图像中的遮罩区域生成缺陷形态得到网络缺陷图像；将所述网络缺陷图像与缺陷遮罩图像输入判别器进行判别，得到生成对抗网络模型；将坯布良品图片中需要生成缺陷的区域进行mask遮罩，得到良品遮罩图像；将良品遮罩图像输入生成对抗网络模型，得到合成缺陷图像；本申请具有使缺陷纹理和良品布面纹理的对齐，提高检测模型的性能的优点。提高检测模型的性能的优点。提高检测模型的性能的优点。


技术研发人员：朱锦祥
受保护的技术使用者：上海致景信息科技有限公司
技术研发日：2023.05.04
技术公布日：2023/8/6