基于生成对抗网络的条件式烟雾图像生成方法及系统

1.本发明涉及视频火灾探测和深度学习领域，具体涉及一种基于生成对抗网络的条件式烟雾图像生成方法及系统。


背景技术：

2.基于深度学习的烟雾检测模型需要大量的图像数据进行训练，然而目前已公开的火灾烟雾数据集规模太小，场景多样性不足，难以支持基于深度学习的烟雾探测技术的研究。此外，由于没有统一的场景丰富的火灾烟雾测试集，不同烟雾检测算法的性能难以进行准确的对比。由此可见，数据不足正是限制图像烟雾探测技术发展的重要因素。虽然已经有学者尝试使用图像处理软件或三维建模软件制作合成烟雾视频图像，但这种合成烟雾图像与真实图像的深层特征存在差异，使用这种合成烟雾图像作为训练数据时，对烟雾检测模型性能的提升不明显。生成对抗网络可以在对抗训练中从真实烟雾图像中学习深层图像特征，然而生成对抗网络存在训练不稳定，梯度消失，模式崩溃等问题。图像中的烟雾呈半透明特征且没有固定的形状，现有的生成对抗网络不适用于多样化烟雾图像的生成。因此，如何有效地提取并表现烟雾的静态特征，生成指定背景的烟雾图像，构造用于烟雾检测模型训练的大规模数据集成为一个亟待解决的问题。


技术实现要素：

3.为了解决上述技术问题，本发明提供一种基于生成对抗网络的条件式烟雾图像生成方法及系统。
4.本发明技术解决方案为：一种基于生成对抗网络的条件式烟雾图像生成方法，包括：
5.步骤s1：将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像；
6.步骤s2：将所述无烟背景图像与所述烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对所述无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像；
7.步骤s3：将所述生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导所述多尺度扩展融合生成网络与所述双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络；
8.步骤s4：针对目标场景进行火灾数值模拟，通过计算得到所述目标场景的火灾初期烟雾扩散图像，经过像素二值化处理获得烟雾轮廓掩码，将所述目标场景图像中掩码区域内的像素扣除，得到具有缺失区域的背景图像；将所述具有缺失区域的背景图像和所述烟雾轮廓掩码输入到所述训练好的多尺度扩展融合生成网络，在所述具有缺失区域的背景图像填充合理的烟雾纹理，获得逼真的烟雾生成图像。
9.本发明与现有技术相比，具有以下优点：
10.本发明公开了一种基于生成对抗网络的条件式烟雾图像生成方法，该方法能够在
博弈对抗中学习到烟雾深层特征在不同背景中的表达，实现复杂背景下烟雾纹理的合理填充，实验结果表明该方法生成的指定场景的烟雾图像与较少的真实图像混合训练可以实现互补作用，训练中的检测模型可以在真实烟雾图像中学习到烟雾的特征分布，同时可以在生成图像中学习到接近真实烟雾的特征与新背景特征深度融合的情况，因此提高了检测模型对于新场景的鲁棒性。该方法可应用在视频火灾探测领域，具有较高的应用价值，提供了解决困扰目前视频火灾探测存在的数据不足问题的新方法。
附图说明
11.图1为本发明实施例中一种基于生成对抗网络的条件式烟雾图像生成方法的流程图；
12.图2为本发明实施例中训练样本的示意图；
13.图3为本发明实施例中多尺度扩展融合生成网络的结构示意图；
14.图4为本发明实施例中多尺度扩展融合模块的结构示意图；
15.图5为本发明实施例中双支路判别网络；
16.图6为本发明实施例中烟雾生成图像效果示意图；
17.图7为本发明实施例中一种基于生成对抗网络的条件式烟雾图像生成系统的结构框图。
具体实施方式
18.本发明提供了一种基于生成对抗网络的条件式烟雾图像生成方法，解决了目前视频火灾探测存在的训练数据不足问题。
19.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
20.实施例一
21.如图1所示，本发明实施例提供的一种基于生成对抗网络的条件式烟雾图像生成方法，包括下述步骤：
22.步骤s1：将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像；
23.步骤s2：将无烟背景图像与烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像；
24.步骤s3：将生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导多尺度扩展融合生成网络与双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络；
25.步骤s4：针对目标场景进行火灾数值模拟，通过计算得到目标场景的火灾初期烟雾扩散图像，经过像素二值化处理获得烟雾轮廓掩码，将目标场景图像中掩码区域内的像素扣除，得到具有缺失区域的背景图像；将具有缺失区域的背景图像和烟雾轮廓掩码输入到训练好的多尺度扩展融合生成网络，在具有缺失区域的背景图像填充合理的烟雾纹理，获得逼真的烟雾生成图像。
26.在一个实施例中，上述步骤s1：将训练集中烟雾图像中的烟雾区域扣除，形成一一
对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像，具体包括：
27.步骤s11：通过点火实验采集多种场景下的真实烟雾图像；
28.本发明实例中所选择的实验地点包括黄山、大兴安岭、紫蓬山、乡村、校园、街道、标准燃烧室等。以多种生活中常见的可燃物为燃料进行实验，包括棉绳、烟雾弹、山毛榉、稻草、柴油、汽油、正庚烷等。在室内场景进行点火实验时，同时使用网络相机与手机进行拍摄。在室外场景进行点火实验时，使用无人机进行远距离拍摄，使用手机进行近距离拍摄。经过筛选，共得到了200段真实烟雾视频以及40段无烟背景视频。
29.步骤s12：对真实烟雾图像通过人工识别将烟雾区域全部分割出来，得到标记图像；
30.本发明中所设计的烟雾图像生成网络需要无烟背景图像、烟雾轮廓掩码及真实烟雾图像这三种数据进行网络训练，且三种数据要求一一对应。由于相互匹配的样本难以获取，因此通过对真实烟雾图像进行处理获得匹配的无烟背景图及烟雾轮廓掩码。对真实烟雾图像进行分割标记，标记原则是将可以通过人工识别的烟雾区域全部分割出来，保证分割区域之外没有可辨识的烟雾。
31.步骤s13：对标记图像进行二值化处理，得到对应的烟雾轮廓掩码，从真实烟雾图像扣除烟雾轮廓掩码对应区域，得到无烟背景图像。
32.如图2所示，为部分训练样本的示意图。
33.在一个实施例中，上述步骤s2：将无烟背景图像与烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像，具体包括：
34.步骤s21：构建多尺度扩展融合生成网络包括：一个编码器、多个深度特征提取器和一个解码器；
35.如图3所示，为多尺度扩展融合生成网络的结构示意图；
36.步骤s22：将无烟背景图像与烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，首先经过编码器的四个卷积层，进行两次下采样，分别得到中尺度特征图和小尺度特征图；
37.如图3所示的编码器由四个卷积层构成，用于对输入的无烟背景图像与烟雾轮廓掩码叠加图像进行两次下采样。除第一个卷积层外均设置了批次归一化层。在第二个卷积层下采样后得到中尺度特征图，尺寸为128
×
128
×
128。在第四个卷积层下采样后得到小尺度特征图，尺寸为64
×
64
×
256。
38.步骤s23：将小尺度特征图输入第一个深度特征提取器，第一个深度特征提取器由8个多尺度扩展融合模块串联而成，多尺度扩展融合模块利用四个膨胀率不同的卷积核同时进行特征提取，采用相加与拼接两种方式进行特征融合，输出小尺度全局特征图；
39.对于烟雾图像生成任务，需要从轮廓之外的背景中提取合适的特征从而生成合理的图像内容，因此用于提取特征的卷积核的感受野应该足够大。然而直接增大卷积核尺寸将导致模型参数过多，难以训练。膨胀卷积可以在不改变卷积核参数量的情况下增大感受野，然而这种方法是通过构造稀疏卷积核实现的，因此在提取特征时将跳过很多像素造成信息损失。本发明中设计了一种多尺度扩张融合模块以解决这种问题。
40.将小尺度特征图输入由8个多尺度扩展融合模块串联构成的第一个深度特征提取器，利用提取的全局特征可以对空洞区域进行粗粒度的填充，输出小尺度全局特征图。
41.如图4所示为一个多尺度扩展融合模块的结构示意图，输入的特征图通过使用四个膨胀率不同的卷积核进行特征提取，可以在不同的感受野下提取图像特征，同时充分利用输入信息。对于四个不同卷积核提取的特征图，采用相加与拼接两种方式进行特征融合。
42.步骤s24：将小尺度全局特征图上采样一次后与中尺度特征图叠加后输入第二个深度特征提取器，其中，第二个深度特征提取器由4个多尺度扩展融合模块串联而成，输出中尺度局部特征图；
43.为了更加充分的提取局部特征以生成合理的半透明烟雾区域，将编码器的第二个卷积层输出的中尺度特征图与小尺度局部特征图经上采样一次后的特征图进行拼接，拼接后的融合特征图尺寸为128
×
128
×
128，该融合特征图包含了丰富的局部背景特征。将融合特征图输入至由4个多尺度扩张卷积融合模块构成的第二个深度特征提取器中，利用提取的局部特征对空洞区域进行更加精细的填充，输出中尺度局部特征图。
44.步骤s25：将中尺度局部特征图经过所述解码器的两个卷积层，上采样一次后与无烟背景图像叠加后，得到生成的烟雾图像。
45.在一个实施例中，上述步骤s3：将生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导多尺度扩展融合生成网络与双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络，具体包括：
46.步骤s31：构建双支路判别网络包括两个结构相同的分支，每个分支均由六个卷积层串联而成；其中，第一分支处理完整的输入图像，得到全局特征图来判断输入图像的合理性；第二分支仅处理输入图像中的烟雾区域，得到局部特征图来判断烟雾细节纹理的真实性；最后将全局特征图与局部特征图相连接，输入分类器，得到输入图像的判别结果；
47.如图5所示，为双支路判别网络的结构示意图，下方分支为第一分支，上方分支第第二分支。两个分支经过六个卷积层的下采样后，分别得到长度为512的向量。
48.步骤s32：将生成的烟雾图像及其对应的真实烟雾图像输入双支路判别网络，得到对应的局部特征图与判别结果；
49.步骤s33：将生成的烟雾图像与真实烟雾图像的判别结果输入对抗损失函数得到对抗损失值以引导多尺度扩展融合生成网络与双支路判别网络的训练，其中，多尺度扩展融合生成网络与双支路判别网络的对抗损失函数如下所示；
[0050][0051][0052]
其中，为多尺度扩展融合生成网络的对抗损失值，为双支路判别网络的对抗损失值，ir为真实烟雾图像的像素值，if为生成的烟雾图像的像素值，为求平均值，相对监视器d
ra
(ir,if)与d
ra
(ir,ir)的具体结构如下：
[0053]
[0054][0055]
其中，σ(
·
)为sigmoid函数，c(
·
)为双支路判别网络输出的判别结果；
[0056]
原始gan的损失函数以0与1为标签，并没有直接以真假图像在高维空间的数据分布距离为目标进行优化，两种数据分布在高维空间完全不重合的情况下仍有可能在某一维度的映射下满足损失函数的要求，因此会出现训练不稳定的现象。本发明中的损失函数将真假图像在高维空间的数据分布差值作为目标进行优化。
[0057]
步骤s34：将生成的烟雾图像与真实烟雾图像的局部特征进行对比，得到特征损失以引导多尺度扩展融合生成网络的纹理细节补全性能，特征损失函数如下所示；
[0058][0059][0060]
其中，为多尺度扩展融合生成网络的特征损失值，l为特征尺度序号，本发明实施例中对5个尺度进行对比，n
l
为各尺度特征图的元素数量，为双支路判别网络的第二分支上各尺度的局部特征图；为真实烟雾图像的局部特征；
[0061]
为了保证生成的烟雾图像与真实烟雾图像在高维空间特征分布一致，本发明将真假图片在判别网络的局部特征提取分支上各尺度的特征图进行对比，得到各尺度下的特征损失。
[0062]
步骤s35：根据和更新多尺度扩展融合生成网络及双支路判别网络的参数，直到双支路判别网络无法区分真实烟雾图像和生成的烟雾图像。
[0063]
本发明实施例中迭代次数设置为100000，batch size设置为8，生成网络与判别网络的初始学习率均为0.0002，每迭代20000次学习率减小一半。
[0064]
在一个实施例中，上述步骤s4：针对目标场景进行火灾数值模拟，通过计算得到目标场景的火灾初期烟雾扩散图像，经过像素二值化处理获得烟雾轮廓掩码，将目标场景图像中掩码区域内的像素扣除，得到具有缺失区域的背景图像；将具有缺失区域的背景图像和烟雾轮廓掩码输入到训练好多尺度扩展融合生成网络，在具有缺失区域的背景图像填充合理的烟雾纹理，获得逼真的烟雾生成图像。
[0065]
本发明实施例为了获取大量真实可靠的烟雾轮廓掩码，采用cfd仿真模拟方法对早期火灾的烟气扩散情况进行数值模拟，选用的数值模拟软件为fds，该软件可以准确的计算出目标场景在一段时间内各时刻下基于流体力学的烟雾扩散结果。影响烟雾扩散的因素主要有火源燃烧特性、火源大小、场景以及环境风。对于燃烧物类别，本发明实施例选择了常见的木材作为火源，参考橡木的燃烧特性。燃料碳元素、氢元素与氧元素的质量比例设置为1：1.7：0.72，火焰临界温度设置为1427℃，产烟量设置为0.015ys，co产量设置为0.004yco。火源燃烧面尺寸设置为0.2m
×
0.2m，单位面积热释放速率设置为500kw/m2。对于室外场景，处于室外开阔地带的火灾烟气在初期受到周围建筑物及树木的影响非常小，因此本发明实施中对此不设置障碍物，计算区域设置为20m
×
20m
×
20m，四周及顶部边界设置为开放面。对于室外环境风速，本研究选择0m/s、0.5m/s、1m/s进行模拟。对于室内场景，火
灾烟气的扩散主要受到建筑结构及通风条件的影响，本本发明实施以本实验室的标准燃烧室为例进行早期火灾烟雾扩散数值模拟。该房间长度为10m，宽度为7m，高度为4m，有两扇窗户并排安装在一面7m
×
4m的墙壁上，窗户尺寸为2m
×
2m，两扇窗户间距为1.5m，窗户底边距离地面1.5m，在燃烧室入口关闭的情况下，这两扇窗户是仅有的自然通风手段。在进行室内火灾模拟时，不设置环境风速，仅考虑窗户关闭与开启这两种情况。fds软件可以将烟雾扩散结果通过三维动画直观的展示出来，数值模拟可视化结果中烟雾的纹理细节与真实烟雾差别很大，然而烟雾的形态十分接近于真实情况。可以通过对特定视角下的烟雾扩散可视化结果进行处理，制作适用于目标场景的合理的烟雾轮廓掩码。
[0066]
首先将特定视角下各时刻烟雾扩散可视化结果输出成图像数据v，将该图像三个通道叠加得到单通道图像m，若m中(i，j)处像素值不为0，则令其为1，最终得到二值化的烟雾轮廓掩码。由目标场景背景图i
bg
及烟雾轮廓掩码m得到多尺度扩展融合生成网络的输入i
in
，此时i
in
＝i
bg
(1-m)。
[0067]
将i
in
输入训练好的多尺度扩展融合生成网络，得到生成的烟雾图像，再将生成的烟雾图像与烟雾轮廓掩码相乘后与目标场景背景图像相加得到最终输出，图6所示为本发明实施例中烟雾生成图像效果示意图。
[0068]
本发明公开了一种基于生成对抗网络的条件式烟雾图像生成方法，该方法能够在博弈对抗中学习到烟雾深层特征在不同背景中的表达，实现复杂背景下烟雾纹理的合理填充，实验结果表明该方法生成的指定场景的烟雾图像与较少的真实图像混合训练可以实现互补作用，训练中的检测模型可以在真实烟雾图像中学习到烟雾的特征分布，同时可以在生成图像中学习到接近真实烟雾的特征与新背景特征深度融合的情况，因此提高了检测模型对于新场景的鲁棒性。该方法可应用在视频火灾探测领域，具有较高的应用价值，提供了解决困扰目前视频火灾探测存在的数据不足问题的新方法。
[0069]
实施例二
[0070]
如图7所示，本发明实施例提供了一种基于生成对抗网络的条件式烟雾图像生成系统，包括下述模块：
[0071]
预处理模块51，用于将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像；
[0072]
构建生成网络模块52，用于将无烟背景图像与烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像；
[0073]
生成对抗训练模块53，用于将生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导多尺度扩展融合生成网络与双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络；
[0074]
烟雾生成图像模块54，用于针对目标场景进行火灾数值模拟，通过计算得到目标场景的火灾初期烟雾扩散图像，经过像素二值化处理获得烟雾轮廓掩码，将目标场景图像中掩码区域内的像素扣除，得到具有缺失区域的背景图像；将具有缺失区域的背景图像和烟雾轮廓掩码输入到训练好多尺度扩展融合生成网络，在具有缺失区域的背景图像填充合理的烟雾纹理，获得逼真的烟雾生成图像。
[0075]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修
改，均应涵盖在本发明的范围之内。

技术特征：
1.一种基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，包括：步骤s1：将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像；步骤s2：将所述无烟背景图像与所述烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对所述无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像；步骤s3：将所述生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导所述多尺度扩展融合生成网络与所述双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络；步骤s4：针对目标场景进行火灾数值模拟，通过计算得到所述目标场景的火灾初期烟雾扩散图像，经过像素二值化处理获得烟雾轮廓掩码，将所述目标场景图像中掩码区域内的像素扣除，得到具有缺失区域的背景图像；将所述具有缺失区域的背景图像和所述烟雾轮廓掩码输入到所述训练好的多尺度扩展融合生成网络，在所述具有缺失区域的背景图像填充合理的烟雾纹理，获得逼真的烟雾生成图像。2.根据权利要求1所述的基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，所述步骤s1：将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像，具体包括：步骤s11：通过点火实验采集多种场景下的真实烟雾图像；步骤s12：对所述真实烟雾图像通过人工识别将烟雾区域全部分割出来，得到标记图像；步骤s13：对标记图像进行二值化处理，得到对应的烟雾轮廓掩码，从所述真实烟雾图像扣除所述烟雾轮廓掩码对应区域，得到无烟背景图像。3.根据权利要求2所述的基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，所述步骤s2：将所述无烟背景图像与所述烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对所述无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像，具体包括：步骤s21：构建所述多尺度扩展融合生成网络包括：一个编码器、多个深度特征提取器和一个解码器；步骤s22：将所述无烟背景图像与所述烟雾轮廓掩码叠加后输入所述多尺度扩展融合生成网络，首先经过所述编码器的四个卷积层，进行两次下采样，分别得到中尺度特征图和小尺度特征图；步骤s23：将所述小尺度特征图输入第一个深度特征提取器，所述第一个深度特征提取器由8个多尺度扩展融合模块串联而成，所述多尺度扩展融合模块利用四个膨胀率不同的卷积核同时进行特征提取，采用相加与拼接两种方式进行特征融合，输出小尺度全局特征图；步骤s24：将所述小尺度全局特征图上采样一次后与所述中尺度特征图叠加后输入第二个深度特征提取器，其中，所述第二个深度特征提取器由4个所述多尺度扩展融合模块串联而成，输出中尺度局部特征图；步骤s25：将所述中尺度局部特征图经过所述解码器的两个卷积层，上采样一次后与所述无烟背景图像叠加后，得到生成的烟雾图像。4.根据权利要求3所述的基于生成对抗网络的条件式烟雾图像生成方法，其特征在于，
所述步骤s3：将所述生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导所述多尺度扩展融合生成网络与所述双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络，具体包括：步骤s31：构建双支路判别网络包括两个结构相同的分支，每个分支均由六个卷积层串联而成；其中，第一分支处理完整的输入图像，得到全局特征图来判断所述输入图像的合理性；第二分支仅处理输入图像中的烟雾区域，得到局部特征图来判断烟雾细节纹理的真实性；最后将所述全局特征图与所述局部特征图相连接，输入分类器，得到输入图像的判别结果；步骤s32：将所述生成的烟雾图像及其对应的真实烟雾图像输入所述双支路判别网络，得到对应的所述局部特征图与判别结果；步骤s33：将所述生成的烟雾图像与所述真实烟雾图像的判别结果输入对抗损失函数得到对抗损失值以引导所述多尺度扩展融合生成网络与所述双支路判别网络的训练，其中，所述多尺度扩展融合生成网络与所述双支路判别网络的对抗损失函数如下所示；中，所述多尺度扩展融合生成网络与所述双支路判别网络的对抗损失函数如下所示；其中，为所述多尺度扩展融合生成网络的对抗损失值，为所述双支路判别网络的对抗损失值，i
r
为真实烟雾图像的像素值，i
f
为生成的烟雾图像的像素值，为求平均值，相对监视器d
ra
(i
r
,i
f
)与d
ra
(i
r
,i
r
)的具体结构如下：)的具体结构如下：其中，σ(
·
)为sigmoid函数，c(
·
)为所述双支路判别网络输出的判别结果；步骤s34：将所述生成的烟雾图像与所述真实烟雾图像的局部特征进行对比，得到特征损失以引导所述多尺度扩展融合生成网络的纹理细节补全性能，特征损失函数如下所示；损失以引导所述多尺度扩展融合生成网络的纹理细节补全性能，特征损失函数如下所示；其中，为所述多尺度扩展融合生成网络的特征损失值，l为特征尺度序号，n
l
为各尺度特征图的元素数量，为所述双支路判别网络的第二分支上各尺度的局部特征图；为所述真实烟雾图像的局部特征；步骤s35：根据和更新所述多尺度扩展融合生成网络及所述双支路判别网络的参数，直到所述双支路判别网络无法区分真实烟雾图像和生成的烟雾图像。
5.一种基于生成对抗网络的条件式烟雾图像生成系统，其特征在于，包括下述模块：预处理模块，用于将训练集中烟雾图像中的烟雾区域扣除，形成一一对应的无烟背景图像、烟雾轮廓掩码以及真实烟雾图像；构建生成网络模块，用于将所述无烟背景图像与所述烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，对所述无烟背景图像中缺失的烟雾区域进行填充，得到生成的烟雾图像；生成对抗训练模块，用于将所述生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导所述多尺度扩展融合生成网络与所述双支路判别网络的对抗训练，得到训练好的多尺度扩展融合生成网络；烟雾生成图像模块，用于针对目标场景进行火灾数值模拟，通过计算得到所述目标场景的火灾初期烟雾扩散图像，经过像素二值化处理获得烟雾轮廓掩码，将所述目标场景图像中掩码区域内的像素扣除，得到具有缺失区域的背景图像；将所述具有缺失区域的背景图像和所述烟雾轮廓掩码输入到所述训练好多尺度扩展融合生成网络，在所述具有缺失区域的背景图像填充合理的烟雾纹理，获得逼真的烟雾生成图像。

技术总结
本发明涉及一种基于生成对抗网络的条件式烟雾图像生成方法及系统，其方法包括：S1：将训练集中烟雾图像中的烟雾区域扣除，形成对应的无烟背景图像、烟雾轮廓掩码和真实烟雾图像；S2：将无烟背景图像与烟雾轮廓掩码叠加后输入多尺度扩展融合生成网络，得到生成的烟雾图像；S3：将生成的烟雾图像与对应的真实烟雾图像输入双支路判别网络，通过对局部与全局特征的对比得到各项损失值，从而引导两个网络对抗训练，得到训练好的多尺度扩展融合生成网络；S4：对目标场景进行火灾数值模拟，得到缺失区域的背景图像和烟雾轮廓掩码并输入训练好的多尺度扩展融合生成网络，获得烟雾生成图像。本发明提供的方法解决了目前视频火灾探测存在的训练数据不足问题。存在的训练数据不足问题。存在的训练数据不足问题。


技术研发人员：张启兴 霍一诺 张永明
受保护的技术使用者：中国科学技术大学
技术研发日：2023.06.21
技术公布日：2023/9/9