基于深度神经网络的烟雾分割方法、系统、设备及介质

1.本发明属于图像处理技术领域，具体涉及一种基于深度神经网络的烟雾分割方法、系统、设备及介质。


背景技术：

2.在各类灾害中，火灾是最频繁、最普遍发生的主要灾害之一，不仅会对人们的生命财产安全构成威胁，同时也会破坏生态平衡，对环境造成污染，因此，提前预警火灾发生显得格外重要。
3.火灾初期由于火焰不充分燃烧，空气中细微粒随着热空气上升将产生烟雾，考虑到烟雾具有扩散性，相较于火焰更容易观测，且图像能够反映各时刻下烟雾状态，因此可通过烟雾图像实现火灾预警，利用烟雾信息预测火势大小。由于烟雾具有半透明、不规则等特性，容易出现背景与烟雾混合、烟雾纹理与尺度变化大等情况，同时存在云、雾等与烟雾类似物质，这些因素直接导致烟雾检测与分割变得尤为困难。
4.由于烟雾具有半透明、不规则等特性，容易出现背景与烟雾混合、烟雾纹理与尺度变化大等情况，同时存在云、雾等与烟雾类似物质，这些因素直接导致烟雾检测与分割变得尤为困难。目前烟雾分割存在以下问题：
5.1.传统的烟雾分割主要是通过背景建模及前景提取实现，由于特征与阈值选取对分割效果影响较大，且对于不同场景需重新选取阈值，因此难以实际应用。
6.2.随着深度学习的发展，出现了各类模型用于烟雾分割，但对于烟雾边缘分割效果较差。同时存在对于复杂场景下烟雾分割效果较差的问题。
7.3.为获取较优分割效果，通过增大模型等方式，如采取双路径分割，但其导致其模型推理速度较低。


技术实现要素：

8.为了克服上述现有技术的缺点，本发明的目的在于提供一种基于深度神经网络的烟雾分割方法、系统、设备及介质，解决了现有技术中烟雾检测与分割困难且烟雾边缘分割效果较差的问题。
9.为了达到上述目的，本发明采用以下技术方案予以实现：
10.基于深度神经网络的烟雾分割方法，包括以下步骤：
11.s1、采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；
12.s2、向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用步骤s1得到的训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；
13.s3、将步骤s1得到的测试集输入步骤s2得到的烟雾分割模型中，识别得到测试集图像中的烟雾区域。
14.具体的，步骤s2具体为：
15.保持convnext-unet分割网络模型的编码器模块不变，在解码器模块加入多尺度融合和注意力机制得到convnext-unet_c模型；重建convnext-unet_c模型中解码器模块的反卷积核；更新convnext-unet_c模型；输入训练集对更新后的convnext-unet_c模型进行训练，计算模型输出与训练集图像的损失率。
16.进一步的，选择批量梯度下降时convnext-unet_c模型权重，每一次更新网络权重与前一时刻梯度作差对convnext-unet_c模型进行更新，梯度下降采用focalloss损失函数。
17.进一步的，convnext-unet_c模型包括编码器模块、bottleneck模块和新解码器模块；
18.编码器模块用于降低图像分辨率并提取特征层，采用全卷积网络进行下采样，输入烟雾图像经过依次交替连接的3个卷积层与3个stage层后输出1/8原始分辨率的图像，stage1层输出较浅层特征图，stage2层输出浅层特征图，stage3层输出深层特征图；
19.bottleneck模块用于连接编码器模块与新解码器模块，bottleneck模块输入为编码器模块输出的深层特征图，bottleneck模块输出作为新解码器模块的输入；
20.新解码器模块采用反卷积网络进行上采样恢复原始分辨率，包括4个反卷积层、1个特征拼接层和1个二值转换层，bottleneck模块输出与较浅层特征图融合作为反卷积层1的输入，反卷积层1输出与浅层特征图融合作为反卷积层2的输入，反卷积层2输出与较浅层特征图融合作为反卷积层3的输入，反卷积层3输出作为特征拼接层的输入，特征拼接层将特征信息拼接后输出作为二值转换层的输入，二值转换层对图像各像素进行转换得到像素值，设定阈值，若转化后的像素值高于阈值则像素值为255，否则像素值为0，像素值为255输出烟雾分割图。
21.更进一步的，stage层为block层级结构，block层级结构包括1个卷积层、2个线性层、2个翻转层和2个转换层，卷积层用于提取深层特征，翻转层用于改变维度，线形层用于改变通道大小，翻转层用于恢复原始维度。
22.再进一步的，block层级结构中卷积层的超参数选择7
×7×
c，c为通道数，线性层超参数选择4
×
c。
23.进一步的，重建convnext-unet_c模型中解码器模块的反卷积核包括设置解码器模块中的4个反卷积层的反卷积核初始权重均为1。
24.第二方面，本发明实施例提供了一种基于深度神经网络的烟雾分割系统，包括
25.数据模块，用于采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；
26.训练模块，用于向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用数据模块得到的训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；
27.分割模块，将数据模块得到的测试集输入训练模块得到的烟雾分割模型中，识别得到测试集图像中的烟雾区域。
28.第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于深度神经网络的烟雾分割方法的步骤。
29.第四方面，本发明实施例提供了一种计算机可读存储介质，包括计算机程序，所述
计算机程序被处理器执行时实现上述基于深度神经网络的烟雾分割方法的步骤。
30.与现有技术相比，本发明具有以下有益效果：本发明提出了一种基于深度神经网络的烟雾分割方法，首先，针对烟雾边缘分割效果较差，提出利用多层卷积提取烟雾深层特征，采取跳连接结构进行特征拼接以弥补上采样过程中丢失的空间位置与特征信息，融合特征层以调整反卷积初始权重，恢复原始空间位置，有效提升分割精度；其次，针对不同场景下烟雾图像，提出多尺度融合浅层特征以获取更丰富的语义信息，同时引入注意力机制与残差模块，增强烟雾特征抑制无关特征，增强模型泛化性；再其次，针对模型推理速度，提出轻量化卷积模块，在不影响模型效果的前提下，减小stage层数，加快模型推理；最后，基于深度学习方式在模型训练完成后即可实现端对端分割，无需手动设置分割阈值，避免了人为干预，可应用于实际需求。与已有烟雾分割方法相比，本发明能够在模型复杂度较低前提下，对不同场景烟雾目标均有较高分割精度，在火灾预警、大气污染监测、精细化工等领域有重要的应用价值。以convnext为主干进行模型迁移搭建编码器，采取跳连接结构作为译码器用于还原原始图像分辨率，利用对称结构提升模型分割效果，在此基础上，引入注意力机制与多尺度融合，同时对卷积初始化进行优化，使其能够学习前一步网络层特征，构建convnext分割网络模型。
31.进一步地，focalloss损失函数对于局部损失较为敏感，与全局相比更注重于局部损失，因此更适合于烟雾分割，与其余损失函数相比下，利用该损失函数训练模型效果更优。
附图说明
32.图1为convnext分割模型结构图；
33.图2为block层结构图；
34.图3为convnext-unet_c模型的结构图；
35.图4为数据集模型分割效果图；
36.图5为模型miou评估指标表；
37.图6为不同场景模型分割效果比较图；
38.图7为烟雾分割模型应用流程图。
具体实施方式
39.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
40.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
41.下面结合附图对本发明做进一步详细描述：
42.基于深度神经网络的烟雾分割方法，其特征在于，包括以下步骤：
43.s1、采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；
44.s2、向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用步骤s1得到的训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；
45.convnext-unet分割模型基础卷积块部分对stage层的block堆叠次数做出调整，采取swin-t模型的堆叠比例，同时对每一个block采用两头宽，中间窄的思路，并使用大卷积核来做特征提取，增加了感受野，减小了flops，引入残差模块，避免了因网络加深导致的梯度消失，规避了因梯度消失模型停止问题。
46.请参阅图1，为convnext分割模型结构，bottoleneck左侧部分为编码器，对输入图像先进行一次下采样做预处理，后送入stage层用于提取深层特征，stage层有若干个block串联构成，图2为block层结构，每个block采取残差连接，避免了梯度消失问题，由于网络层数的加深，获取的信息愈加丰富，有益于提升模型分割性能。输出的特征层经下采样送入下一个stage层，实现对不同尺度的特征层提取深度信息。bottleneck右侧为解码器部分，本质是对深层特征层进行上采样还原至原始图片大小，然而每一次上采样都会损失部分特征，这会导致模型分割效果变差，由于浅层特征空间信息丰富缺乏语义信息，而深层特征空间语义信息丰富缺乏空间信息，因此采取拼接方式将浅层特征与深层特征相连接，利用浅层特征空间信息弥补深层特征缺失信息，对该空间层进行上采样，可找回丢失特征。
47.输入图像为256
×
256的rgb烟雾图像，输出为烟雾分割后的单通道灰度图，白色部分为烟雾，黑色部分为背景，最终实现对烟雾的逐像素分割。模型各网络层工作流程为：
48.(1)编码部分：采用全卷积网络进行下采样，包含3个stage层，每个stage层由若干个block层组成，在block层中利用多层卷积增强特征感受野，由于各通道间特征表达存在相互依赖性，利用全连接层扩展通道维度以增强模型对不同特征层的学习能力。引入残差模块加深模型深度以增强模型表达能力。
49.(2)解码部分：采取跳连接与特征拼接的网络结构，利用反卷积层进行上采样还原。其中跳连接结构将编、解码器各特征层进行有效连接，增强了尺度信息，避免了模型因层数加深导致的退化问题。
50.改进的convnext-unet_c模型具体如下：
51.卷积核初始化
52.采样过程中，反卷积层卷积核权重往往随机选取，如图3所示，利用转置卷积扩展维度，扩展前后特征相关性降低，虽然在后续训练中将不断更新权重以增强特征映射关联性，但仍会造成边缘信息丢失，影响分割效果，为解决该问题，本发明对上采样初始权重做出调整。首先设置反卷积核初始权重均为1，将经过反卷积层后的输出图像与编码器输入同维度图像相乘，以此保留输入图像各空间位置下特征的关联性，如图4所示，后经过bn层及relu层，将特征空间归一化，送入卷积层以作后续处理。
53.多尺度融合与注意力机制
54.通常来说，深层特征往往描述整幅图像的全局信息，对图像压缩率较高，而浅层特征包含图像不同区域的局部信息，空间细节表述较强，仅利用单一尺度下深层特征上采样还原图像维度时，将损失较多空间细节信息，如烟雾边缘等。因此，本发明提出利用多尺度融合浅层特征以增强烟雾细节分割。同时，为增强烟雾特征选择能力，本文利用注意力机制表征各通道特征层的重要程度，使模型更加关注信息量大的特征层，而抑制那些不重要的特征层，改进后的网络结构如图5所示，编码器部分未做改动，解码器部分以浅层特征为拼接层，融合各时刻下上采样图像特征层，并将融合后的图像层进行上采样还原至原图像大小，对各时刻下还原图像作拼接处理，送入上采样层，不改变图像分辨率前提下降低通道数并送入sigmoid层以实现烟雾分割。
55.s3、将步骤s1得到的测试集输入步骤s2得到的烟雾分割模型中，识别得到测试集图像中的烟雾区域。
56.本发明再一个实施例中，提供一种基于深度神经网络的烟雾分割系统，该系统能够用于实现上述基于深度神经网络的烟雾分割方法，具体的，该基于深度神经网络的烟雾分割系统包括数据模块、训练模块以及分割模块。
57.其中，数据模块，用于采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；
58.训练模块，用于向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用数据模块得到的训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；
59.分割模块，将数据模块得到的测试集输入训练模块得到的烟雾分割模型中，识别得到测试集图像中的烟雾区域。
60.本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于深度神经网络的烟雾分割方法的操作，包括：
61.采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；将测试集输入烟雾分割模型中，识别得到测试集图像中的烟雾区域。
62.本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的
一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
63.可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于深度神经网络的烟雾分割方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
64.采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；将测试集输入烟雾分割模型中，识别得到测试集图像中的烟雾区域。
65.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.为验证本发明模型结构有效性，首先在公开数据集中的三个测试集进行测试，并与现有的烟雾分割模型进行比较，由于目前深度学习用于烟雾分割的模型较少，因此引入一些在其他语义分割领域取得良好效果的模型用于比较分割效果。为实现模型效果可视化，以原始烟雾标签图为基准，选取各模型对烟雾图像的分割效果灰度图作比较。
67.请参阅图6，图6(a)为本发明的分割效果，图6(b)为真实标签，图6(c)为hg-net2模型的分割效果，图6(d)为esp-net模型的分割效果，图6(e)为hg-net8模型的分割效果，将各模型分割效果图与图6(b)真实标签进行比较，可以看出，本发明提出的convnext模型的分割图像与真实标签最为相符，其余模型存在较多的误检、漏检现象。
68.请参阅图7，为直观比较分割效果好坏，图7为各模型在不同验证集上miou指数与pa指数，miou指数与pa指数越高，表明模型分割效果越好，可以发现，本发明提出的convnext分割模型效果优于其他模型。
69.为测试本发明模型泛化性，选取不同真实场景下烟雾图像进行预测，第一列为烟雾图像，后续列为不同模型预测该烟雾的结果，为将预测结果可视化，将分割结果以mask形式与原图叠加，选择烟雾分割能力较强的模型进行比较。
70.以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

技术特征：
1.基于深度神经网络的烟雾分割方法，其特征在于，包括以下步骤：s1、采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；s2、向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用步骤s1得到的训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；s3、将步骤s1得到的测试集输入步骤s2得到的烟雾分割模型中，识别得到测试集图像中的烟雾区域。2.根据权利要求1所述的一种基于深度神经网络的烟雾分割方法，其特征在于，步骤s2具体为：保持convnext-unet分割网络模型的编码器模块不变，在解码器模块加入多尺度融合和注意力机制得到convnext-unet_c模型；重建convnext-unet_c模型中解码器模块的反卷积核；更新convnext-unet_c模型；输入训练集对更新后的convnext-unet_c模型进行训练，计算模型输出与训练集图像的损失率。3.根据权利要求2所述的一种基于深度神经网络的烟雾分割方法，其特征在于，选择批量梯度下降时convnext-unet_c模型权重，每一次更新网络权重与前一时刻梯度作差对convnext-unet_c模型进行更新，梯度下降采用focalloss损失函数。4.根据权利要求2所述的一种基于深度神经网络的烟雾分割方法，其特征在于，convnext-unet_c模型包括编码器模块、bottleneck模块和新解码器模块；编码器模块用于降低图像分辨率并提取特征层，采用全卷积网络进行下采样，输入烟雾图像经过依次交替连接的3个卷积层与3个stage层后输出1/8原始分辨率的图像，stage1层输出较浅层特征图，stage2层输出浅层特征图，stage3层输出深层特征图；bottleneck模块用于连接编码器模块与新解码器模块，bottleneck模块输入为编码器模块输出的深层特征图，bottleneck模块输出作为新解码器模块的输入；新解码器模块采用反卷积网络进行上采样恢复原始分辨率，包括4个反卷积层、1个特征拼接层和1个二值转换层，bottleneck模块输出与较浅层特征图融合作为反卷积层1的输入，反卷积层1输出与浅层特征图融合作为反卷积层2的输入，反卷积层2输出与较浅层特征图融合作为反卷积层3的输入，反卷积层3输出作为特征拼接层的输入，特征拼接层将特征信息拼接后输出作为二值转换层的输入，二值转换层对图像各像素进行转换得到像素值，设定阈值，若转化后的像素值高于阈值则像素值为255，否则像素值为0，像素值为255输出烟雾分割图。5.根据权利要求4所述的一种基于深度神经网络的烟雾分割方法，其特征在于，stage层为block层级结构，block层级结构包括1个卷积层、2个线性层、2个翻转层和2个转换层，卷积层用于提取深层特征，翻转层用于改变维度，线形层用于改变通道大小，翻转层用于恢复原始维度。6.根据权利要求5所述的一种基于深度神经网络的烟雾分割方法，其特征在于，block层级结构中卷积层的超参数选择7
×7×
c，c为通道数，线性层超参数选择4
×
c。7.根据权利要求2所述的一种基于深度神经网络的烟雾分割方法，其特征在于，重建convnext-unet_c模型中解码器模块的反卷积核包括设置解码器模块中的4个反卷积层的反卷积核初始权重均为1。
8.一种基于深度神经网络的烟雾分割系统，其特征在于，包括数据模块，用于采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；训练模块，用于向convnext-unet分割网络模型中加入多尺度融合和注意力机制，得到convnext-unet_c模型，利用数据模块得到的训练集对convnext-unet_c模型进行优化，得到得到烟雾分割模型；分割模块，将数据模块得到的测试集输入训练模块得到的烟雾分割模型中，识别得到测试集图像中的烟雾区域。9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行权利要求1至8任一所述的基于深度神经网络的烟雾分割方法。10.一种烟雾分割设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序；其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至8任一所述基于深度神经网络的烟雾分割方法中的步骤。

技术总结
本发明公开了一种基于深度神经网络的烟雾分割方法、系统、设备及介质，采集烟雾图像同时对目标区域进行标定，得到训练集和测试集；向ConvNeXt-UNet分割网络模型中加入多尺度融合和注意力机制，得到ConvNeXt-UNet_C模型，利用训练集对ConvNeXt-UNet_C模型进行优化，得到得到烟雾分割模型；将测试集输入烟雾分割模型中，识别得到测试集图像中的烟雾区域。本发明能够在模型复杂度较低前提下，对不同场景烟雾目标均有较高分割精度，在火灾预警、大气污染监测、精细化工等领域有重要的应用价值。精细化工等领域有重要的应用价值。精细化工等领域有重要的应用价值。


技术研发人员：李杰 许晓骞 吴海英 齐春
受保护的技术使用者：西安交通大学
技术研发日：2023.04.10
技术公布日：2023/8/21