基于图像增强技术的煤岩界面识别方法与流程

1.本发明涉及采掘技术领域，尤其涉及一种基于图像增强技术的煤岩界面识别方法。


背景技术：

2.煤矿下的摄像头监控是了解矿井下的设备运行状况的重要方式，然而受煤矿井下光源和粉尘等因素的影响，比如矿井下的光源照射和金属设备的反射后的光经粉尘粒子散射后，使得拍摄设备采集到的图像模糊不清，此外，由于矿井下狭窄和设备的遮挡导致拍摄图像可能忽明忽暗。
3.因此摄像头采集的图片普遍呈低光照和模糊等特点，导致图像质量降低，煤岩界面识别不准确。


技术实现要素：

4.本发明旨在提供一种基于图像增强技术的煤岩界面识别方法，采用两阶段图像增强网络，分别完成低光照图像增强与去噪，获得清晰的采煤面图像，从而完成煤岩界面识别。
5.为达到上述目的，本发明是采用以下技术方案实现的：
6.本发明公开的基于图像增强技术的煤岩界面识别方法，包括以下步骤：
7.a、低光照图像增强：将原始图像进行分频操作，然后提高原始图像中低频部分的对比度，得到具有正常亮度的增强图像；
8.b、图像去噪：采用散射模型对增强图像去噪得到去噪后的图像。
9.进一步的，在步骤b之后还包括：
10.步骤c、采用去噪后的图像进行煤岩界面识别。
11.优选的，所述原始图像是采用摄像头得到的采煤面图像。
12.优选的，步骤a中，原始图像通过两个的膨胀卷积提取不同接收域的特征，然后计算一个对比感知注意力图来表示像素相对对比度信息，其中对比度高的为高频特征，其余为低频特征，将表征高频特征的高频特征域和表征低频特征的低频特征域分别采用编码解码结构进行增强和重建，编码器输出的高频分量与低频分量相加得到增强图像。
13.进一步的，在步骤a中，采用注意力机制建立像素间的关联性，用于增强低频特征。
14.优选的，在解码结构中，采用金字塔融合模块对特征进行交互。
15.优选的，所述散射模型如式(1)：
16.i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀ
(1)
17.其中：(x)表示带粉尘噪声图，j(x)表示待恢复的清晰图，t(x)表示传输介质图，a表示光源。
18.优选的，步骤b中，采用光源预测网络利用提出均值和方差的自注意力机制发现增强图像中的粉尘区域，自适应模拟光源；
19.采用传输介质图网络改变单通道为三通道的传输介质图，使其更接近真实场景；
20.采用去粉尘网络生成去噪后的图像，所述去粉尘网络为编码-解码的卷积网络。
21.本发明采用两阶段图像增强网络，分别完成低光照图像增强和与去噪，获得清晰的采煤面图像，从而实现煤岩的智能化识别，准确度高。
附图说明
22.图1为本发明的原理框图。
具体实施方式
23.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
24.如图1所示，本实施例公开一种两阶段图像增强网络，分别实现低光照图像增强和去噪，具体如下：
25.一、基于频域分解的低光照图像增强
26.对于图像来说，低频部分往往保存了更多的有效信息(例如颜色、物体轮廓等)，高频分量代表局部细节。而且相对于高频分量来说，低频信息受噪声的干扰程度更少。因此针对不同频域分量的特性，拟采用独立的增强网络进行复原。
27.本实施例使用对比分频模块对源图像is进行分频操作，通过不同感受野的卷积之间的差分操作来模拟对比度的计算。具体的操作如contrastive network所示：
28.首先使用两个膨胀卷积conv1和conv3x3(核大小/膨胀率为1/1和3/2)，提取不同接收域的特征，然后计算一个对比感知注意力图ca来表示像素相对对比度信息，其中对比度高的属于高频特征fh。计算方法由下述的公式给出：
29.ca＝sigmoid(conv1(is)-conv3(is))
ꢀꢀꢀ
(2)
30.ih＝ca·is
ꢀꢀꢀ
(3)
31.i
l
＝i
s-ihꢀꢀꢀ
(4)
32.其中，i
l
为低频分量，ih为高频分量。
33.为了增强低频特征的表示能力，对比分频模块还引入了自注意力机制建立像素间的关联性，自注意力编码过程如下：
34.i
enl
＝g(i
l
)t
×
h(i
l
)
×
f(i
l
)
t
ꢀꢀꢀ
(5)
35.其中：g、h、f表示的运算都由conv1构成，i
enl
表示增强后的低频分量。
36.得到了两个频域特征后，分别采用编码解码结构，对两个频域特征进行增强与重建。由于高频细节能让图像保持锐度，防止模糊。而低频特征能帮助高频分量抑制噪声。因此在解码结构中，拟采用金字塔融合模块对特征进行交互。具体的操作如pyramid fusion module所示：
37.以高频解码器为例，本实施例将同一尺度的高频编码特征、低频编码特征和高频解码特征拼接后，输入到三层的上下文感知金字塔中(由通道数分别是16，32，64的conv3x3组成)，提取多尺度的高层特征。得到的特征通过卷积层统一通道数并上采样到统一尺度后拼接。由于不加区分地集成多尺度特征，会导致信息冗余。因此还使用通道注意力机制对特征进行过滤。最终光照增强的图像i
eh
由编码器输出的高频分量i
deh
与低频分量i
del
相加得
到。此外，最终光照增强的图像i
eh
是一个由相同场景且正常光照下的非对齐参考图通过一个多尺度参考损失进行约束的，具体见下面公式(7)、(8)、(9)。
38.二、基于非对齐监督的图像去噪
39.在低光照图像增强后，则图像就有了正常的亮度(类似于大气光)，采用散射模型去进行图像去噪，散射模型的定义如下：
40.i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀ
(1)
41.其中i(x)表示带粉尘噪声图，j(x)表示待恢复的清晰图，t(x)表示传输介质图，a表示光源。
42.基于非对齐监督的图像去噪的具体方法如下：
43.运用二个损失函数和)训练三个子网络，分别是光源预测网络a、传输介质图网络t、去噪声网络j、重构损失函数和多尺度非对齐参考损失函数。光源预测网络的目的是提出均值和方差的自注意力机制发现图像中的粉尘(噪声)区域，从而自适应地模拟光源。传输介质图网络改变传统单通道为三通道的传输介质图，使其更接近真实场景。去粉尘网络是一个编码-解码的卷积网络结构，直接生成清晰场景图像。基于上述三个子网络，重构损失函数由i
rec
与i的感知、结构相似性、l1损失构成，其中i
rec
为重构粉尘噪声图像(通过散射模型计算)。
44.需要强调的是，本方法利用非对齐且清晰参考图像j
ref
去监督训练去粉尘噪声网络j，并提出了一个多尺度的非对齐参考损失函数，其包含多尺度对抗和内容损失函数。此损失函数降低传统方法对数据的严苛要求(完全对齐的粉尘噪声/清晰图像样本对)，使得本方法在真实矿井场景中可以采集大量数据训练模型。
45.在测试使用阶段，输入一张矿井下的粉尘噪声测试图像(原始图像)，使用去粉尘噪声网络快速地修复其清晰场景，得到噪后的图像。
46.基于非对齐监督约束的损失函数被定义如下：
[0047][0048][0049][0050][0051]
其中，j
ref
是非对齐的参考图像，j是本发明模型生成的清晰场景图。d表示为一个鉴别器网络，i表示不同的尺度，s是图像特征间的内容相似度，φ
l
(j)和φ(j
ref
)在i层对应j和j
ref
的特征图。ω1和ω2分别是平衡和二个损失的权重。
[0052]
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

技术特征：
1.基于图像增强技术的煤岩界面识别方法，其特征在于，包括以下步骤：a、低光照图像增强：将原始图像进行分频操作，然后提高原始图像中低频部分的对比度，得到具有正常亮度的增强煤岩图像；b、图像去噪：采用散射模型对增强图像去噪得到去噪后的煤岩图像。2.根据权利要求1所述的基于图像增强技术的煤岩界面识别方法，其特征在于，在步骤b之后还包括：步骤c、采用去噪后的图像实现煤岩界面识别。3.根据权利要求1所述的基于图像增强技术的煤岩界面识别方法，其特征在于，所述原始图像是采用摄像头得到的采煤面图像。4.根据权利要求1-3任一项所述的基于图像增强技术的煤岩界面识别方法，其特征在于，步骤a中，原始图像通过两个的膨胀卷积提取不同接收域的特征，然后计算一个对比感知注意力图来表示像素相对对比度信息，其中对比度高的为高频特征，其余为低频特征，将表征高频特征的高频特征域和表征低频特征的低频特征域分别采用编码解码结构进行增强和重建，编码器输出的高频分量与低频分量相加得到增强图像。5.根据权利要求4所述的基于图像增强技术的煤岩界面识别方法，其特征在于，在步骤a中，采用注意力机制建立像素间的关联性，用于增强低频特征。6.根据权利要求4所述的基于图像增强技术的煤岩界面识别方法，其特征在于，在解码结构中，采用金字塔融合模块对特征进行交互。7.根据权利要求4所述的基于图像增强技术的煤岩界面识别方法，其特征在于，所述散射模型如式(1)：i(x)＝j(x)t(x)+a(1-t(x))
ꢀꢀꢀꢀ
(1)其中：(x)表示带粉尘噪声图，j(x)表示待恢复的清晰图，t(x)表示传输介质图，a表示光源。8.根据权利要求4所述的基于图像增强技术的煤岩界面识别方法，其特征在于，步骤b中，采用光源预测网络利用提出均值和方差的自注意力机制发现增强图像中的粉尘区域，自适应模拟光源；采用传输介质图网络改变单通道为三通道的传输介质图，使其更接近真实场景；采用去粉尘网络生成去噪后的图像，所述去粉尘网络为编码-解码的卷积网络。

技术总结
本发明公开一种基于图像增强技术的煤岩界面识别方法，包括以下步骤：a、低光照图像增强：将原始图像进行分频操作，然后提高原始图像中低频部分的对比度，得到具有正常亮度的增强图像；b、图像去噪：采用散射模型对增强图像去噪得到去噪后的图像。本发明采用两阶段图像增强网络，分别完成低光照图像增强和与去噪，获得清晰的采煤面图像，从而实现煤岩的智能化识别，准确度高。准确度高。准确度高。


技术研发人员：俞卫中 李正军 周勇 冯春 余玉江 杨海宾 陈飞 李广宇 罗恒 吴云亮 董婷婷 喻其祥 余晓辉
受保护的技术使用者：成都技转创新连线科技集团有限公司 四川川煤华荣能源有限责任公司
技术研发日：2023.03.01
技术公布日：2023/7/11