基于左右分和式轻量卷积神经网络的裂缝分割方法及装置

1.本发明涉及图像分割领域，尤其涉及基于左右分和式轻量卷积神经网络的裂缝分割方法。


背景技术：

2.裂缝分割主要应用在道路和建筑物的表面缺陷检测和分析方面。近几年来，基于深度学习的裂缝分割技术大量涌现：深度学习技术，尤其是卷积神经网络，可以根据给定的训练数据集，自动从大量图像中学习和提取特征，以实现高精度的裂缝分割。通过引入深度学习技术，裂缝分割的误检率和漏检率可以明显降低，同时也提高了分割效率和可靠性，是目前裂缝分割领域的主流方法之一。
3.卷积神经网络是包含大量卷积计算的前馈神经网络，是深度学习代表算法之一，在计算机视觉领域得到被广泛应用，在图像分类、目标检测、目标跟踪等视觉任务中取得了较好的效果。然而，现有卷积神经网络模型通常包含数以百万计甚至更多的参数，这些参数在带来网络模型性能提升的同时，也造成了网络需要较大的运算量和内存占用等缺点，不利于模型向运算资源有限的边缘设备或者应用中嵌入。


技术实现要素：

4.本发明的目的在于解决现有技术中的问题。
5.本发明解决其技术问题所采用的技术方案是：提供基于左右分和式轻量卷积神经网络的裂缝分割方法，包含以下步骤：
6.s1，原始裂缝图片输入到左右分和式轻量卷积神经网络；所述左右分和式轻量卷积神经网络包含由多层左右分和式轻量神经构件组成的深度网络，原始裂缝图片的特征映射为第一层左右分和式轻量神经构件的输入特征映射；每一层左右分和式轻量神经构件均包含左分式结构和右分式结构；
7.s2，第i层左右分和式轻量神经构件的左分式结构输出特征映射；
8.s3，第i层左右分和式轻量神经构件的右分式结构输出特征映射；
9.s4，第i层左右分和式轻量神经构件将左分式结构的输出特征映射与右分式结构的输出特征映射融合起来，输出融合特征，作为下一层左右分和式轻量神经构件的输入特征映射；最后一层左右分和式轻量神经构件输出的融合特征经处理作为最终输出，表达裂缝语义分割特征；其中，i表示左右分和式轻量神经构件的层数， n表示左右分和式轻量卷积神经网络包含的左右分和式轻量神经构件的总层数。
10.优选的，s2包括以下步骤：
11.s2.1，左分式结构采用卷积，其输入通道数为该层左右分和式轻量神经构件输入通道数的一半，输出卷积结果如下所示：
12.，
13.其中，是第i层左右分和式轻量神经构件的输入特征映射，其通道数量为；表示取的第0到第个通道的特征映射；conv是卷积运算，是卷积核，表示第i层左右分和式轻量神经构件的输入通道数量，表示左分式结构输入通道数量，表示左分式结构输出通道数量，表示卷积感受野大小；
14.s2.2，左分式结构在卷积之后采用最大池化层运算进行下采样，输出特征映射如下所示：
15.，
16.其中，表示采用最大池化操作。
17.优选的，左分式结构的卷积操作，还包括批归一化层batch norm和relu激活函数。
18.优选的，s3包括以下步骤：
19.s3.1，右分式结构采用轻量异质卷积，其输入通道数为该层左右分和式轻量神经构件输入通道数的一半，输出卷积结果如下所示：
20.，
21.其中，是第i层左右分和式轻量神经构件的输入特征映射，其通道数量为；表示取的第到第个通道的特征映射；是轻量异质卷积运算，且是卷积核；表示卷积的集合，表示卷积的集合；表示卷积核的数量，表示卷积核的数量；控制和；
22.s3.2，右分式结构在轻量异质卷积之后采用平均池化层运算进行下采样，如下所示：
23.，
24.其中，表示采用平均池化操作。
25.优选的，右分式结构的轻量异质卷积操作还包括批归一化层batch norm和relu激活函数。
26.优选的，右分式结构异质卷积中，和的选择方法如下所示：
27.,,，
28.其中，表示右分式结构输出通道数量；若=0，则表示用于第m个输出通道运算的第n个卷积核选自的卷积核，反之，则表示用于第m个输出通道运算的第n个卷积核选自的卷积核。
29.优选的，s4中，左右分和式轻量神经构件对左分式结构的输出特征映射与右分式结构的输出特征映射采用加法进行特征融合，如下所示：
30.。
31.优选的，s4中，最后一层左右分和式轻量神经构件输出的融合特征经处理作为最终输出，所述处理为融合特征依次经过卷积神经网络单元cbr、下采样的最大池化层mp、全连接单元fc和softmax损失函数，作为图像的裂缝语义分割特征表达输出；所述卷积神经网络单元cbr由卷积层、批归一化层和relu激活函数构成。
32.优选的，所述最大池化层和所述平均池化层的池化窗口均为3
×
3，步长均采用2像素，并均采用1像素补零操作。
33.本发明还提供基于左右分和式轻量卷积神经网络的裂缝分割装置，用于实现上述任一方法，包括：
34.输入单元，用于接收原始裂缝图片，获取特征映射；
35.左分式单元，包含多层左分式结构，第一层左分式结构接收原始裂缝图片的特征映射，输出特征映射；其它层左分式结构的输入特征映射为上一层融合单元输出的融合特征，输出特征映射；
36.右分式单元，包含多层右分式结构，第一层右分式结构接收原始裂缝图片的特征映射，输出特征映射；其它层右分式结构的输入特征映射为上一层融合单元输出的融合特征，输出特征映射；
37.融合单元，包含多层融合结构，融合左分式结构的输出特征映射与右分式结构的输出特征映射，输出融合特征，作为下一层左分式结构和右分式结构的输入特征映射；最后一层融合结构输出的融合特征经处理作为最终输出，用于表达裂缝语义分割特征；其中，i表示左右分和式轻量神经构件的层数， n表示左右分和式轻量卷积神经网络包含的左右分和式轻量神经构件的总层数。
38.本发明具有如下有益效果：
39.（1）本发明左分式采用的卷积，右分式采用的轻量异质卷积，且左右两个分式采用分别不同的池化运算，将左右两个分式的输出特征相加，增强了左右分式特征学习互补性的同时，兼顾了整体特征；这样的处理相比只走一条卷积路径的常规语义分割特征提取更加丰富。
40.（2）本发明的卷积神经网络采用左右分式结构，在每层最后对左右分式的输出特征做整体融合以作为下一层左右分合式轻量神经构件的输入，这样的处理相比走多条卷积路径最终再做融合的方法，能够减少整体特征融合在最后拉开较大差距（即便最终融合也无法抵消差距）；
41.（3）本发明的神经网络由左右分和式轻量神经构件多层堆叠构建而成，在面对不同场景下的裂缝图片分割，可以调整左右分和式轻量神经构件的总层数来寻求好的精确度和轻量结构，调整结构上比较灵活；
42.（4）由于左右分和式轻量神经构件中轻量异质卷积占比一半，因此深度网络为轻量卷积神经网络，有利于降低硬件要求，最终实现网络的轻量化。
43.以下结合附图及实施例对本发明作进一步详细说明，但本发明不局限于实施例。
附图说明
44.图1为本发明实施例基于左右分和式轻量卷积神经网络的裂缝分割方法的流程图；
45.图2为本发明实施例基于左右分和式轻量卷积神经网络的裂缝分割方法的cbr单元框图；
46.图3为本发明实施例基于左右分和式轻量卷积神经网络的裂缝分割方法的hcbr单元框图；
47.图4为本发明实施例基于左右分和式轻量卷积神经网络的裂缝分割方法中，第1层右分式结构的轻量异质卷积的卷积核内不同卷积的位置排列示意图；
48.图5本发明实施例基于左右分和式轻量卷积神经网络的裂缝分割装置的示意图。
具体实施方式
49.下面将结合附图和具体的实施方式对本发明做进一步详细说明。
50.参见图1所示，本发明实施例基于左右分和式轻量卷积神经网络的裂缝分割方法的流程图，包括以下步骤：
51.步骤1、构建左右分和式轻量神经构件；
52.本发明采用四层左右分和式轻量神经构件构建组成左右分合式轻量神经网络，以第一层左右分合式轻量神经构件构建过程作为步骤1实例。
53.在步骤1中，第一层左右分和式轻量神经构件的输入通道数为1024，输出通道数为1024。最大池化层mp1和均值池化层ap1采用的池化窗口皆为3
×
3，采用步长为2像素，并采用1像素补零操作。如图2所示，本发明将卷积层（conv）、批归一化层（batch norm）和relu激活函数整合为卷积神经网络单元，即cbr单元。如图3所示，将异质卷积层（hetconv）、批归一化层（batch norm）和relu激活函数整合为轻量卷积神经网络单元，即hcbr单元。
54.1.1）左分式结构采用卷积，且其输入通道数为该层轻量神经构件左右分合式结构输入通道数的一半，如公式（1）所示：
55.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
56.其中，是第i层轻量神经构件左分式结构的输入特征映射，其通道数量为；表示取的第0到第个通道的特征映射；conv是卷积运算，是卷积核，表示第i层轻量神经构件左右分合式结构的输入通道数量，表示左分式结构输入通道数量，表示左分式结构输出通道数量，表示卷积感受野大小。
57.第一层左分式结构输入通道数为=512，输出通道数为512，输入原始裂缝图片大小调整为512
×
512，输入特征映射取原始裂缝图像特征第0到第=511通道的特征映射，卷积核中均采用3
×
3卷积。
58.1.2）左分式结构在卷积之后采用最大池化层运算进行下采样，如公式（2）所示：
59.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）
60.其中，是采用最大池化操作；是第i层轻量神经构件左分式结构的输出特征映射。
61.第一层左分式结构中的原始裂缝图像经过cbr1单元和下采样的最大池化层mp1后得到对应的裂缝特征。
62.1.3）右分式结构采用轻量异质卷积，且其输入通道数为该层轻量神经构件左右分合式结构输入通道数的一半，如公式（3）所示：
63.ꢀꢀꢀꢀꢀꢀꢀ
（3）
64.其中，是第i层轻量神经构件左分式结构的输入特征映射，其通道数量为；表示取的第到第个通道的特征映射；是轻量异质卷积运算，且是卷积核；表示卷积的集合，表示卷积的集合；表示卷积核的数量，表示卷积核的数量；控制和。
65.第一层右分式结构输入通道数为，输出通道数为，输入原始裂缝图片大小调整为512
×
512，输入特征映射取原始裂缝图像特征第=512到第=1023通道的特征映射。每个卷积核内部初始有个3
×
3卷积，使用异质卷积后每个卷积核内512个3
×
3卷积变为=256个3
×
3卷积和=256个1
×
1卷积，控制卷积核中3
×
3卷积的位置参数=2。
66.1.4）右分式结构异质卷积中卷积核和的选择方法如公式（4）所示：
67.,,
ꢀꢀꢀꢀꢀꢀꢀꢀ
（4）
68.其中，表示右分式结构输出通道数量；若=0，则表示用于第m个输出通道运算的第n个卷积核选自的卷积核，反之，则表示用于第m个输出通道运算的第n个卷积核选自的卷积核。
69.第一层右分式结构异质卷积中卷积核内3
×
3卷积位置以移位方式排列，排列方式与位置参数=2有关。如图4所示，输入通道=0，输出通道=0，此时=0，则卷积核=0中第=0个位置从指向的集合中取出一个3
×
3卷积进行放置；输入通道=0，输出通道=1，此时≠0，则卷积核=1中第=0个位置从指向的集合中取出一个1
×
1卷积进行放置；输入通道=0，输出通道=2，此时=0，则卷积核=2中第=0个位置从指向的集合中取出一个3
×
3卷积进行放置；依次类推。
70.1.5）右分式结构在轻量异质卷积之后采用平均池化层运算进行下采样，如公式（5）所示。
71.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）
72.其中，是采用平均池化操作；是第i层轻量神经构件右分式结构的输出特征映射。
73.第一层右分式结构中的原始裂缝图像经过hcbr1单元和下采样的最大池化层ap1后得到对应的裂缝特征。
74.1.6）左右分和式轻量神经构件左分式结构和右分式结构采用加法进行特征融合，如公式（6）所示：
75.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
76.其中，表示第层轻量神经构件左分式结构输出特征映射与右分式结构输出特征映射的融合特征。
77.在第一层左右分和式轻量神经构件中，左分式结构输出裂缝特征与右分式结构输出裂缝特征融合得到裂缝融合特征。
78.步骤2、将左右分和式轻量神经构件进行多层堆叠构建深度网络；
79.在步骤2中，第二、三、四层的最大池化层（mp2、mp3和mp4）和均值池化层（ap2、ap3、ap4）与步骤1中相同，采用的池化窗口皆为3
×
3，采用步长为2像素，并采用1像素补零操作，卷积核中均采用3
×
3卷积。
80.2.1）第二层左右分和式轻量神经构件的输入通道数为=512，输出通道数为512。左分式结构，右分式结构输入通道数均为=256，输出通道数均为=256。
81.在第二层，取步骤1得到的裂缝融合特征中第0个到第=255个通道的特征映射输入到左分式结构，取裂缝融合特征中第=256个到第=511个通道的特征映射输入到右分式结构。在左分式结构中的输入特征经过cbr2单元和下采样的最大池化层mp2后得到对应的裂缝特征，在右分式结构中的输入特征经过hcbr2单元和下采样的平均池化层ap2后得到对应的裂缝特征，把特征和经过求和层sum2进行融合，得到裂缝融合特征。
82.2.2）第三层左右分和式轻量神经构件的输入通道数为=256，输出通道数为256。左分式结构，右分式结构输入通道数均为=128，输出通道数均为=128。
83.在第三层，取第二层得到的裂缝融合特征中第0个到第=127个通道的特征映射输入到左分式结构，取裂缝融合特征中第=128个到第=255个通道的特征映射输入到右分式结构。在左分式结构中的输入特征经过cbr3单元和下采样的最大池化层mp3后得到对应的裂缝特征，在右分式结构中的输入特征经过hcbr3单元和下采样的平均池化层ap3后得到对应的裂缝特征，把特征和经过求和层sum3进行融合，得到裂缝融合特征。
84.2.3）第四层左右分和式轻量神经构件的输入通道数为=128，输出通道数为128。左分式结构，右分式结构输入通道数均为=64，输出通道数均为=64。
85.在第四层，取第三层得到的裂缝融合特征中第0个到第=63个通道的特征映射输入到左分式结构，取裂缝融合特征中第=64个到第=127个通道的特征映射输入到右分式结构。在左分式结构中的输入特征经过cbr4单元和下采样的最大池化层mp4后得到对应的裂缝特征，在右分式结构中的输入特征经过hcbr4单元和下采样的平均池化层ap4后得到对应的裂缝特征，把特征和经过求和层sum4进行融合，得到裂缝融合特征。
86.2.4）将第四层得到的裂缝融合特征依次经过卷积神经网络单元cbr、下采样的最大池化层mp、全连接（full connection,fc）单元和softmax损失函数后得到图像的裂缝语义分割特征表达。
87.参见图5所示，为本发明实施例基于左右分和式轻量卷积神经网络的裂缝分割装置的示意图，包括：
88.输入单元101，用于接收原始裂缝图片，获取特征映射；
89.左分式单元202，包含多层左分式结构，第一层左分式结构接收原始裂缝图片的特征映射，输出特征映射；其它层左分式结构的输入特征映射为上一层融合单元输出的融合特征，输出特征映射；
90.右分式单元303，包含多层右分式结构，第一层右分式结构接收原始裂缝图片的特征映射，输出特征映射；其它层右分式结构的输入特征映射为上一层融合单元输出的融合特征，输出特征映射；
91.融合单元404，包含多层融合结构，融合左分式结构的输出特征映射与右分式结构的输出特征映射，输出融合特征，作为下一层左分式结构和右分式结构的输入特征映射；最后一层融合结构输出的融合特征经处理作为最终输出，用于表达裂缝语义分割特征；
92.其中，i表示左右分和式轻量神经构件的层数， n表示左右分和式轻量卷积神经网络包含的左右分和式轻量神经构件的总层数。
93.本发明的左分式采用的卷积，右分式采用的轻量异质卷积，将左右两个分式的输出特征相加，既增强了左右分式特征学习的互补性，又实现了网络轻量化。
94.以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，包含以下步骤：s1，原始裂缝图片输入到左右分和式轻量卷积神经网络；所述左右分和式轻量卷积神经网络包含由多层左右分和式轻量神经构件组成的深度网络，原始裂缝图片的特征映射为第一层左右分和式轻量神经构件的输入特征映射；每一层左右分和式轻量神经构件均包含左分式结构和右分式结构；s2，第i层左右分和式轻量神经构件的左分式结构输出特征映射；s3，第i层左右分和式轻量神经构件的右分式结构输出特征映射；s4，第i层左右分和式轻量神经构件将左分式结构的输出特征映射与右分式结构的输出特征映射融合起来，输出融合特征，作为下一层左右分和式轻量神经构件的输入特征映射；最后一层左右分和式轻量神经构件输出的融合特征经处理作为最终输出，表达裂缝语义分割特征；其中，i表示左右分和式轻量神经构件的层数， n表示左右分和式轻量卷积神经网络包含的左右分和式轻量神经构件的总层数。2.根据权利要求1所述的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，s2包括以下步骤：s2.1，左分式结构采用卷积，其输入通道数为该层左右分和式轻量神经构件输入通道数的一半，输出卷积结果如下所示：；其中，是第i层左右分和式轻量神经构件的输入特征映射，其通道数量为；表示取的第0到第个通道的特征映射；conv是卷积运算，是卷积核，表示第i层左右分和式轻量神经构件的输入通道数量，表示左分式结构输入通道数量，表示左分式结构输出通道数量，表示卷积感受野大小；s2.2，左分式结构在卷积之后采用最大池化层运算进行下采样，输出特征映射如下所示：；其中，表示采用最大池化操作。3.根据权利要求2所述的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，左分式结构的卷积操作，还包括批归一化层batch norm和relu激活函数。4.根据权利要求1所述的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，s3包括以下步骤：s3.1，右分式结构采用轻量异质卷积，其输入通道数为该层左右分和式轻量神经构件输入通道数的一半，输出卷积结果如下所示：；其中，是第i层左右分和式轻量神经构件的输入特征映射，其通道数量为；表示取的第到第个通道的特征映射；是轻
量异质卷积运算，且是卷积核；表示卷积的集合，表示卷积的集合；表示卷积核的数量，表示卷积核的数量；控制和；s3.2，右分式结构在轻量异质卷积之后采用平均池化层运算进行下采样，如下所示：；其中，表示采用平均池化操作。5.根据权利要求4所述的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，右分式结构的轻量异质卷积操作还包括批归一化层batch norm和relu激活函数。6.根据权利要求4所述的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，右分式结构异质卷积中，和的选择方法如下所示：,,；其中，表示右分式结构输出通道数量；若=0，则表示用于第m个输出通道运算的第n个卷积核选自的卷积核，反之，则表示用于第m个输出通道运算的第n个卷积核选自的卷积核。7.根据权利要求1所述的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，s4中，左右分和式轻量神经构件对左分式结构的输出特征映射与右分式结构的输出特征映射采用加法进行特征融合，如下所示：。8.根据权利要求1所述的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，s4中，最后一层左右分和式轻量神经构件输出的融合特征经处理作为最终输出，所述处理为融合特征依次经过卷积神经网络单元cbr、下采样的最大池化层mp、全连接单元fc和softmax损失函数，作为图像的裂缝语义分割特征表达输出；所述卷积神经网络单元cbr由卷积层、批归一化层和relu激活函数构成。9.根据权利要求2或4的基于左右分和式轻量卷积神经网络的裂缝分割方法，其特征在于，所述最大池化层或所述平均池化层的池化窗口为3
×
3，步长采用2像素，并采用1像素补零操作。10.基于左右分和式轻量卷积神经网络的裂缝分割装置，用于实现权利要求1至9任一所述的方法，其特征在于，包括：输入单元，用于接收原始裂缝图片，获取特征映射；左分式单元，包含多层左分式结构，第一层左分式结构接收原始裂缝图片的特征映射，输出特征映射；其它层左分式结构的输入特征映射为上一层融合单元输出的融合特征，输出特征映射；右分式单元，包含多层右分式结构，第一层右分式结构接收原始裂缝图片的特征映射
，输出特征映射；其它层右分式结构的输入特征映射为上一层融合单元输出的融合特征，输出特征映射；融合单元，包含多层融合结构，融合左分式结构的输出特征映射与右分式结构的输出特征映射，输出融合特征，作为下一层左分式结构和右分式结构的输入特征映射；最后一层融合结构输出的融合特征经处理作为最终输出，用于表达裂缝语义分割特征；其中，i表示左右分和式轻量神经构件的层数， n表示左右分和式轻量卷积神经网络包含的左右分和式轻量神经构件的总层数。

技术总结
本发明涉及图像分割领域，公开了基于左右分和式轻量卷积神经网络的裂缝分割方法及装置，方法包含以下步骤：S1，原始裂缝图片输入到左右分和式轻量卷积神经网络；S2，所述左分式结构输出特征映射；S3，所述右分式结构输出特征映射；S4，第i层神经构件融合左分式结构的输出特征映射与右分式结构的输出特征映射，输出融合特征，作为下一层神经结构的输入特征映射；最后一层神经构件输出的融合特征作为最终输出，表达裂缝语义分割特征。本发明的左分式采用卷积与最大池化层运算，右分式采用轻量异质卷积与平均池化层运算，将左右两个分式的输出特征相加，既增强了左右分式特征学习的互补性，又实现了网络轻量化。量化。量化。


技术研发人员：朱建清 陈巍 张晓翔 赵倩倩 黄诚惕 曾焕强 陈婧 蔡灿辉
受保护的技术使用者：华侨大学
技术研发日：2023.08.21
技术公布日：2023/9/20