一种基于RSUNet的道路病害检测方法

一种基于rsunet的道路病害检测方法
技术领域
1.本技术涉及深度学习技术领域，具体地，涉及一种基于rsunet的道路病害检测方法。


背景技术：

2.在公路维护领域，快速高效地识别路面病害至关重要。不论是混凝土道路还是柏油路，道路裂缝都是一种常见的路面病害类型，如果不进行及时修复治理，在行人车辆的重复碾压和自然侵蚀的双重作用下，路面状况就有可能进一步恶化，由裂缝逐步演化为坑洞，容易引起交通事故，对人们的行车出行造成了极大的威胁。
3.传统的路面裂缝识别采用人工视觉检测，需要进行现场调查，封锁交通，不仅耗时耗力，效率不高，还会受到人的主观影响，例如，如果在维护过程有人员的流动，那么对于同一幅道路图像，不同的人可能会做下不同的判断；另一方面，高精度检测设备结构复杂，价格昂贵。无论从人员角度还是设备角度，均无法满足道路管养需求。
4.近年来，深度学习技术在计算机视觉中的应用日益广泛，国内外的研究人员对如何进行自动化路面裂缝进行了大量研究。如果能用采用自动化检测的方法来代替危险而复杂的人工作业，不仅能够省时省力，减少后期维护成本，还能减少交通隐患。在针对路面裂缝的自动检测方面，现有技术包括基于卷积神经网络的图像分割、基于超声波的图像处理技术、基于激光的图像处理技术、基于形态学和交叉曲率的裂缝自动检测等，然而，现有技术较多针对单一路面或病害类型较少的路面，并且存在道路病害检测精度不高的问题。


技术实现要素：

5.为了克服现有技术中的至少一个不足，本技术提供一种基于rsunet的道路病害检测方法。
6.第一方面，提供一种基于rsunet的道路病害检测模型，包括：cnn编码器、cnn解码器和swin transformer模块；
7.cnn编码器包括多个编码单元和多个残差网络，多个编码单元通过多个残差网络resnet连接；cnn解码器包括多个解码单元，swin transformer模块包括多个swin transformer单元，每个swin transformer单元连接一个编码单元和一个解码单元；swin transformer单元用于将编码单元的输出输入到解码单元；
8.cnn编码器的输入是待检测道路图像，cnn编码器的输出是特征图；cnn解码器的输入是特征图，输出是道路病害分割图像。
9.在一个实施例中，多个编码单元中的每个编码单元包括2个卷积层，多个编码单元包括第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元；
10.第一编码单元的输入是待检测道路图像，第一编码单元对待检测道路图像进行卷积，得到第一卷积结果e1，即第一编码单元的输出f1；
11.第二编码单元的输入是第一编码单元的输出f1，第二编码单元对第一编码单元的
输出f1进行卷积，得到第二卷积结果e2；第一编码单元的输出f1经过残差网络，得到第一残差结果g1；将第二卷积结果e2和第一残差结果g1进行拼接，得到第一拼接结果，即第二编码单元的输出f2；
12.第三编码单元的输入是第二编码单元的输出f2，第三编码单元对第二编码单元的输出f2进行卷积，得到第三卷积结果e3；第二卷积结果e2经过残差网络，得到第二残差结果g2；第二编码单元的输出f2经过残差网络，得到第三残差结果g3；第一残差结果g1和第三残差结果g3进行残差相加，得到第一残差相加结果s1；第一残差相加结果s1经过残差网络的结果、第二残差结果g2和第三卷积结果e3进行拼接，得到第二拼接结果，即第三编码单元的输出f3；
13.第四编码单元的输入是第三编码单元的输出f3，第四编码单元对第三编码单元的输出f3进行卷积，得到第四卷积结果e4；第三卷积结果e3经过残差网络，得到第四残差结果g4；第一残差相加结果s1经过残差网络，得到第五残差结果g5；第一残差结果g1和第五残差结果g5进行残差相加，得到第二残差相加结果s2；第二残差相加结果s2经过残差网络的结果、第四残差结果g4和第四卷积结果e4进行拼接，得到第三拼接结果，即第四编码单元的输出f4；
14.第五编码单元的输入是第四编码单元的输出f4，第五编码单元对第四编码单元的输出f4进行一次卷积，得到第五卷积结果e5；第四卷积结果e4经过残差网络，得到第六残差结果g6；第二残差相加结果s2经过残差网络，得到第七残差结果g7；第一残差结果g1和第七残差结果g7进行残差相加，得到第三残差相加结果s3；第六残差结果g6、第三残差相加结果s3经过残差网络的结果和第五卷积结果e5进行拼接，得到第四拼接结果；第四拼接结果进行一次卷积，得到第五编码单元的输出f5。
15.在一个实施例中，多个解码单元中的每个解码单元包括一个拼接层、2个卷积层；多个解码单元包括第一解码单元、第二解码单元、第三解码单元和第四解码单元；多个swin transformer单元包括第一swin transformer单元、第二swin transformer单元、第三swin transformer单元、第四swin transformer单元；
16.第一解码单元的输入是cnn编码器的输出经过上采样的结果和第一swin transformer单元的输出；
17.第二解码单元的输入是第二swin transformer单元的输出和第一解码单元的输出经过上采样的结果；
18.第三解码单元的输入是第三swin transformer单元的输出和第二解码单元的输出经过上采样的结果；
19.第四解码单元的输入是第四swin transformer单元的输出和第三解码单元的输出经过上采样的结果，输出是道路病害分割图像。
20.第二方面，提供一种基于rsunet的道路病害检测方法，包括：
21.获取待检测道路图像；
22.将待检测道路图像输入到基于rsunet的道路病害检测模型，得到道路病害分割图像；
23.基于rsunet的道路病害检测模型为根据权利要求1-3任意一项的基于rsunet的道路病害检测模型。
24.第三方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，以实现上述的基于rsunet的道路病害检测方法。
25.第四方面，一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时，以实现上述的基于rsunet的道路病害检测方法。
26.相对于现有技术而言，本技术具有以下有益效果：本技术的基于rsunet的道路病害检测方法，构建基于rsunet的道路病害检测模型，该模型能够进行裂缝的自动检测，减少人力物力的使用，加快道路裂缝检测的进程；另一方面，该模型能够同时针对多种道路场景，对大多数病害能够准确识别，将训练好的模型权重保存后，直接可对待检测图像进行批量检测。
附图说明
27.本技术可以通过参考下文中结合附图所给出的描述而得到更好的理解，附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。在附图中：
28.图1示出了根据本技术实施例提供的基于rsunet的道路病害检测模型的结构框图；
29.图2示出了本技术的模型与现有模型道路病害检测结果对比图。
具体实施方式
30.在下文中将结合附图对本技术的示例性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施例的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中可以做出很多特定于实施例的决定，以便实现开发人员的具体目标，并且这些决定可能会随着实施例的不同而有所改变。
31.在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本技术，在附图中仅仅示出了与根据本技术的方案密切相关的装置结构，而省略了与本技术关系不大的其他细节。
32.应理解的是，本技术并不会由于如下参照附图的描述而只限于所描述的实施形式。在本文中，在可行的情况下，实施例可以相互组合、不同实施例之间的特征替换或借用、在一个实施例中省略一个或多个特征。
33.本技术实施例提供一种基于rsunet的道路病害检测模型，图1示出了根据本技术实施例提供的基于rsunet的道路病害检测模型的结构框图，参见图1，模型包括：cnn编码器、cnn解码器和swin transformer模块。
34.cnn编码器包括多个编码单元和多个残差网络，多个编码单元通过多个残差网络resnet连接；cnn解码器包括多个解码单元，swin transformer模块包括多个swin transformer单元，每个swin transformer单元连接一个编码单元和一个解码单元；swin transformer单元用于将编码单元的输出输入到解码单元；cnn编码器的输入是待检测道路图像，cnn编码器的输出是特征图；cnn解码器的输入是特征图，输出是道路病害分割图像。
35.上述实施例中，道路病害分割图像中包括道路病害的位置信息，因此可根据分割图像确定道路病害的区域。本实施例的道路病害检测模型基于rsunet，将rsunet应用到道路病害识别当中，在横向拼接上采用了swintransformer结构，在每个分层中增加了局部注
意力机制来减少计算量，并使用跨层的窗口机制来增加全局感知能力，可以更好地捕获特征图的全局特征与局部特征。
36.在一个实施例中，多个编码单元中的每个编码单元包括2个卷积层，多个编码单元包括第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元；
37.第一编码单元的输入是待检测道路图像，第一编码单元对待检测道路图像进行卷积，得到第一卷积结果e1，即第一编码单元的输出f1，通道数为64。
38.第二编码单元的输入是第一编码单元的输出f1，第二编码单元对第一编码单元的输出f1进行卷积，得到第二卷积结果e2；第一编码单元的输出f1经过残差网络，得到第一残差结果g1；将第二卷积结果e2和第一残差结果g1进行拼接，得到第一拼接结果，即第二编码单元的输出f2；通道数为128。
39.第三编码单元的输入是第二编码单元的输出f2，第三编码单元对第二编码单元的输出f2进行卷积，得到第三卷积结果e3；第二卷积结果e2经过残差网络，得到第二残差结果g2；第二编码单元的输出f2经过残差网络，得到第三残差结果g3；第一残差结果g1和第三残差结果g3进行残差相加，得到第一残差相加结果s1；第一残差相加结果s1经过残差网络的结果、第二残差结果g2和第三卷积结果e3进行拼接，得到第二拼接结果，即第三编码单元的输出f3；通道数为256。
40.第四编码单元的输入是第三编码单元的输出f3，第四编码单元对第三编码单元的输出f3进行卷积，得到第四卷积结果e4；第三卷积结果e3经过残差网络，得到第四残差结果g4；第一残差相加结果s1经过残差网络，得到第五残差结果g5；第一残差结果g1和第五残差结果g5进行残差相加，得到第二残差相加结果s2；第二残差相加结果s2经过残差网络的结果、第四残差结果g4和第四卷积结果e4进行拼接，得到第三拼接结果，即第四编码单元的输出f4；通道数为512。
41.第五编码单元的输入是第四编码单元的输出f4，第五编码单元对第四编码单元的输出f4进行一次卷积，得到第五卷积结果e5；第四卷积结果e4经过残差网络，得到第六残差结果g6；第二残差相加结果s2经过残差网络，得到第七残差结果g7；第一残差结果g1和第七残差结果g7进行残差相加，得到第三残差相加结果s3；第六残差结果g6、第三残差相加结果s3经过残差网络的结果和第五卷积结果e5进行拼接，得到第四拼接结果；第四拼接结果进行一次卷积，得到第五编码单元的输出f5，通道数为1024。
42.在一个实施例中，多个解码单元中的每个解码单元包括一个拼接层、2个卷积层；多个解码单元包括第一解码单元、第二解码单元、第三解码单元和第四解码单元；多个swin transformer单元包括第一swin transformer单元、第二swin transformer单元、第三swin transformer单元、第四swin transformer单元；
43.第一解码单元的输入是cnn编码器的输出经过上采样的结果和第一swin transformer单元的输出；这里，二者的通道数均为512，cnn编码器的输出经过上采样的结果和第一swin transformer单元的输出进行拼接，得到的拼接结果通道数为1024。
44.第二解码单元的输入是第二swin transformer单元的输出和第一解码单元的输出经过上采样的结果；这里，二者的通道数均为256，二者进行拼接，得到的拼接结果通道数为512。
45.第三解码单元的输入是第三swin transformer单元的输出和第二解码单元的输
transformer，在道路裂缝检测方面取得了最优结果，提高了道路裂缝检测性能。precision由71.90％上升至74.85％，提高了2.95％；recall由64.98％上升至67.63％，提高了2.65％；f1-score由68.26％增长至71.05％，提高了2.79％。
58.图2示出了本技术的模型与现有模型道路病害检测结果对比图，其中第一列为原始道路图像，第二列为真实道路裂缝图，第三列为transunet模型检测的道路裂缝图，第四列为transunet+st模型检测的道路裂缝图，第五列为本技术的模型检测的道路裂缝图。根据图2可知，采用基础transunet网络模型对道路裂缝分割结果较粗糙，裂缝特征不够细化，易受噪声等因素影响。而本技术的模型可以恢复图像细小边缘的特征，同时能减少噪声干扰，使边缘特征圆滑，有利于道路裂缝图像分割。
59.以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种基于rsunet的道路病害检测模型，其特征在于，包括：cnn编码器、cnn解码器和swin transformer模块；所述cnn编码器包括多个编码单元和多个残差网络，所述多个编码单元通过所述多个残差网络resnet连接；所述cnn解码器包括多个解码单元，所述swin transformer模块包括多个swin transformer单元，每个所述swin transformer单元连接一个所述编码单元和一个所述解码单元；所述swin transformer单元用于将所述编码单元的输出输入到所述解码单元；所述cnn编码器的输入是待检测道路图像，所述cnn编码器的输出是特征图；所述cnn解码器的输入是所述特征图，输出是道路病害分割图像。2.如权利要求1所述的模型，其特征在于，所述多个编码单元中的每个编码单元包括2个卷积层，所述多个编码单元包括第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元；所述第一编码单元的输入是待检测道路图像，所述第一编码单元对所述待检测道路图像进行卷积，得到第一卷积结果e1，即所述第一编码单元的输出f1；所述第二编码单元的输入是第一编码单元的输出f1，所述第二编码单元对所述第一编码单元的输出f1进行卷积，得到第二卷积结果e2；所述第一编码单元的输出f1经过残差网络，得到第一残差结果g1；将所述第二卷积结果e2和所述第一残差结果g1进行拼接，得到第一拼接结果，即所述第二编码单元的输出f2；所述第三编码单元的输入是所述第二编码单元的输出f2，所述第三编码单元对所述第二编码单元的输出f2进行卷积，得到第三卷积结果e3；所述第二卷积结果e2经过残差网络，得到第二残差结果g2；所述第二编码单元的输出f2经过残差网络，得到第三残差结果g3；所述第一残差结果g1和所述第三残差结果g3进行残差相加，得到第一残差相加结果s1；所述第一残差相加结果s1经过残差网络的结果、所述第二残差结果g2和所述第三卷积结果e3进行拼接，得到第二拼接结果，即所述第三编码单元的输出f3；所述第四编码单元的输入是所述第三编码单元的输出f3，所述第四编码单元对所述第三编码单元的输出f3进行卷积，得到第四卷积结果e4；所述第三卷积结果e3经过残差网络，得到第四残差结果g4；所述第一残差相加结果s1经过残差网络，得到第五残差结果g5；所述第一残差结果g1和所述第五残差结果g5进行残差相加，得到第二残差相加结果s2；所述第二残差相加结果s2经过残差网络的结果、所述第四残差结果g4和所述第四卷积结果e4进行拼接，得到第三拼接结果，即所述第四编码单元的输出f4；所述第五编码单元的输入是所述第四编码单元的输出f4，所述第五编码单元对所述第四编码单元的输出f4进行一次卷积，得到第五卷积结果e5；所述第四卷积结果e4经过残差网络，得到第六残差结果g6；所述第二残差相加结果s2经过残差网络，得到第七残差结果g7；所述第一残差结果g1和所述第七残差结果g7进行残差相加，得到第三残差相加结果s3；所述第六残差结果g6、所述第三残差相加结果s3经过残差网络的结果和所述第五卷积结果e5进行拼接，得到第四拼接结果；所述第四拼接结果进行一次卷积，得到所述第五编码单元的输出f5。3.如权利要求1所述的模型，其特征在于，所述多个解码单元中的每个解码单元包括一个拼接层、2个卷积层；所述多个解码单元包括第一解码单元、第二解码单元、第三解码单元
和第四解码单元；所述多个swin transformer单元包括第一swin transformer单元、第二swin transformer单元、第三swin transformer单元、第四swin transformer单元；所述第一解码单元的输入是cnn编码器的输出经过上采样的结果和第一swin transformer单元的输出；所述第二解码单元的输入是第二swin transformer单元的输出和第一解码单元的输出经过上采样的结果；所述第三解码单元的输入是第三swin transformer单元的输出和第二解码单元的输出经过上采样的结果；所述第四解码单元的输入是第四swin transformer单元的输出和第三解码单元的输出经过上采样的结果，输出是道路病害分割图像。4.一种基于rsunet的道路病害检测方法，其特征在于，包括：获取待检测道路图像；将所述待检测道路图像输入到基于rsunet的道路病害检测模型，得到道路病害分割图像；所述基于rsunet的道路病害检测模型为根据权利要求1-3任意一项所述的基于rsunet的道路病害检测模型。5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，以实现权利要求4所述的基于rsunet的道路病害检测方法。6.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述计算机程序/指令被处理器执行时，以实现权利要求4所述的基于rsunet的道路病害检测方法。

技术总结
本申请涉及一种基于RSUNet的道路病害检测方法，构建基于RSUNet的道路病害检测模型，该模型包括CNN编码器、CNN解码器和swin transformer模块，能够进行裂缝的自动检测，减少人力物力的使用，加快道路裂缝检测的进程；另一方面，该模型能够同时针对多种道路场景，对大多数病害能够准确识别，将训练好的模型权重保存后，直接可对待检测图像进行批量检测。直接可对待检测图像进行批量检测。直接可对待检测图像进行批量检测。


技术研发人员：牛亚妮 程鑫 刘霈源 周经美 刘伟 高建金 曹轩 武毓 李雨祺 邸林杰 程灿 周洲
受保护的技术使用者：长安大学
技术研发日：2023.06.09
技术公布日：2023/8/30