基于三维激光点云与深度神经网络的路面病害自动分割与测量方法及系统

1.本发明涉及一种基于三维激光点云与深度神经网络的路面病害自动分割与测量方法及系统，属于土木工程检测技术领域。


背景技术：

2.路表病害的检测是路面性能评估的重要环节，是道路后续养护决策制定的重要依据。使用现场调查法检测时需要封闭交通，且伴随着主观影响大、效率低等缺陷。
3.为了规避上述问题，现有技术中采用了路面图像分析法，但是其仍存在许多问题，如图像数据质量低、分析过程中算法不够完善以及准确性有待提高等。因此在检测过程中，又融合了三维激光点云，其作为一种先进的测量手段，具有快速、实时、高密度、高精度、动态及主动等优势。具体是将三维激光扫描仪及其配套设备固定在车辆上可以构成移动测量系统，该系统可以在不影响交通的情况下快速、高分辨率地获取道路的三维激光点云数据，且该测量系统具有成本低、人力省、安全性高与工作环境干扰小的特点。
4.随着技术的发展，使用者发现融合三维激光点云的检测方法由于点云数据量极大，包含丰富信息的同时也增大了点云数据解译的难度。因此亟需提供一种基于三维激光点云的测量方法，以提升测量精度与效率。


技术实现要素：

5.本发明提供一种基于三维激光点云与深度神经网络的路面病害自动分割与测量方法及系统，以激光点云数据为基础，从激光点云原始数据到识别结果全过程的自动化与智能化程度，有利于提高沥青路面病害检测的效率。
6.本发明解决其技术问题所采用的技术方案是：
7.基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，具体包括以下步骤：
8.步骤s1：启动三维激光扫描仪扫描路面行车道，行进编码器触发三维激光扫描仪保存功能，保存w米路面行车道的路表三维扫描结果，前述保存的路表三维扫描结果是格式为.dat的点云数据文件；
9.步骤s2：将点云数据文件转换成w
×
h尺寸的矩阵，其中，w为点云数据文件覆盖的车辆行进长度，h为点云数据文件覆盖的扫描宽度；同时w
×
h尺寸矩阵内的激光点云测得的高度值z保存在矩阵内对应位置；
10.步骤s3：采用最大归一法将高度值z归一化至0-255范围内，得到w
×
h尺寸的点位相对高度值灰度图；
11.步骤s4：运用labelme软件对点位相对高度值灰度图进行像素级标注，将标注结果转化为标签图片；将标签图片分割成n份，判断每小份中目标像素占据的比例，预设比例值；
12.若小份中目标像素占据的比例超过预设比例值，则保留符合要求的小份以及对应
的点位相对高度值灰度图，继续下一步；若小份中目标像素占据的比例未超过预设比例值，则继续将下一小份中目标像素占据的比例与预设比例值进行对比；
13.步骤s5：将保留的符合要求的小份以及对应的点位相对高度值灰度图，形成数据集，并将数据集随机分成训练数据集以及验证数据集；
14.步骤s6：载入训练数据集编译检测模型，通过构建卷积神经网络对训练数据集进行训练，获得的损失函数设置为分类交叉熵；输出的训练结果自动保存在model_path路径下；
15.步骤s7：载入验证数据集与步骤s6中训练完毕的检测模型，获得图像分割的测量标准iou，若测量标准iou超过70％，则检测模型能够应用，若测量标准iou低于70％，则重复步骤s1-步骤s6，直至图像分割的测量标准iou超过70％；
16.步骤s8：基于步骤s7验证后的检测模型，将标签图像的分割结果在像素点尺寸上求和，得到路面病害的长度l、宽度d；根据点位相对高度值灰度图的生成逻辑，逆向计算路面病害边缘像素点实际平均高度与标签图像分割区域内像素最低点的高度得到路面病害深度h；
17.步骤s9：将步骤s2-s3的点云数据文件转为图像数据、步骤s4-s5的制作路面病害分割数据集、步骤s6的检测模型构建与训练、步骤s7的检测模型验证以及步骤s8的基于检测模型进行路面病害空间实际形态测量封装合并，输入步骤s1采集的点云数据文件，输出病害检测结果图像及空间形态参数的路面病害自动分割测量系统；
18.作为本发明的进一步优选，步骤s1中，获取点云数据文件的设备包括rtk、三维激光扫描仪以及行进编码器，其中，rtk安装在车辆顶部，用于实时获取车辆的经纬度位置；
19.在车辆尾部安装固定支架，固定支架上架设三维激光扫描仪，三维激光扫描仪的扫描端口垂直于路面；
20.行进编码器安装在车辆的左后车轮位置；
21.作为本发明的进一步优选，步骤s4中，预设比例值定义为η，其范围为10-25；
22.作为本发明的进一步优选，步骤s5中，将数据集随机分成训练数据集以及验证数据集，训练数据集与验证数据集的比例为n1:n2，且n1:n2＝9:1或者n1:n2＝8:2；
23.作为本发明的进一步优选，步骤s6中，编译检测模型时，载入训练数据集对训练数据集进行数据增强以及one-hot标签格式转换，基于tensorflow-gpu构建卷积神经网络，在卷积神经网络中设置训练参数：batch_size＝b，epochs＝p，learning_rate＝α，buffer_size＝t，model_path＝str1，输出损失函数；
24.作为本发明的进一步优选，步骤s6中，输出的损失函数设置为分类交叉熵，即
[0025][0026]
作为本发明的进一步优选，步骤s7中，获得图像分割的测量标准iou为
[0027][0028]
根据所述基于三维激光点云与深度神经网络的路面病害自动分割与测量方法生
成的路面病害自动分割测量系统，所述路面病害自动分割测量系统为将点云数据文件转为图像数据、制作路面病害分割数据集、检测模型构建与训练、检测模型验证以及基于检测模型进行路面病害空间实际形态测量整合形成的程序；
[0029]
三维激光扫描仪保存的路表三维扫描结果即点云数据文件，输入整合形成的程序，输出病害检测结果图像。
[0030]
通过以上技术方案，相对于现有技术，本发明具有以下有益效果：
[0031]
1、本发明提供的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，采用三维激光扫描仪扫描路面行车道，既能快速、高分辨率的获取路表三维扫描结果，同时三维激光扫描仪具有自动整平畸变功能，为基于检测结果的路面病害空间形态测量提供病害的准确数据；
[0032]
2、本发明提供的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，在对检测模型进行构建与训练时，损失函数以分类交叉熵作为结果展示，缩短了获取时间，同时保证结果较高的精度；
[0033]
3、本发明提供的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，基于检测结果进行路面病害空间形态的实际测量，能够得到病害的具体长度、宽度以及深度；
[0034]
4、本发明提供的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，实现了从激光点云原始数据到识别结果全过程的自动化与智能化程度，有利于提高沥青路面病害检测的效率。
附图说明
[0035]
下面结合附图和实施例对本发明进一步说明。
[0036]
图1是本发明提供的优选实施例中获取的点位相对高度值灰度图；
[0037]
图2是本发明提供的优选实施例中获取的标签图片；
[0038]
图3是本发明提供的优选实施例中将标签图片分割提升目标数据比例的结果示意；
[0039]
图4是本发明提供的优选实施例中输出的训练结果示意图；
[0040]
图5是本发明提供的优选实施例中多组包含点位相对高度值灰度图、标签图像以及检测模型分割结果的验证图示；
[0041]
图6是本发明提供的优选实施例中基于检测结果的路面病害空间形态测量输出的测量结果。
具体实施方式
[0042]
现在结合附图对本发明作进一步详细的说明。本实施例中采用的具体尺寸只是为了举例说明技术方案，并不限制本发明的保护范围。
[0043]
如背景技术中阐述的，在基于三维激光点云这种先进测量手段前提下，由于其包含大量的点云数据，会导致其解译增加，既影响结果的输出效率，也降低了结果的准确性，因此本技术提供了基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，实现以激光点云数据为基础的路面病害识别，且该技术从激光点云原始数据到识别结果全过
程自动化与智能化，提高了沥青路面病害检测的效率。
[0044]
在对检测方法做具体阐述前，需给出本技术用于测量手段的测量系统，包括rtk、三维激光扫描仪以及行进编码器，三者均集成在车辆上。其中，rtk安装在车辆顶部，用于实时获取车辆的经纬度位置；在车辆尾部安装固定支架，固定支架上架设三维激光扫描仪，三维激光扫描仪的扫描端口垂直于路面，三维激光扫描仪与路表距离依据三维激光扫描仪的扫描范围确定，保障扫描范围覆盖至少一个路面行车道；行进编码器安装在车辆的左后车轮位置，用于精准测量车辆行进距离与控制三维激光扫描仪数据保存。
[0045]
接下来具体阐述本技术提供的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法的具体步骤：
[0046]
步骤s1：启动三维激光扫描仪扫描路面行车道，车辆每行进w米，行进编码器触发三维激光扫描仪保存功能，保存w米路面行车道的路表三维扫描结果，前述保存的路表三维扫描结果是格式为.dat的点云数据文件。
[0047]
步骤s2：以格式为.dat的点云数据文件为输入，将点云数据文件转换成w
×
h尺寸的矩阵，其中，w为点云数据文件覆盖的车辆行进长度，h为点云数据文件覆盖的扫描宽度；同时w
×
h尺寸矩阵内的激光点云测得的高度值z保存在矩阵内对应位置；这里输入的程序其实是一种自动转换程序，可以将点云数据文件解码为w
×
h尺寸的矩阵。
[0048]
步骤s3：采用最大归一法将高度值z归一化至0-255范围内，得到w
×
h尺寸的点位相对高度值灰度图。
[0049]
步骤s4：运用labelme软件对点位相对高度值灰度图进行像素级标注，将标注结果转化为标签图片；由于标签图片中大部分像素为背景像素(即没有被标记的区域)，这样会影响训练结果，因此将标签图片分割成n份，判断每小份中目标像素占据的比例，预设比例值，定义为η，一般范围为10-25；
[0050]
若小份中目标像素占据的比例超过预设比例值，则保留符合要求的小份以及对应的点位相对高度值灰度图，继续下一步；若小份中目标像素占据的比例未超过预设比例值，则继续将下一小份中目标像素占据的比例与预设比例值进行对比。
[0051]
步骤s5：将保留的符合要求的小份以及对应的点位相对高度值灰度图，形成数据集，并将数据集随机分成训练数据集以及验证数据集；训练数据集与验证数据集的比例为n1:n2，且n1:n2＝9:1或者n1:n2＝8:2。
[0052]
步骤s6：载入训练数据集编译检测模型，对训练数据集进行数据增强和“one-hot”标签格式转换，基于tensorflow-gpu构建卷积神经网络，在卷积神经网络中设置训练参数：batch_size＝b，epochs＝p，learning_rate＝α，buffer_size＝t，model_path＝str1，获得的损失函数设置为分类交叉熵；损失函数表现形式其实有多种，但是经过验证后发现，当以分类交叉熵为结果展示时，获取的时间最短，同时精度也最高。其中：
[0053]
分类交叉熵(categoricalcrossentropy)，即为
[0054][0055]
编译检测模型并开始训练，输出的训练结果会自动保存在model_path路径下。
[0056]
步骤s7：载入验证数据集与步骤s6中训练完毕的检测模型，获得图像分割的测量
标准iou，iou为
[0057][0058]
若测量标准iou超过70％，则检测模型能够应用，若测量标准iou低于70％，则需要加大数据集的丰富度，重复步骤s1-步骤s6，直至图像分割的测量标准iou超过70％；
[0059]
步骤s8：基于步骤s7验证后的检测模型，将标签图像的分割结果在像素点尺寸上求和，得到路面病害的长度l、宽度d；根据点位相对高度值灰度图的生成逻辑，逆向计算路面病害边缘像素点实际平均高度与标签图像分割区域内像素最低点的高度得到路面病害深度h；
[0060]
这里需要着重说明的是，本技术选用三维激光扫描仪，不仅仅是其能够快速、高分辨率的获取道路的三维激光点云数据，也是因为三维激光扫描仪具有自动整平畸变功能，这是普通扫描仪不具备的，经过三维激光扫描仪扫描解码获得的图像所得w
×
h点阵中每一个点位与周围点位的横、纵间距相等均为t，即所得图像中两个相邻像素点之间的实际距离亦为t，由此继续获得路面病害的实际长度、宽度以及深度，而获得的实际长度、宽度以及深度也较为精准。
[0061]
步骤s9：将步骤s2-s3的点云数据文件转为图像数据、步骤s4-s5的制作路面病害分割数据集、步骤s6的检测模型构建与训练、步骤s7的检测模型验证以及步骤s8的基于检测模型进行路面病害空间实际形态测量封装合并，输入步骤s1采集的点云数据文件，输出病害检测结果图像及空间形态参数的路面病害自动分割测量系统。
[0062]
最终通过上述基于三维激光点云与深度神经网络的路面病害自动分割与测量方法生成的路面病害自动分割测量系统，为将点云数据文件转为图像数据、制作路面病害分割数据集、检测模型构建与训练、检测模型验证以及基于检测模型进行路面病害空间实际形态测量整合形成的程序；三维激光扫描仪保存的路表三维扫描结果即点云数据文件，输入整合形成的程序，输出病害检测结果图像。
[0063]
实施例
[0064]
为了验证上述提供的路面病害自动分割与测量方法及系统的优越性，实施者们选择一晴朗天气标定三维激光扫描仪；驾驶检测车在南京市吉印大道上行驶3km，得到有效dat点云数据文件680个。
[0065]
以680个有效dat点云数据文件为输入，程序将其解码为3639
×
2665
×
z'尺寸的矩阵，单个点云数据文件覆盖的车辆行进长度为3639像素，单个点云数据文件覆盖的扫描宽度为2665像素，zi为3639
×
2665范围内的激光点云测得的某个高度；自动转换程序采用最大归一法将这些高度值zi归一化至0-255范围内，得到即为如附图1所示3639
×
2665尺寸的点位相对高度值灰度图。
[0066]
运用labelme软件对点位相对高度值灰度图进行像素级标注，将标注结果转化为如附图2所示的标签图片；一般的，标签图片中大部分像素为背景像素(即没有被标记的区域)，这样会影响训练结果，故将一张标签图片分割成24份，判断每个小份中目标像素所占的比例，如果这个比例超过1％则保留这个小份及其对应的原始图片，保留示意图如附图3所示，按这种方法形成数据集；将数据集随机分成训练数据集与验证数据集，两者的比例为
9:1。
[0067]
在卷积神经网络中设置训练参数：batch_size＝9，epochs＝300，learning_rate＝0.0001，buffer_size＝30，model_path＝’./w-net.h5’，将损失函数设置为分类交叉熵(categoricalcrossentropy)，之后编译检测模型并开始训练，输出的训练结果会自动保存在工作路径下并且命名为w-net.h5，训练输出如附图4；图4中
①
表示loss，
②
表示iou，在300轮次迭代过程中，明显看出损失值loss呈现先迅速下降后低位稳定的变化趋势，分割交并比iou呈现先稳步上升后高位稳定的变化趋势。
[0068]
重复步骤s1-步骤s6，适当调整参数，直到验证iou达到70％以上为止，这里给出如图5(5a-5f)所示的多组对比结果示意图，每组示意图中最左列“realimage”是输入模型的原始灰度图数据，中间列“reallabel”是人工标注的结果，最右列“predlabel”是模型分割结果，可以直观的看出基于本技术提供的方法得到的分割结果良好，验证集平均iou为0.7204。
[0069]
在验证了检测模型的可行性后，本技术使用的三维激光扫描仪能够得到3639
×
2665点阵中每一个点位与周围点位的横、纵间距相等均为1.2mm，即所得图像中两个相邻像素点之间的实际距离亦为1.2mm；将分割结果在像素点尺寸上求和，得到病害的长度为1800mm、宽度2.4mm；根据点位相对高度值灰度图的生成逻辑，逆向计算病害深度为7.2mm。最终输出准确结果如附图6所示。
[0070]
本技术是将前述转换、标注、分割、统计方法封装合并，得到一个输入点云数据，不仅输出病害检测结果图像，同时还输出空间形态参数的路面病害自动分割测量系统。实现了激光点云技术从数据采集到路面病害测量全过程的自动化与智能化，减少人力成本，降低处理时间。
[0071]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0072]
本技术中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。
[0073]
本技术中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。
[0074]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

技术特征：
1.基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，其特征在于：具体包括以下步骤：步骤s1：启动三维激光扫描仪扫描路面行车道，行进编码器触发三维激光扫描仪保存功能，保存w米路面行车道的路表三维扫描结果，前述保存的路表三维扫描结果是格式为.dat的点云数据文件；步骤s2：将点云数据文件转换成w
×
h尺寸的矩阵，其中，w为点云数据文件覆盖的车辆行进长度，h为点云数据文件覆盖的扫描宽度；同时w
×
h尺寸矩阵内的激光点云测得的高度值z保存在矩阵内对应位置；步骤s3：采用最大归一法将高度值z归一化至0-255范围内，得到w
×
h尺寸的点位相对高度值灰度图；步骤s4：运用labelme软件对点位相对高度值灰度图进行像素级标注，将标注结果转化为标签图片；将标签图片分割成n份，判断每小份中目标像素占据的比例，预设比例值；若小份中目标像素占据的比例超过预设比例值，则保留符合要求的小份以及对应的点位相对高度值灰度图，继续下一步；若小份中目标像素占据的比例未超过预设比例值，则继续将下一小份中目标像素占据的比例与预设比例值进行对比；步骤s5：将保留的符合要求的小份以及对应的点位相对高度值灰度图，形成数据集，并将数据集随机分成训练数据集以及验证数据集；步骤s6：载入训练数据集编译检测模型，通过构建卷积神经网络对训练数据集进行训练，获得的损失函数设置为分类交叉熵；输出的训练结果自动保存在model_path路径下；步骤s7：载入验证数据集与步骤s6中训练完毕的检测模型，获得图像分割的测量标准iou，若测量标准iou超过70％，则检测模型能够应用，若测量标准iou低于70％，则重复步骤s1-步骤s6，直至图像分割的测量标准iou超过70％；步骤s8：基于步骤s7验证后的检测模型，将标签图像的分割结果在像素点尺寸上求和，得到路面病害的长度l、宽度d；根据点位相对高度值灰度图的生成逻辑，逆向计算路面病害边缘像素点实际平均高度与标签图像分割区域内像素最低点的高度得到路面病害深度h；步骤s9：将步骤s2-s3的点云数据文件转为图像数据、步骤s4-s5的制作路面病害分割数据集、步骤s6的检测模型构建与训练、步骤s7的检测模型验证以及步骤s8的基于检测模型进行路面病害空间实际形态测量封装合并，输入步骤s1采集的点云数据文件，输出病害检测结果图像及空间形态参数的路面病害自动分割测量系统。2.根据权利要求1所述的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，其特征在于：步骤s1中，获取点云数据文件的设备包括rtk、三维激光扫描仪以及行进编码器，其中，rtk安装在车辆顶部，用于实时获取车辆的经纬度位置；在车辆尾部安装固定支架，固定支架上架设三维激光扫描仪，三维激光扫描仪的扫描端口垂直于路面；行进编码器安装在车辆的左后车轮位置。3.根据权利要求2所述的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，其特征在于：步骤s4中，预设比例值定义为η，其范围为10-25。4.根据权利要求3所述的基于三维激光点云与深度神经网络的路面病害自动分割与测
量方法，其特征在于：步骤s5中，将数据集随机分成训练数据集以及验证数据集，训练数据集与验证数据集的比例为n1:n2，且n1:n2＝9:1或者n1:n2＝8:2。5.根据权利要求4所述的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，其特征在于：步骤s6中，编译检测模型时，载入训练数据集对训练数据集进行数据增强以及one-hot标签格式转换，基于tensorflow-gpu构建卷积神经网络，在卷积神经网络中设置训练参数：batch_size＝b，epochs＝p，learning_rate＝α，buffer_size＝t，model_path＝str1，输出损失函数。6.根据权利要求5所述的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，其特征在于：步骤s6中，输出的损失函数设置为分类交叉熵，即7.根据权利要求6所述的基于三维激光点云与深度神经网络的路面病害自动分割与测量方法，其特征在于：步骤s7中，获得图像分割的测量标准iou为8.根据权利要求7所述基于三维激光点云与深度神经网络的路面病害自动分割与测量方法生成的路面病害自动分割测量系统，其特征在于：所述路面病害自动分割测量系统为将点云数据文件转为图像数据、制作路面病害分割数据集、检测模型构建与训练、检测模型验证以及基于检测模型进行路面病害空间实际形态测量整合形成的程序；三维激光扫描仪保存的路表三维扫描结果即点云数据文件，输入整合形成的程序，输出病害检测结果图像。

技术总结
本发明涉及一种基于三维激光点云与深度神经网络的路面病害自动分割与测量方法及系统，包括点云数据采集、点云数据转为图像数据、制作病害分割数据集、检测模型构建与训练以及基于检测结果的路面病害空间形态测量；同时将转换、标注、分割、统计方法封装合并，得到一个输入点云数据，输出病害检测结果图像与空间形态参数的路面病害自动分割测量系统。本发明以激光点云数据为基础，实现从激光点云原始数据到识别结果全过程自动化与智能化，有利于提高沥青路面病害检测的效率。沥青路面病害检测的效率。沥青路面病害检测的效率。


技术研发人员：童峥 佘旭晖 张伟光 马涛 袁文博 王康南
受保护的技术使用者：东南大学
技术研发日：2023.05.26
技术公布日：2023/9/5