桥梁施工设施和物料的定位方法、装置及计算机存储介质

1.本发明涉及施工设施和物料定位技术领域，更具体地说是涉及一种桥梁施工设施和物料的定位方法、装置及计算机存储介质。


背景技术：

2.建筑施工现场的安全管理是施工行业最具挑战性的工作之一。根据房屋市政工程生产安全事故的相关数据统计，接近40％的施工安全事故是由于设施的不恰当使用和物料的乱堆乱放造成的，所以对施工现场设施与物料进行有效管理以降低事故风险发生的可能性是极为必要的。
3.传统的道桥项目施工现场安全管理完全依赖于现场巡逻、监控和空间规划。一般通过适当的空间规划方法减少设施与设施之间、设施与人之间、设施与物料之间碰撞的可能性，即确定安全完成不同活动所需的空间，并试图减少它们之间的重叠来避免事故的发生。尽管这些方法在宏观上有效地减少了不同设施之间发生碰撞的可能性，但它们并不能完全避免人为错误和意外情况造成的安全风险。此外，在当前的道桥施工现场安全检查中大部分使用目视检查的方法，目视检查中需要有经验的检查员携带检查仪器到达现场进行检查，而这一过程是劳动密集型、耗时且有时风险较大的，与此同时，传统的方法还存在效率低下、信息反馈迟缓等问题。
4.现阶段，随着传感器技术和物联网的进步，许多研究中已经认识到自动化在提高建筑施工项目效率和安全性方面的积极作用，我国施工行业正在向智能化转型。为此，一些研究人员考虑了使用基于视觉的跟踪和实时定位系统来生成危险接近警告的系统。这些方法考虑了设施/物料应具有安全空间，以避免在不久的将来发生潜在碰撞、爆炸等危险。这与传统方法相比不仅提高了生产率，还通过技术和预算节省填补了技能短缺的空白以便对建筑工地进行快速、准确的监控，能够有效降低安全事故发生的风险。但是实际上，由于施工现场的动态性和复杂性，监控设施的布设困难性、布设位置需要阶段性更新以及场地设施的遮蔽性使得视频监控技术在道桥工地难以充分发挥作用，并且难以布设现场全覆盖的监控系统。基于无人机的图像目视检查依然存在较强主观性。近些年在视觉技术的引领下，三维点云重建技术不断发展，同时，更多基于深度学习的应用程序广泛应用于施工环境中，以解决自动化安全检查和现场安全监测问题，例如识别结构缺陷、不安全的劳动力行为和潜在风险因素，这为道桥项目施工现场的安全管理提供了更为有效和智能的方法。
5.因此，提出一种自动化且快速定位道桥工地中设施和物料位置的方法、装置，用于辅助智能化安全检查，推动道桥工地安全检查智能化水平的发展是本领域技术人员亟须解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种桥梁施工设施和物料的定位方法、装置及计算机存储介质，使用深度学习与三维重建技术相结合的方式，实现了设施/物料在室外工地场景中
的智能化快速定位，解决了人工排查过程中耗费时间长，易遗漏的问题。
7.为了实现上述目的，本发明提供如下技术方案：
8.一方面，本发明提供了一种桥梁施工设施和物料的定位方法，包括以下步骤：
9.获取所述施工地点的设施和物料的点云数据集，并对所述点云数据集进行标注，得到标注点云数据集；
10.构建点云语义分割模型，并利用所述标注点云数据集对所述点云语义分割模型进行训练，得到最佳点云语义分割模型；
11.根据所述最佳点云语义分割模型对采集的施工现场的点云数据进行语义分割，生成语义分割文件；
12.基于快速定位算法对所述施工地点的设施和物料进行定位；
13.根据快速定位算法的定位结果生成可视化结果。
14.优选的，获取所述施工地点的点云数据集，并对所述点云数据集进行标注，具体包括：
15.将所述施工地点划分为若干个区域，利用无人机采集所述若干个区域的图像；
16.对所述无人机采集的图像进行信息提取，生成若干区域点云数据；
17.对所述若干区域点云数据进行标注，生成标注点云数据集。
18.优选的，对所述无人机采集的图像数据进行信息提取，生成点云图像后，还包括：对所述若干区域点云数据进行预处理，所述预处理包括对若干区域点云数据依次进行区域裁剪、点云降噪和点云降采样后，输出点云数据。
19.优选的，所述标注点云数据集包括每个点云的x、y、z坐标，rgb信息以及类别标签。
20.优选的，用于评价所述预训练语义分割模型的语义分割结果的指标，包括全局准确性oa、类别平均准确率macc和平均交并比miou，公式如下所示：
[0021][0022][0023][0024]
其中，ioui为第i类的模型分割结果和数据集结果的交并比，ai为第i类的模型点云分类准确率，c为数据集中类别总数，n
t
为正确分类的点数量，n
总
为输入的全部点总数。
[0025]
优选的，基于快速定位算法对所述施工现场的设施和物料进行定位，具体包括：
[0026]
逐一读取一个设施或物料类别的语义分割文件；
[0027]
利用高斯滤波对语义分割文件中的点云数据进行一次降噪；
[0028]
计算所述设施或物料类别中的所有点云之间的距离，若距离小于距离阈值，则判定所述点云属于同一物体，不断重复将同一类别下的所有点划分为若干单个物体；
[0029]
计算每个所述单个物体的质心点，所述质心点作为所述单个物体的坐标位置；
[0030]
读取完所有设施和物料数据后，最后读取被划分为地形类别的点云文件，生成可视化结果。
[0031]
优选的，在可视化结果中，相同类别的设施和物料标注为相同颜色，显示每个设施或物料的坐标值并对每个类别的物体进行计数。
[0032]
另一方面，本发明还提供了一种桥梁施工设施和物料的定位装置，用于实现上述一种桥梁施工设施和物料的定位方法，所述装置包括：
[0033]
图像采集模块，用于采集施工地点的图像；
[0034]
数据集处理模块，用于根据采集的图像提取桥道项目的施工地点的点云数据，对所述点云数据进行预处理，并对预处理后的点云数据集进行标注，得到语义分割数据集；
[0035]
模型训练模块，用于构建预训练语义分割模型，并利用所述语义分割数据集对所述预训练语义分割模型进行训练，得到最佳预训练语义分割模型；
[0036]
处理模块，所述处理模块包括预处理单元和语义分割单元，所述预处理单元用于根据采集的图像提取施工地点的点云数据，对所述点云数据进行预处理；所述语义分割单元用于利用所述最佳语义分割模型对预处理后的点云数据进行语义分割，获得语义分割文件；
[0037]
定位模块，用于基于快速定位算法对所述施工现场的设施和物料进行定位；
[0038]
显示模块，用于显示所述定位模块生成的可视化结果。
[0039]
另一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一种基于深度学习的定位方法中的步骤。
[0040]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种桥梁施工设施和物料的定位方法、装置及计算机存储介质。该方法能够在搭配无人机采集现场数据的基础上快速定位所有设施和物料位置并对每个类别中的所有物体进行计数。避免了人工巡检这类劳动密集型工作，该方法可以用于定期的安全检查，能够降低事故发生率，并规范道桥工地中的设施和物料的使用和安置，很好地辅助管理者进行道桥工地安全管理。该方法能够为未来智能化施工安全检查提供新的思路和技术支持。
附图说明
[0041]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0042]
图1为本发明中一种桥梁施工设施和物料的定位方法的流程图。
[0043]
图2为本发明中快速定位算法的原理图。
[0044]
图3为本发明中一种桥梁施工设施和物料的定位装置的框架图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0046]
实施例1
[0047]
本发明各个实施例中公开了一种桥梁施工设施和物料的定位方法，包括以下步骤：
[0048]
获取施工地点的设施和物料的点云数据集，并对点云数据集进行标注，得到标注点云数据集；
[0049]
构建点云语义分割模型，并利用标注点云数据集对点云语义分割模型进行训练，得到最佳点云语义分割模型；
[0050]
根据最佳点云语义分割模型对采集的施工现场的点云数据进行语义分割，生成语义分割文件；
[0051]
基于快速定位算法对施工地点的设施和物料进行定位；
[0052]
根据快速定位算法的定位结果生成可视化结果。
[0053]
优选的，获取施工地点的点云数据集，并对点云数据集进行标注，具体包括：
[0054]
将施工地点划分为若干个区域，利用无人机采集若干个区域的图像；
[0055]
对无人机采集的图像进行信息提取，生成若干区域点云数据，每个区域保存为一个“.las”文件；
[0056]
对若干区域点云数据进行标注，生成标注点云数据集。标注前需要利cloudcompare读取“.las”文件信息后自动生成三维模型，然后对三维点云模型标注形成数据集。
[0057]
优选的，对无人机采集的图像数据进行信息提取，生成点云图像后，还包括：对点云图像进行预处理，预处理包括对若干区域点云数据依次进行区域裁剪、点云降噪和点云降采样后，输出点云数据。
[0058]
优选的，标注点云数据集包括每个点云的x、y、z坐标，rgb信息以及类别标签。
[0059]
优选的，用于评价预训练语义分割模型的语义分割结果的指标，包括全局准确性oa、类别平均准确率macc和平均交并比miou，公式如下所示：
[0060][0061][0062][0063]
其中，ioui为第i类的模型分割结果和数据集结果的交并比，ai为第i类的模型点云分类准确率，c为数据集中类别总数，n
t
为正确分类的点数量，n总为输入的全部点总数。ai为第i类的模型点云分类准确率。多次调整模型超参数，每次训练后记录当次训练结果(即上面三个指标)。以miou为主要指标，筛选max(miou)的模型为最佳pointnext语义分割模型。若miou相同，则以oa、macc作为第二、第三指标进行筛选。语义分割指标只用于筛选最佳模
型部署到系统中，在后面系统使用中会直接使用训练好的最佳模型对新数据进行语义分割，系统的语义分割效果仅仅通过直接观察的方式判断系统实际分割效果。
[0064]
优选的，基于快速定位算法对施工现场的设施和物料进行定位，具体包括：
[0065]
逐一读取一个设施或物料类别的语义分割文件；
[0066]
利用高斯滤波对语义分割文件中的点云数据进行一次降噪；
[0067]
计算设施或物料类别中的所有点云之间的距离，若距离小于距离阈值，则判定点云属于同一物体，不断重复将同一类别下的所有点划分为若干单个物体；
[0068]
计算每个单个物体的质心点，质心点作为单个物体的坐标位置；
[0069]
读取完所有设施和物料数据后，最后读取被划分为地形类别的点云文件，生成可视化结果。
[0070]
优选的，在可视化结果中，相同类别的设施和物料标注为相同颜色，显示每个设施或物料的坐标值并对每个类别的物体进行计数。
[0071]
实施例2
[0072]
本发明另一实施例中公开了一种桥梁施工设施和物料的定位方法，如图1所示，包括以下步骤：
[0073]
根据桥道项目的施工特点划分施工阶段，将施工阶段划分为桥梁下部结构施工阶段、梁板施工阶段、桥面系及道路施工阶段，汇总每个施工阶段使用的设施和物料；对于设施，一般涉及的类别为塔式起重机，门式起重机，架桥机等，而对于物料，一般包括钢筋、易燃易爆物品、预制构件等。
[0074]
获取桥道项目的施工地点的点云数据集，并对点云数据集进行标注，得到语义分割数据集；为了保证采集数据的质量和无人机电池容量的限制，一般将每个道桥工地划分为多个区域。同时为了提高模型的分割效果，尽可能多采集若干道桥工地项目的数据。利用无人机采集道桥工地项目进行场地数据收集。由于无人机采集的数据为图像，因此利用pix4dmapper对每个区域采集的图像数据进行信息提取来生成点云数据，并以“.las”格式输出点云数据。对点云图像进行预处理，预处理包括对点云图像依次进行裁剪、降噪和降采样后，输出点云数据；根据每个施工阶段使用的设施和物料对点云图像进行标注，生成输出点云数据。优选的，输出点云数据包括每个点云的x、y、z坐标，rgb信息以及类别标签。具体的，利用pix4dmapper对单次采集的图像数据进行信息提取来生成点云数据。pix4dmapper生成的“.las”点云数据需要进行预处理，点云数据的预处理软件为cloudcompare。首先使用cloudcompare对点云场景依次进行裁剪、降噪和降采样后，根据采集的数据中存在的设施、物料类别进行标注，并以“.txt”格式输出点云数据，每个区域保存为一个点云文件。“.txt”文件中包含有7列数据，分别是每个点的x、y、z坐标，rgb信息以及类别标签。
[0075]
构建点云语义分割模型，并利用语义分割数据集对点云语义分割模型进行训练。用于评价语义分割模型的语义分割结果的指标，包括全局准确性oa、类别平均准确率macc和平均交并比miou，公式如下所示：
[0076]
[0077][0078][0079]
其中，ioui为第i类的模型分割结果和数据集结果的交并比，c为数据集中类别总数，n
t
为正确分类的点数量，n
总
为输入的全部点总数。
[0080]
一般来说，miou被视为评价语义分割效果的最重要的指标，同时oa和macc作为辅助指标来综合评价pointnext模型在的性能。
[0081]
根据最佳点云语义分割模型对采集的施工现场的点云数据进行语义分割，生成语义分割文件；基于快速定位算法对施工现场的设施和物料进行定位；根据快速定位算法的定位结果生成可视化结果。得到训练好的点云分割模型后，基于python open3d库开发设施和物料定位算法。物料定位算法如图2所示，pointnext的语义分割结果将一个小区域的不同类别的点分别保存为“.ply”文件。逐一读取一个小区域内不同设施、不同物料以及地形类别的语义分割的结果，每次读取一个设施或物料类别的文件，利用高斯滤波进行对于该类别语义分割后的点云数据进行一次降噪，以尽可能减少每个类别中分类错误的点。然后对于该类别中的所有物体，然后计算每个点的距离，若距离小于距离阈值，则判定该点属于同一物体，不断重复将同一类别的下的所有点划分为若干单个物体，然后计算每个物体的质心点作为该设施/物料的坐标位置。读取完所有设施和物料数据后，最后读取被划分为“地形”类别的点云文件。最后生成可视化结果，可视化结果中，相同类别的设施和物料会被标注为相同的颜色，并对每个类别的物体进行计数并显示每个物体坐标值。安全负责人可以依据可视化结果，查看施工场地内是否存在易燃易爆物品、未在指定位置堆放物料、物料随意堆放、设施是否及时回收等情况，并依据发现的问题，及时采取整治措施。
[0082]
另一方面，本发明还提供了一种桥梁施工设施和物料的定位装置，用于实现上述一种基于深度学习的定位方法，如图3所示，定位装置包括：
[0083]
图像采集模块，用于采集施工地点的图像；
[0084]
数据集处理模块，用于根据采集的图像施工地点的点云数据，对点云数据进行预处理，并对预处理后的点云数据集进行标注，得到语义分割数据集；
[0085]
模型训练模块，用于构建预训练语义分割模型，并利用语义分割数据集对预训练语义分割模型进行训练，得到最佳预训练语义分割模型；
[0086]
处理模块，处理模块包括预处理单元和语义分割单元，预处理单元用于根据采集的图像提取施工地点的点云数据，对点云数据进行预处理；语义分割单元用于利用最佳语义分割模型对预处理后的点云数据进行语义分割，获得语义分割文件；
[0087]
定位模块，用于基于快速定位算法对施工现场的设施和物料进行定位；
[0088]
显示模块，用于显示定位模块生成的可视化结果。
[0089]
另一方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述任意一种基于深度学习的定位方法中的步骤。
[0090]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他
实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述得比较简单，相关之处参见方法部分说明即可。
[0091]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于深度学习的定位方法，用于对施工地点的设施和物料进行定位，其特征在于，包括以下步骤：获取所述施工地点的设施和物料的点云数据集，并对所述点云数据集进行标注，得到标注点云数据集；构建点云语义分割模型，并利用所述标注点云数据集对所述语义分割模型进行训练，得到最佳点云语义分割模型；根据所述最佳点云语义分割模型对采集的施工现场的点云数据进行语义分割，生成语义分割文件；基于快速定位算法对所述施工地点的设施和物料进行定位；根据快速定位算法的定位结果生成可视化结果。2.根据权利要求1所述的一种基于深度学习的定位方法，其特征在于，获取所述施工地点的点云数据集，并对所述点云数据集进行标注，具体包括：将所述施工地点划分为若干个区域，利用无人机采集所述若干个区域的图像；对所述无人机采集的图像进行信息提取，生成若干区域点云数据；对所述若干区域点云数据进行标注，生成标注点云数据集。3.根据权利要求2所述的一种基于深度学习的定位方法，其特征在于，对所述无人机采集的图像数据进行信息提取，生成若干区域点云数据后，还包括：对所述若干区域点云数据进行预处理，所述预处理包括对若干区域点云数据依次进行区域裁剪、点云降噪和点云降采样后，输出点云数据。4.根据权利要求2所述的一种基于深度学习的定位方法，其特征在于，所述标注点云数据集包括每个点云的x、y、z坐标，rgb信息以及类别标签。5.根据权利要求1所述的一种基于深度学习的定位方法，其特征在于，用于评价所述预训练语义分割模型的语义分割结果的指标，包括全局准确性oa、类别平均准确率macc和平均交并比miou，公式如下所示：均交并比miou，公式如下所示：均交并比miou，公式如下所示：其中，iou
i
为第i类的模型分割结果和数据集结果的交并比，a
i
为第i类的模型点云分类准确率，c为数据集中类别总数，n
t
为正确分类的点数量，n
总
为输入的全部点总数。6.根据权利要求1所述的一种基于深度学习的定位方法，其特征在于，基于快速定位算法对所述施工现场的设施和物料进行定位，具体包括：逐一读取一个设施或物料类别的语义分割文件；利用高斯滤波对语义分割文件中的点云数据进行一次降噪；
计算所述设施或物料类别中的所有点云之间的距离，若距离小于距离阈值，则判定所述点云属于同一物体，不断重复将同一类别下的所有点划分为若干单个物体；计算每个所述单个物体的质心点，所述质心点作为所述单个物体的坐标位置；读取完所有设施和物料数据后，最后读取被划分为地形类别的点云文件，生成可视化结果。7.根据权利要求1所述的一种基于深度学习的定位方法，其特征在于，在可视化结果中，相同类别的设施和物料标注为相同颜色，显示每个设施或物料的坐标值并对每个类别的物体进行计数。8.一种基于深度学习的定位装置，其特征在于，用于实现如权利要求1至7中任一项所述的一种基于深度学习的定位方法，所述装置包括：图像采集模块，用于采集施工地点的图像；数据集处理模块，用于根据采集的图像提取施工地点的点云数据，对所述点云数据进行预处理，并对预处理后的点云数据集进行标注，得到标注点云数据集；模型训练模块，用于构建预训练语义分割模型，并利用所述标注点云数据集对所述预训练语义分割模型进行训练，得到最佳预训练语义分割模型；处理模块，所述处理模块包括预处理单元和语义分割单元，所述预处理单元用于根据采集的图像提取施工地点的点云数据，对所述点云数据进行预处理；所述语义分割单元用于利用所述最佳语义分割模型对预处理后的点云数据进行语义分割，获得语义分割文件；定位模块，用于基于快速定位算法对所述施工现场的设施和物料进行定位；显示模块，用于显示所述定位模块生成的可视化结果。9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7任一项所述的一种基于深度学习的定位方法中的步骤。

技术总结
本发明公开了一种桥梁施工设施和物料的定位方法、装置及计算机存储介质，属于设施定位技术领域。包括以下步骤：获取语义分割数据集；利用语义分割数据集对语义分割模型进行训练，得到最佳语义分割模型；根据最佳语义分割模型对采集的施工现场的点云数据进行语义分割，并基于快速定位算法对施工现场的设施和物料进行定位；根据快速定位算法的定位结果生成可视化结果。该方法能够在搭配无人机采集现场数据的基础上快速定位所有设施和物料位置并对每个类别中的所有物体进行计数；避免了人工巡检这类劳动密集型工作；可以用于定期的安全检查，能够降低事故发生率。能够降低事故发生率。能够降低事故发生率。


技术研发人员：李恒 高晓明 么学春 于良成 王晨 崔奔奔
受保护的技术使用者：中交建筑集团有限公司 华侨大学
技术研发日：2023.05.12
技术公布日：2023/8/23