坑洞检测方法、电子设备及存储介质与流程

1.本发明实施例涉及车辆驾驶安全领域，特别涉及一种坑洞检测方法、电子设备及存储介质。


背景技术：

2.在车辆行驶过程中，如果道路不平坦可能会导致车辆行驶困难，若车辆行进路线上遇到深度较深的坑洞，车辆会出现熄火无法正常行驶的情况，更有甚者将会影响到车辆内人员的安全。为了对行驶路线上的坑洞进行预测，目前通常在车辆上设置测距传感器，通过对行进路线上道路的距离变化确定车辆前方是否存在坑洞。
3.发明人发现常规的检测坑洞的方式中至少存在如下问题：通过测距传感器进行坑洞检测受车辆与坑洞距离的影响，在车辆距离坑洞较远时无法准确预测出坑洞的深度，而当车辆接近坑洞时无法保证驾驶员可以安全完成躲避，因此，需要更加安全准确的检测出坑洞的方式。


技术实现要素：

4.本发明实施例的目的在于提供一种坑洞检测方法、电子设备及存储介质，可以更加及时准确的预测出坑洞的深度，检测范围更广，提高车辆驾驶的安全性。
5.为解决上述技术问题，本发明的实施例提供了一种坑洞检测方法，包括：采集车辆行进路线上的坑洞图像；根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度；在深度超过预设阈值的情况下发出报警信息。
6.本发明的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的坑洞检测方法。
7.本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的坑洞检测方法。
8.本发明实施例相对于现有技术而言，在车辆驾驶过程中，采集车辆行进路线上的坑洞图像，根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度。本技术是通过分析所采集的坑洞图像进而得到该坑洞的三维信息，即根据坑洞图像既可以分析出当前车辆位置可以观察到的坑洞的三维信息，还可以预测出当前车辆位置处无法观察到的坑洞的三维信息，根据得到的坑洞的三维信息可以确定坑洞的深度，并在深度超过阈值的情况下可以及时准确的提醒驾驶人员进行规避，利用采集的坑洞图像所分析出的完整坑洞的三维信息进而确定其深度，使坑洞的深度检测更加准确，且可检测到坑洞的范围更广，预警效果更佳。
9.另外，采集车辆行进路线上的坑洞图像，包括：利用车辆的前置摄像头拍摄，并识别拍摄的图像中是否存在坑洞图像；若存在则对拍摄的图像进行图像分割，分割出包含坑
洞区域的图像；对包含坑洞区域的图像进行边缘提取得到坑洞图像。在利用摄像头拍摄图像后对图像进行预处理，筛除图像中明显不是坑洞图像的部分，仅针对坑洞图像的范围进行后续分析处理，可以最大程度保证生成的坑洞的三维信息的准确性，并提高生成三维信息的效率。
10.另外，对拍摄的图像进行图像分割之前，还包括：对拍摄的图像进行去噪处理。排除图像中的噪点，使后续对图像中坑洞图像的分割结果更加准确。
11.另外，对拍摄的图像进行图像分割，分割出包含坑洞区域的图像，包括：选取拍摄的图像中符合水面波动范围的第一目标区域，并且选取拍摄的图像中符合地面坑洞范围的第二目标区域；取第一目标区域和第二目标区域的交集区域作为包含坑洞区域的图像。在车辆行进路线上的坑洞可能为水坑，因此需要考虑拍摄的图像中坑洞表面为水面的情况，保证图像识别的准确性。
12.另外，选取拍摄的图像中符合地面坑洞范围的第二目标区域，包括：确定拍摄的图像中坑洞边缘位置处的任意两个目标点，其中，两个目标点之间的距离大于预设阈值；将以两个目标点为直径的圆形区域作为第二目标区域。为了简化第二目标区域的确定操作，可以在确定坑洞边缘位置处的两个目标点后直接确定第二目标区域的大致轮廓。
13.另外，在利用车辆的前置摄像头拍摄之后，还包括：确定拍摄的图像中的标定物的位置；根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度，包括：根据坑洞图像中标定物的深度信息和坑洞区域的深度信息的差值确定坑洞的深度。
14.另外，根据坑洞图像生成车辆行进路线上坑洞的三维信息，包括：将坑洞图像输入bp神经网络模型；利用bp神经网络模型重建坑洞图像的三维信息。
15.另外，在由三维信息确定坑洞的深度之后，还包括：上传坑洞的深度至共享平台。
附图说明
16.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
17.图1是根据本发明实施例中坑洞检测方法的流程图；
18.图2是根据本发明实施例中对拍摄的图像处理方法的流程图；
19.图3是根据本发明实施例中确定第二目标区域的目标点的示意图；
20.图4是根据本发明实施例中确定坑洞深度方法的流程图；
21.图5是根据本发明实施例中拍摄的图像中标定物的示意图；
22.图6是根据本发明实施例中电子设备的结构示意图。
具体实施方式
23.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施例中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本技术所要求保护的技术方案。
24.以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
25.本发明的第一实施例涉及一种坑洞检测方法，包括：采集车辆行进路线上的坑洞图像；根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度；在深度超过预设阈值的情况下发出报警信息，采用上述方法可以更加及时准确的预测出坑洞的深度，检测范围更广，提高车辆驾驶的安全性。下面对本实施例的坑洞检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
26.本实施例的坑洞检测方法如图1所示，包括：
27.步骤101，采集车辆行进路线上的坑洞图像。
28.具体的，在车辆行进过程中，通过设置在车辆前方的前置摄像头拍摄车辆前方的图像，前置摄像头可以为红外摄像头，考虑到后续检测的准确性，还可以在车辆前方添加雷达或声呐传感器辅助检测坑洞中水位较深的情况下坑洞的深度。
29.步骤102，根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度。
30.具体的，可以通过数据库中预先存储的大量坑洞图像与坑洞的三维信息的对应关系确定当前坑洞图像对应的三维信息，还可以通过坑洞图像中各个像素点的深度信息确定坑洞图像的三维信息，还可以通过车辆在两处不同位置处拍摄的坑洞图像，通过坑洞图像的差异以及所拍摄的位置的差异确定坑洞的三维信息。在确定坑洞的三维信息后，将坑洞底部到路面的垂直距离最大的数值作为该坑洞的深度。
31.步骤103，在深度超过预设阈值的情况下发出报警信息。
32.具体的，根据坑洞的深度对行驶风险进行预测，并为驾驶员提供安全行驶的车速或更改行车路线的建议，若坑洞的深度超过预设阈值，则可以通过自动开启车门锁与自动开启天窗模式协助车内人员可以更高效的离开车内，还可以通过扬声器向驾驶员播报安全提示音，由显示屏向驾驶员提示安全提示信息等。另外，在由三维信息确定坑洞的深度之后，还可以通过云计算平台实施上传行车过程中对路面的监控数据，监控数据至少包括坑洞的深度，以便利用监控数据在城市区域网络中进行车路协同，对道路情况的相关信息进行共享，提高了驾驶的安全性。
33.本发明实施例相对于现有技术而言，在车辆驾驶过程中，采集车辆行进路线上的坑洞图像，根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度。本技术是通过分析所采集的坑洞图像进而得到该坑洞的三维信息，即根据坑洞图像既可以分析出当前车辆位置可以观察到的坑洞的三维信息，还可以预测出当前车辆位置处无法观察到的坑洞的三维信息，根据得到的坑洞的三维信息可以确定坑洞的深度，并在深度超过阈值的情况下可以及时准确的提醒驾驶人员进行规避，利用采集的坑洞图像所分析出的完整坑洞的三维信息进而确定其深度，使坑洞的深度检测更加准确，且可检测到坑洞的范围更广，预警效果更佳。
34.本技术实施例中，在利用前置摄像头拍摄出车辆行进路线上的图像后，还可以对拍摄的图像进行处理，对拍摄的图像的处理方式如图2所示，包括：
35.步骤201，对拍摄的图像进行去噪处理。
36.具体的，通过滤波的方式去除图像中明显的噪点，实现对图像中数据的预处理，筛除冗余数据，以减少后续处理的数据量。
37.步骤202，对拍摄的图像进行图像分割，分割出包含坑洞区域的图像。
38.步骤203，对包含坑洞区域的图像进行边缘提取得到坑洞图像。
39.具体的，可以对拍摄的图像进行灰度直方图均衡化，将当前图像的灰度分布通过变换函数变换为范围更宽、灰度分布更均匀的图像。也可以说是将当前图像的直方图修改为在整个灰度区间内大致均匀分布的图像，扩大了图像的动态范围，增强图像的对比度，以便更加准确的确定坑洞区域的轮廓，实现对坑洞区域图像的分割。在进行灰度直方图均衡化处理之后，还可以利用垂直边缘检测对图像进行滤波，得到坑洞图像的深度图像。
40.另外，还可以用局域窗口内边缘值的计算方法确定边缘值，用边缘值的计算结果对脉冲耦合神经网络得脉冲输出进行调整，提高了边缘提取的自适应性和准确性。局域窗口边缘值计算方法具体为：将预处理后的图像输入脉冲耦合神经网络，其中，脉冲耦合神经网络预先设定了模型参数，将图像的灰度值作为网络神经元的外部刺激输入到网络中，设所有的神经元的初始状态值为0，在第一次迭代时，神经元的内部激活等于外部刺激，所有神经元的阈值均从初始值开始衰减，当某一神经元的阈值衰减到小于或等于相应的内部激活时完成一次迭代，多次迭代可以提高图像边缘检测的质量，在实际操作时可以预先设置合适的迭代次数，在满足迭代次数后完成对坑洞区域图像的边缘提取。另外，在进行边缘提取之前，为了使图像对比度更加明显，可以对图像进行二值处理得到二值图像，再将二值图像输入至脉冲耦合神经网络中。
41.另外，行进路线上的坑洞可能为水坑，由于水面和地面的图像特征存在一定差异，因此，在进行图像处理时需要同时考虑水坑和地面两种情况。选取拍摄的图像中符合水面波动范围的第一目标区域，并且选取拍摄的图像中符合地面坑洞范围的第二目标区域；取第一目标区域和第二目标区域的交集区域作为包含坑洞区域的图像，其中，在选取拍摄的图像中符合水面波动范围的第一目标区域后，对第一目标区域进行灰度化处理，根据图像中不同区域亮度分布，计算其局部阈值，对于图像不同区域，自适应确定不同的阈值，基于确定的阈值进行边缘检测，对边缘进行平滑处理并将孤立点剔除，得到处理后的第一目标区域。另外，选取图像中的第二目标区域之后，对第二目标区域进行灰度化处理，基于灰度梯度信息进行边缘检测，对梯度图像进行滤波并剔除孤立点，得到处理后的第二目标区域，最后对处理后的第一目标区域和第二目标区域进行交集处理作为包含坑洞区域的图像。
42.另外，第二目标区域可以通过以下方式确定，确定拍摄的图像中坑洞边缘位置处的任意两个目标点，其中，两个目标点之间的距离大于预设阈值；将以两个目标点为直径的圆形区域作为第二目标区域。目标点的选择如图3所示，虚线代表边缘处理后的坑洞区域图像，在虚线位置选取任意两点作为目标点，所选取的两个目标点的距离大概在0.5至1.2米之间，若选取的两个目标点距离过近可能会导致第二目标区域的范围缺失，另外出于常见的坑洞尺寸考虑，在日常场景中不易出现尺寸过大的坑洞，因此两个目标点的距离不常出现过远的情况。
43.本技术实施例中，根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度可以通过以下几种方式实现：
44.其中一种实现方式是利用坑洞图像的深度信息确定坑洞的深度，实现过程如图4所示，包括：
45.步骤401，确定拍摄的图像中标定物的位置。
46.步骤402，根据坑洞图像中标定物的深度信息和坑洞区域的深度信息的差值确定
坑洞的深度。
47.具体的，在拍摄图像之后，如图5所示，结合透视投影建立图像的拓补图。图5中将代表道路平面的水平面作为参考平面，选取与参考平面垂直的方向作为参考方向。在图像中确定预先设置的标定物的位置，标定物可以是道路中常见且不会频繁移动的物品，如红绿灯或指示牌等。图中pp’代表标定物的位置，在拓补图中确定相对易于定位检测的角点p’，p点是经过p’平行于参考方向的直线与参考平面的交点，pp’的距离代表标定物的深度信息z，另外前置摄像头qc的深度信息为z0，根据坑洞图像中标定物的深度信息和坑洞区域的深度信息的差值确定坑洞的深度，或者根据坑洞图像中标定物的深度信息和坑洞中水面的深度信息的差值确定坑洞中水位的深度。另外，在利用标定物确定坑洞深度时，不仅需要切割出坑洞区域范围，还需要将标定物所在区域保留。
48.另外一种实现方式是利用bp神经网络模型对坑洞的深度进行预测，利用tensorflow实现神经网络对样本进行分布式训练，记录每个样本的映射位置，即对应的神经元，并记录各神经元的连接权值，并找出神经元与映射到该神经元的所有样本的欧式距离。同时在bp神经网络的连接权值优化的基础上，再将这些一期训练优化参数用梯度下降法进行二次优化训练，将两次优化后得到的参数作为最终参数对道路水深水位进行预测。
49.另外，还可以通过测量的方式确定坑洞深度，包括对相机参数进行配置，在图3所示a点采集包含坑洞边缘任意一点b的图像，在a点采集包含坑洞深度点的图像，在b点采集包含坑洞深度点的图像，实现对坑洞图像进行三次采集，并保存每次采集时的传感器数据，对采集到的图像进行预处理和矫正，再通过多组传感器对相机进行标定，建立场景与图像的空间坐标对应关系，实现对图像的三维信息重建，根据三维信息测算坑洞深度。
50.另外，如果坑洞中的水位面与道路上表面不在同一水平面时，可以分别检测水位高度以及水位高度到道路上表面之间的距离，并通过累加的方式确定坑洞的总深度，通过不同的算法规则计算不同介质的区域所对应的深度，可以提高计算的准确性。
51.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
52.本发明实施例还涉及一种电子设备，如图6所示，包括至少一个处理器601；以及，与至少一个处理器601通信连接的存储器602；其中，存储器602存储有可被至少一个处理器601执行的指令，指令被至少一个处理器601执行，以使至少一个处理器601能够执行上述实施例中的坑洞检测方法。
53.其中，存储器602和处理器601采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器601和存储器602的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器601处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器601。
54.处理器601负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接
口，电压调节、电源管理以及其他控制功能。而存储器602可以被用于存储处理器601在执行操作时所使用的数据。
55.本发明实施例还涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
56.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
57.本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

技术特征：
1.一种坑洞检测方法，其特征在于，包括：采集车辆行进路线上的坑洞图像；根据所述坑洞图像生成所述车辆行进路线上坑洞的三维信息，并由所述三维信息确定所述坑洞的深度；在所述深度超过预设阈值的情况下发出报警信息。2.根据权利要求1所述的坑洞检测方法，其特征在于，所述采集车辆行进路线上的坑洞图像，包括：利用车辆的前置摄像头拍摄，并识别拍摄的图像中是否存在坑洞图像；若存在则对所述拍摄的图像进行图像分割，分割出包含坑洞区域的图像；对所述包含坑洞区域的图像进行边缘提取得到所述坑洞图像。3.根据权利要求2所述的坑洞检测方法，其特征在于，所述对所述拍摄的图像进行图像分割之前，还包括：对所述拍摄的图像进行去噪处理。4.根据权利要求2或3所述的坑洞检测方法，其特征在于，所述对所述拍摄的图像进行图像分割，分割出包含坑洞区域的图像，包括：选取所述拍摄的图像中符合水面波动范围的第一目标区域，并且选取所述拍摄的图像中符合地面坑洞范围的第二目标区域；取所述第一目标区域和所述第二目标区域的交集区域作为所述包含坑洞区域的图像。5.根据权利要求4所述的坑洞检测方法，其特征在于，所述选取所述拍摄的图像中符合地面坑洞范围的第二目标区域，包括：确定所述拍摄的图像中坑洞边缘位置处的任意两个目标点，其中，所述两个目标点之间的距离大于预设阈值；将以所述两个目标点为直径的圆形区域作为所述第二目标区域。6.根据权利要求2至5中任一所述的坑洞检测方法，其特征在于，在所述利用车辆的前置摄像头拍摄之后，还包括：确定所述拍摄的图像中的标定物的位置；所述根据所述坑洞图像生成所述车辆行进路线上坑洞的三维信息，并由所述三维信息确定所述坑洞的深度，包括：根据所述坑洞图像中所述标定物的深度信息和所述坑洞区域的深度信息的差值确定所述坑洞的深度。7.根据权利要求1至5中任一项所述的坑洞检测方法，其特征在于，所述根据所述坑洞图像生成所述车辆行进路线上坑洞的三维信息，包括：将所述坑洞图像输入bp神经网络模型；利用所述bp神经网络模型重建所述坑洞图像的三维信息。8.根据权利要求1至7中任一项所述的坑洞检测方法，其特征在于，在由所述三维信息确定所述坑洞的深度之后，还包括：上传所述坑洞的深度至共享平台。9.一种电子设备，其特征在于，包括：至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的坑洞检测方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的坑洞检测方法。

技术总结
本发明实施例涉及车辆驾驶安全领域，公开了一种坑洞检测方法、电子设备及存储介质。本发明中采集车辆行进路线上的坑洞图像；根据坑洞图像生成车辆行进路线上坑洞的三维信息，并由三维信息确定坑洞的深度；在深度超过预设阈值的情况下发出报警信息。本申请根据坑洞图像分析出当前车辆位置可以观察到的坑洞的三维信息，并预测出当前车辆位置处无法观察到的坑洞的三维信息，根据得到的坑洞的三维信息可以确定坑洞的深度，并在深度超过阈值的情况下可以及时准确的提醒驾驶人员进行规避，利用采集的坑洞图像所分析出的完整坑洞的三维信息进而确定其深度，使坑洞的深度检测更加准确，且可检测到坑洞的范围更广，预警效果更佳。预警效果更佳。预警效果更佳。


技术研发人员：方琦 杨海霞 孙琪华
受保护的技术使用者：上海安勤智行汽车电子有限公司
技术研发日：2023.03.22
技术公布日：2023/6/28