交通标线在线检测方法、装置、电子设备和存储介质与流程

1.本公开涉及智能交通技术领域，尤其涉及一种交通标线在线检测方法、装置、电子设备和存储介质。


背景技术：

2.路面交通标线能够给交通参与者传递特定信息，提高交通参与者的安全保障。在自动驾驶领域，路面交通标线的成功感知，能够为无人驾驶车辆提供丰富的实时交通信息，是规划车辆运动的先决条件，也能为车辆定位提供有效的信息。因此，实现精确、有效的交通标线在线检测技术是实现自动驾驶的关键步骤。
3.目前，路面交通标线的在线检测主要通过无人驾驶车辆上搭载相机传感器，利用图像分割技术从相机拍摄的图像中分割目标地面交通标线。然而，相机成像受光照影响较大，无法在漆黑环境中得到高质量图像。并且，单目相机图像的分割结果无法给出地面交通标线的真实尺度，使其应用受到限制。相较而言，激光传感器则受益于其感知范围大、光照鲁棒性强等特点，能够使无人驾驶车辆在昏暗场景下正确地感知周围环境。并且，基于激光传感器的检测方法能够直接获得路面交通标线在三维空间中的位置和尺度，便于后续无人车辆利用检测结果进行规划控制或定位。因此，利用激光传感器完成路面交通标线的检测具有重要意义。
4.现阶段基于激光传感器的路面交通标线在线检测技术主要通过激光线束的强度差异，设定固定的强度阈值筛选出路面标线点云，然后通过直线拟合恢复车道线。然而不同类型的激光雷达需要设置的阈值不同，需要人为去实验并调整，不同地点的路面的强度可能有差异，固定阈值在不同的地点表现会有差异。并且由于激光传感器获得的点云数据在空间中分布较为稀疏，上述方法难以获得完整的地面标线。此外，基于直线拟合的技术仅能检测到长、短车道线等分布呈线性的标线，无法成功检测到转向箭头、导流线、减速标志等形态各异的标线。


技术实现要素：

5.为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种交通标线在线检测方法、装置、电子设备和存储介质，在保证实时性的基础上，解决了单帧激光点云稀疏分布的问题，同时极大地提升了实时路面交通标线的检测精度和效率。
6.第一方面，本公开实施例提供了一种交通标线在线检测方法，包括：
7.基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；
8.利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；
9.将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；
10.利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线
掩膜图像；
11.利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；
12.对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。
13.第二方面，本公开实施例还提供了一种交通标线在线检测装置，包括：
14.当前帧初始交通标线点云数据确定模块，用于基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；
15.当前时刻交通标线点云三维图确定模块，用于利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；
16.交通标线鸟瞰图获取模块，用于将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；
17.交通标线掩膜图像获取模块，用于利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；
18.不同交通标线点云提取模块，用于利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；
19.不同交通标线拟合模块，用于对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。
20.第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
21.一个或多个处理器；
22.存储装置，用于存储一个或多个程序；
23.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的交通标线在线检测方法。
24.第四方面，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的交通标线在线检测方法。
25.本公开实施例提供的一种交通标线在线检测方法，基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测，上述技术方案通过使用点云自适应强度分割算法，能够针对不同的路面交通场景自适应的设定不同的强度阈值，提高了交通标线点云数据获取的准确性，极大地提升了后续路面交通标线的检测精度和效率；利用里程计算法将多帧点云数据叠加，解决了单帧激光点云稀疏分布的问题，同时能够实现实时在线提取多种形式的交通标线。
附图说明
26.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及
方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
27.图1为本公开实施例中的一种交通标线在线检测方法的流程图；
28.图2为本公开实施例中的一种当前帧初始交通标线点云数据可视化图像；
29.图3为本公开实施例中的一种交通标线鸟瞰图；
30.图4为本公开实施例中的一种交通标线掩膜图像；
31.图5为本公开实施例中的一种路面中不同交通标线点云的可视化图像；
32.图6为本公开实施例中的一种交通标线在线检测装置的结构示意图；
33.图7为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
34.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
35.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
36.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
37.图1为本公开实施例中的一种交通标线在线检测方法的流程图，图2为本公开实施例中的一种当前帧初始交通标线点云数据可视化图像，图3为本公开实施例中的一种交通标线鸟瞰图，图4为本公开实施例中的一种交通标线掩膜图像，图5为本公开实施例中的一种路面中不同交通标线点云的可视化图像。本实施例可适用于车辆在行驶的过程中，实时检测路面交通标线的情况，该方法可以由交通标线在线检测装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中。如图1-5所示，该方法具体可以包括如下步骤：
38.s110、基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据。
39.其中，各帧原始激光点云数据为在行车过程中利用车载激光传感器实时获取到的，当前帧原始激光点云数据为在当前时刻获取到的。由于交通标线对激光的反射率远远大于普通路面以及路侧物体，因此击中交通标线的激光点云强度较高。为了更清晰、高效地完成后续路面交通标线的检测，优选可以利用点云强度差异将原始激光点云数据中的杂质点云滤除，仅保留交通标线点云。具体的，各帧初始交通标线点云数据为基于点云自适应强度分割算法，滤除掉相应帧原始激光点云数据中的非交通标线点云数据之后的激光点云数据，其中，非交通标线点云数据包括非路面激光点云数据以及路面中除交通标线之外的其他激光点云数据，非路面激光点云数据可以包括路侧环境对应的激光点云数据等，地面中除交通标线之外的其他激光点云数据可以包括其他车辆对应的激光点云数据。由于不同路况下普通路面和标线的材质和颜色不同，因此固定的强度阈值难以准确地在不同场景中过滤出路面交通标线点云，因此，本实施例中采用点云自适应强度分割算法，能够自适应地设
定强度阈值，以基于该强度阈值滤除路面中除交通标线之外的其他激光点云数据，保留初始交通标线激光点云数据的强度分割算法，点云自适应强度分割算法获取到的初始交通标线点云数据的准确性较高。
40.可选地，各帧初始交通标线点云数据的数据范围可以是与相应帧原始激光点云数据的数据范围相同，为了保证算法的实时性，减少计算量，各帧初始交通标线点云数据的数据范围也可以是与预先设定的激光点云数据范围相同，其中，预先设定的激光点云数据范围可以是车辆所在区域的预设范围，示例性的，车辆所在区域的预设范围可以是车辆附近前后30m以及左右15m的范围。
41.s120、利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图。
42.其中，所述当前时刻初始交通标线点云三维图为根据各相邻两帧初始交通标线点云数据之间的车辆相对位姿，将相邻连续第一预设帧数初始交通标线点云数据依次投影叠加得到的，相邻连续第一预设帧数初始交通标线点云数据包括所述当前帧初始交通标线点云数据。其中，第一预设帧数可以是从第一帧到当前帧在内的所有帧数，也可以是固定数目的帧数。车辆相对位姿包括车辆相对速度和车辆相对转角，优选的，可以利用车辆内部的轮速计确定相邻两帧初始交通标线点云数据对应时刻的车辆速度和车辆转角，并基于车辆速度和车辆转角，确定车辆在当前时刻相对于上一时刻的相对位姿。本实施例基于车辆内部的轮速计将相邻连续第一预设帧数初始交通标线点云数据依次投影叠加为当前时刻初始交通标线点云三维图，用以恢复初始交通标线点云的稠密性，便于后续从中提取不同的路面交通标线点云数据，同时仅叠加相邻连续第一预设帧数初始交通标线点云数据，而不是叠加原始激光点云数据，能够充分减少计算量，保证算法的实时性。可以理解的是，当各帧初始交通标线点云数据的数据范围与预先设定的激光点云数据范围相同时，其对应的当前时刻初始交通标线点云三维图的数据范围也优选与预先设定的激光点云数据范围相同。
43.s130、将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图。
44.本实施例中，交通标线鸟瞰图即交通标线bev(bird’s-eye view)图像。
45.优选的，将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图，包括：将所述当前时刻初始交通标线点云三维图栅格化，得到当前时刻初始交通标线点云栅格化三维图；将所述当前时刻初始交通标线点云栅格化三维图投影到当前时刻车辆坐标系的水平面内，得到交通标线点云栅格化平面图；根据所述交通标线点云栅格化平面图，获得所述交通标线鸟瞰图。上述技术方案通过将当前时刻初始交通标线点云三维图栅格化以及平面投影，使得交通标线点云可视化，便于后续交通标线的分割与提取。
46.示例性的，当前时刻初始交通标线点云三维图的数据范围为车辆附近前后30m以及左右15m，将当前时刻初始交通标线点云三维图的数据范围在当前时刻车辆坐标系的x-y平面内划分边长为0.08m的栅格，得到当前时刻初始交通标线点云栅格化三维图；并将当前时刻初始交通标线点云栅格化三维图内的每一个点投影至x-y平面，同时计算其每一个点所属栅格，得到交通标线点云栅格化平面图；根据所述交通标线点云栅格化平面图，获得所述交通标线鸟瞰图。
47.进一步优选的，根据所述交通标线点云栅格化平面图，获得所述交通标线鸟瞰图，包括：计算所述交通标线点云栅格化平面图中，每个栅格内所有点的平均强度；将每个栅格
作为一个像素，将每个栅格内所有点的平均强度作为像素值，并根据像素颜色与像素值的预设对应关系，赋予不同像素相应的像素颜色，得到所述交通标线鸟瞰图。上述技术方案通过将栅格强度像素化，使得交通标线点云可视化。示例性的，像素颜色与像素值的预设对应关系可以是像素值(即平均强度值)越高，其对应像素颜色越接近绿色，像素值越低，其对应像素颜色越接近红色，若像素值为0(即相应栅格内没有任何点)，则对应像素颜色为黑色，此种情况对应的交通标线鸟瞰图为rgb彩色图像。又示例性的，像素颜色与像素值的预设对应关系可以是像素值(即平均强度值)越高，其对应像素颜色越接近白色，像素值越低，其对应像素颜色越接近黑色，若像素值为0(即相应栅格内没有任何点)，则对应像素颜色为黑色。
48.此外，根据所述交通标线点云栅格化平面图，获得所述交通标线鸟瞰图，还可以包括：确定所述交通标线点云栅格化平面图中，每个栅格内强度最大的点对应的最大强度值；将每个栅格作为一个像素，将每个栅格内强度最大的点对应的最大强度值作为像素值，并根据像素颜色与像素值的预设对应关系，赋予不同像素相应的像素颜色，得到所述交通标线鸟瞰图。可以理解的是，每个栅格对应的强度值(即每个像素对应的像素值)可以根据实际需要进行确定，本实施例不作特殊限定。
49.s140、利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像。
50.示例性的，深度学习图像分割网络可以是centermask、mask r-cnn(mask region-based convolutional neural network，掩膜基于区域的卷积神经网络)以及blendmask等实例分割网络。
51.s150、利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云。
52.本实施例中，对于交通标线掩模图像中rgb值非[0,0,0]或像素值非0的像素，优选从当前时刻初始交通标线点云三维图中获取到该像素对应的栅格，并从相应栅格内将对应的点提取出来，得到不同交通标线点云，并为不同交通标线点云赋予相应的语义标签，得到具有语义标签的不同交通标线点云。
[0053]
s160、对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。
[0054]
优选的，对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，包括：
[0055]
若第一路面交通标线为短车道线、停止线、人行道、指向箭头和减速标志中的至少一种，则利用如下公式计算相应交通标线点云的中心点，以确定所述第一路面交通标线与车辆的相对位置：
[0056][0057]
其中，qm为相应交通标线点云的中心点，{qj，j＝1，2，......，n}为相应交通标线点云，qj为相应交通标线点云中的第j个点；
[0058][0059]
利用如下公式计算相应交通标线点云的协方差矩阵：
[0060]
其中，c为相应交通标线点云的协方差矩阵；
[0061]
对所述协方差矩阵进行特征值分解，得到c的特征值和特征向量，选取特征值最大的特征向量d，其中，所述特征向量d在空间中的指向为所述第一路面交通标线的方向；
[0062]
从所述第一路面交通标线的中心点出发，沿着d和-d的方向找到相应交通标线点云中距离中心点最远的点作为所述第一路面交通标线在长度方向上的端点，将d和-d两个方向上的端点之间的距离作为所述第一路面交通标线的长度；
[0063]
计算地面平面上垂直于d的方向d
′
和-d
′
，并沿着方向d
′
计算所述第一路面交通标线的宽度，从所述第一路面交通标线的中心点出发，沿着d
′
和-d
′
的方向找到相应交通标线点云中距离中心点最远的点作为所述第一路面交通标线再宽度方向上的端点，将d
′
和-d
′
两个方向上的端点之间的距离作为所述第一路面交通标线的宽度；
[0064]
若第二路面交通标线为长车道线或路沿，则利用网格采样方法，获取所述第二路面交通标线沿线上的点，通过对相邻点间的长度求和计算出所述第二路面交通标线的长度；
[0065]
将所述第二路面交通标线沿线上的点拟合为贝塔曲线，将所述贝塔曲线作为所述第二路面交通标线在空间内的数学表达，所述数学表达包括所述第二路面交通标线的几何形状和与车辆的相对位置。自动驾驶车辆可以利用不同路面交通标线的几何信息以及与车辆的相对位置信息完成定位和规划控制。
[0066]
本实施例提供的一种交通标线在线检测方法，基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测，上述技术方案通过使用点云自适应强度分割算法，能够针对不同的路面交通场景自适应的设定不同的强度阈值，提高了交通标线点云数据获取的准确性，极大地提升了后续路面交通标线的检测精度和效率；利用里程计算法将多帧点云数据叠加，解决了单帧激光点云稀疏分布的问题，同时能够实现实时在线提取多种形式的交通标线。
[0067]
在上述各实施例的基础上，进一步的，所述基于点云自适应强度分割算法，在当前帧原始点云数据中获取当前帧初始交通标线点云数据，包括：
[0068]
在所述当前帧原始点云数据中提取当前帧路面点云数据；
[0069]
基于所述点云自适应强度分割算法，根据强度对所述当前帧路面点云数据进行点云分割，得到所述当前帧初始交通标线点云数据。
[0070]
示例性的，在所述当前帧原始点云数据中提取当前帧路面点云数据的具体步骤可以是：在当前帧原始点云数据中选取30个(仅为举例说明，具体数量此处不作限定)高度值
最低的点作为种子点，利用随机采样一致性算法(random sample consensus,ransac)拟合种子点所在的第一平面，获取距离该第一平面预设距离的点作为新的种子点，重新利用随机采样一致性算法拟合第二平面，获取距离该第二平面预设距离的点作为新的种子点，重新利用随机采样一致性算法拟合第三平面，重复执行上述步骤，实现平面参数的不断优化迭代，当拟合平面的平面参数不再发生变化时停止迭代，得到当前帧路面点云数据。上述通过不断迭代拟合路面点云数据，能够提高路面点云数据获取的准确性，为后续能够准确获得初始交通标线点云数据提供准确的路面点云数据基础。
[0071]
在上述各实施例的基础上，进一步的，所述基于所述点云自适应强度分割算法，根据强度对所述当前帧路面点云数据进行点云分割，得到所述当前帧初始交通标线点云数据，包括：
[0072]
对所述当前帧路面点云数据进行标准化处理，得到标准化当前帧路面点云数据；
[0073]
在所述标准化当前帧路面点云数据中，提取目标点云强度点云数据，其中，所述目标点云强度点云数据为点云强度在预设点云强度范围内的点云数据；
[0074]
针对所述目标点云强度点云数据，将所述预设点云强度范围划分为第一预设数目的点云强度区间，统计每个点云强度区间对应的区间内点的数量；
[0075]
在各个连续点云强度区间内，确定点数量最多的目标连续点云强度区间，其中，所述连续点云强度区间为第二预设数目的连续的点云强度区间；
[0076]
将目标连续点云强度区间内点云对应的点云强度最大值作为当前帧强度分割阈值；
[0077]
在所述当前帧路面点云数据中，提取点云强度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据。
[0078]
由于不同的激光传感器的强度感知能力和强度范围均不同，因此，优选可以对当前帧路面点云数据的强度做标准化，其公式为
[0079][0080]
其中，in为标准化后的当前帧路面点云数据的点云强度，i为当前帧路面点云数据的点云强度，im为当前帧路面点云数据的强度均值，σi为当前帧路面点云数据的强度标准差。其中，标准化后的当前帧路面点云数据的点云强度集合满足均值为0，方差为1。
[0081]
可选的，点云自适应强度分割算法可以是直方图法用点云自适应强度分割算法，预设点云强度范围可以是[-3，3]，第一预设数目可以是25，第二预设数目可以是10。举例来说，针对所述目标点云强度点云数据，对预设点云强度范围在[-3，3]内的点云数据做直方图处理，将该范围内的点云数据划分为25个点云强度区间，并统计每个点云强度区间内点的数量。由于路面平面对应点云中的点绝大多数位于普通的路面上，只有小部分点位于路面交通标线和其他区域，因此，可以将点总数量最多的连续10个点云强度区间内的点云作为普通路面点云，将点总数量最多的连续10个点云强度区间内的点云强度最大值作为当前帧强度分割阈值，将所述当前帧路面点云数据中，点云强度大于当前帧强度分割阈值的点云作为当前帧初始交通标线点云数据。上述直方图法用点云自适应强度分割算法能够根据实际情况自适应的调整强度分割阈值，提高获取初始交通标线点云数据的准确性。
[0082]
在上述各实施例的基础上，进一步的，在所述当前帧路面点云数据中，提取点云强
度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据之前，还包括：
[0083]
利用卡尔曼滤波器和所述当前帧强度分割阈值，确定新的当前帧强度分割阈值，并将新的当前帧强度分割阈值作为所述当前帧强度分割阈值。
[0084]
在一些实施例中，如果仅使用用直方图法用点云自适应强度分割算法来确定强度分割阈值，可能会存在相邻两帧强度分割阈值变化较大的情况(即存在异常强度分割阈值的情况)，该情况可能会导致结果不符合客观规律。为此，本实施例中可以使用卡尔曼滤波器和当前帧强度分割阈值，来确定新的当前帧强度分割阈值，以降低异常强度分割阈值对交通标线点云过滤的影响。在车辆行驶的过程中，由于获取相邻两帧激光点云数据的过程中车辆行驶距离较短，因此，可假设相邻两帧激光点云数据数据对应的强度分割阈值相同。
[0085]
具体的，基于如下公式，利用卡尔曼滤波器和所述当前帧强度分割阈值，确定新的当前帧强度分割阈值：
[0086][0087][0088][0089][0090][0091]
其中，δk为新的第k帧强度分割阈值，为卡尔曼滤波器的第k帧强度分割阈值的预测值，k为卡尔曼增益，为利用点云自适应强度分割算法计算得到的第k帧强度分割阈值，δ
k-1
为第k-1帧强度分割阈值，为第k帧卡尔曼滤波预测协方差，r为预设卡尔曼滤波的观测协方差初始值，p
k-1
为第k-1帧卡尔曼滤波协方差，q为预设卡尔曼滤波的预测协方差初始值，pk为第k帧卡尔曼滤波协方差。
[0092]
通过卡尔曼滤波输出的第k帧强度分割阈值δk可用于初筛出当前帧初始交通标线点云数据。具体而言，在第k帧路面点云数据中，点云强度小于等于δk的点被丢弃，点云强度大于δk的点被保留，作为当前帧初始交通标线点云数据。
[0093]
相较于设定固定的强度阈值，本技术方案中的直方图法用点云自适应强度分割算法不仅能够根据当前获得的路面点云数据，对点云强度值做出统计和分析，同时也能够自适应地获得强度分割阈值。因此，点云自适应强度分割算法不仅能够适应不同材质的路面和路面标线，也能够适应具有不同的强度感知能力、不同型号的激光雷达，节省了大量手动参数调试的人工成本。
[0094]
在上述各实施例的基础上，进一步的，利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图，包括：
[0095]
确定车辆当前时刻位姿相对于前一时刻位姿的相对位姿；
[0096]
根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标
线点云三维图投影到当前时刻车辆坐标系内，并与所述当前帧初始交通标线点云数据相叠加，得到所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；其中，前一时刻初始交通标线点云三维图为根据各相邻两帧初始交通标线点云数据之间的相对位姿，将与当前帧初始交通标线点云数据相邻的连续预设帧数初始交通标线点云数据依次投影叠加得到的。
[0097]
优选的，可以利用车辆内部的轮速计确定当前时刻和前一时刻的车辆速度和车辆转角，并基于车辆速度和车辆转角，确定车辆在当前时刻相对于上一时刻的相对位姿。本实施例基于车辆内部的轮速计将相邻连续预设帧数初始交通标线点云数据依次投影叠加为前一时刻初始交通标线点云三维图，用以恢复初始交通标线点云的稠密性，同时仅叠加相邻连续预设帧数初始交通标线点云数据，而不是叠加原始激光点云数据，能够充分减少计算量，保证算法的实时性。
[0098]
优选的，当各帧初始交通标线点云数据的数据范围与预先设定的激光点云数据范围相同时，前一时刻初始交通标线点云三维图的数据范围优选也可以设置为与预先设定的激光点云数据范围相同，同样的，当前时刻初始交通标线点云三维图的数据范围优选也可以设置为与预先设定的激光点云数据范围相同，其中，预先设定的激光点云数据范围可以是车辆所在区域的预设范围，示例性的，车辆所在区域的预设范围可以是车辆附近前后30m以及左右15m的范围。
[0099]
在上述各实施例的基础上，进一步的，在根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内之前，还包括：
[0100]
利用如下公式，确定所述前一时刻初始交通标线点云三维图中每个点的保留概率；
[0101][0102]
其中，p为保留概率，i＝0，1，2......x，x为当前点所属点云帧与前一时刻对应点云帧之间的帧数差，α为参数；
[0103]
随机生成变量k，变量k在区间[0，1]上服从均匀分布，若满足p＞k，则将所述前一时刻初始交通标线点云三维图中的当前点保留，若不满足，则将所述前一时刻初始交通标线点云三维图中的当前点丢弃；
[0104]
对所述前一时刻初始交通标线点云三维图中的每个点执行上述步骤，得到前一时刻保留交通标线点云三维图；
[0105]
将所述前一时刻保留交通标线点云三维图作为新的前一时刻初始交通标线点云三维图。
[0106]
本实施例为了降低轮速计位姿累积误差对当前时刻初始交通标线点云三维图构建的影响，可以采用上述保留概率公式确定前一时刻初始交通标线点云三维图中可以保留的点云数据。这样，在前一时刻初始交通标线点云三维图中，过于久远的历史点云数据会被丢弃，而近期点云数据则会大概率保留，在保证初始交通标线点云三维图在维护的过程中不会逐渐失真的同时，还具有高度的实时性，满足车辆在线感知的需求。
[0107]
在上述各实施例的基础上，进一步的，所述将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内，还包括：
[0108]
将所述前一时刻初始交通标线点云三维图栅格化，得到前一时刻初始交通标线点云栅格化三维图；
[0109]
对所述前一时刻初始交通标线点云栅格化三维图进行下采样处理，得到前一时刻初始交通标线点云下采样三维图；
[0110]
将所述前一时刻初始交通标线点云下采样三维图作为新的前一时刻初始交通标线点云三维图，投影到当前时刻车辆坐标系内。
[0111]
为了进一步保证方法的实时性，同时减少当前时刻初始交通标线点云三维图生成时的计算量，本技术方案采用初始交通标线点云下采样方法。具体的，对所述前一时刻初始交通标线点云栅格化三维图进行下采样处理，得到前一时刻初始交通标线点云下采样三维图，可以是对前一时刻初始交通标线点云栅格化三维图中的每个栅格进行下采样处理，下采样处理的方法为每个栅格随机保留一个点，得到前一时刻初始交通标线点云下采样三维图。既能够保证路面交通标线上的点能够均匀地保留下来，又能够减少计算量。
[0112]
图6为本公开实施例中的一种交通标线在线检测装置的结构示意图。如图6所示：该装置包括：当前帧初始交通标线点云数据确定模块610、当前时刻交通标线点云三维图确定模块620、交通标线鸟瞰图获取模块630、交通标线掩膜图像获取模块640、不同交通标线点云提取模块650和不同交通标线拟合模块660，其中：
[0113]
当前帧初始交通标线点云数据确定模块610，用于基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；
[0114]
当前时刻交通标线点云三维图确定模块620，用于利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；
[0115]
交通标线鸟瞰图获取模块630，用于将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；
[0116]
交通标线掩膜图像获取模块640，用于利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；
[0117]
不同交通标线点云提取模块650，用于利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；
[0118]
不同交通标线拟合模块660，用于对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。
[0119]
本实施例提供的一种交通标线在线检测装置，利用当前帧初始交通标线点云数据确定模块，基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；当前时刻交通标线点云三维图确定模块，利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；交通标线鸟瞰图获取模块，将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；交通标线掩膜图像获取模块，利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；不同交通标线点云提取模块，利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；不同交通标线拟合模块，对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以
完成交通标线检测，上述技术方案通过使用点云自适应强度分割算法，能够针对不同的路面交通场景自适应的设定不同的强度阈值，提高了交通标线点云数据获取的准确性，极大地提升了后续路面交通标线的检测精度和效率；利用里程计算法将多帧点云数据叠加，解决了单帧激光点云稀疏分布的问题，同时能够实现实时在线提取多种形式的交通标线。
[0120]
在上述各技术方案的基础上，进一步的，当前帧初始交通标线点云数据确定模块610具体可以包括：
[0121]
当前帧路面点云数据提取单元，用于在所述当前帧原始点云数据中提取当前帧路面点云数据；
[0122]
当前帧初始交通标线点云数据确定单元，用于基于所述点云自适应强度分割算法，根据强度对所述当前帧路面点云数据进行点云分割，得到所述当前帧初始交通标线点云数据。
[0123]
在上述各技术方案的基础上，进一步的，当前帧初始交通标线点云数据确定单元具体可以用于：
[0124]
对所述当前帧路面点云数据进行标准化处理，得到标准化当前帧路面点云数据；
[0125]
在所述标准化当前帧路面点云数据中，提取目标点云强度点云数据，其中，所述目标点云强度点云数据为点云强度在预设点云强度范围内的点云数据；
[0126]
针对所述目标点云强度点云数据，将所述预设点云强度范围划分为第一预设数目的点云强度区间，统计每个点云强度区间对应的区间内点的数量；
[0127]
在各个连续点云强度区间内，确定点数量最多的目标连续点云强度区间，其中，所述连续点云强度区间为第二预设数目的连续的点云强度区间；
[0128]
将目标连续点云强度区间内点云对应的点云强度最大值作为当前帧强度分割阈值；
[0129]
在所述当前帧路面点云数据中，提取点云强度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据。
[0130]
在上述各技术方案的基础上，进一步的，当前帧初始交通标线点云数据确定单元具体还可以用于：在所述当前帧路面点云数据中，提取点云强度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据之前，利用卡尔曼滤波器和所述当前帧强度分割阈值，确定新的当前帧强度分割阈值，并将新的当前帧强度分割阈值作为所述当前帧强度分割阈值。
[0131]
在上述各技术方案的基础上，进一步的，当前时刻交通标线点云三维图确定模块620具体可以包括：
[0132]
相对位姿确定单元，用于确定车辆当前时刻位姿相对于前一时刻位姿的相对位姿；
[0133]
当前时刻初始交通标线点云三维图确定单元，用于根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内，并与所述当前帧初始交通标线点云数据相叠加，得到所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；其中，前一时刻初始交通标线点云三维图为根据各相邻两帧初始交通标线点云数据之间的相对位姿，将与当前帧初始交通标线点云数据相邻的连续预设帧数初始交通标线点云数据依次投影叠加得到的。
[0134]
在上述各技术方案的基础上，进一步的，当前时刻初始交通标线点云三维图确定单元具体还可以用于：在根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内之前，利用如下公式，确定所述前一时刻初始交通标线点云三维图中每个点的保留概率；
[0135][0136]
其中，p为保留概率，i＝0，1，2......x，x为当前点所属点云帧与前一时刻对应点云帧之间的帧数差，α为参数；
[0137]
随机生成变量k，变量k在区间[0，1]上服从均匀分布，若满足p＞k，则将所述前一时刻初始交通标线点云三维图中的当前点保留，若不满足，则将所述前一时刻初始交通标线点云三维图中的当前点丢弃；
[0138]
对所述前一时刻初始交通标线点云三维图中的每个点执行上述步骤，得到前一时刻保留交通标线点云三维图；
[0139]
将所述前一时刻保留交通标线点云三维图作为新的前一时刻初始交通标线点云三维图。
[0140]
在上述各技术方案的基础上，进一步的，当前时刻初始交通标线点云三维图确定单元具体还可以用于：
[0141]
将所述前一时刻初始交通标线点云三维图栅格化，得到前一时刻初始交通标线点云栅格化三维图；
[0142]
对所述前一时刻初始交通标线点云栅格化三维图进行下采样处理，得到前一时刻初始交通标线点云下采样三维图；
[0143]
将所述前一时刻初始交通标线点云下采样三维图作为新的前一时刻初始交通标线点云三维图，投影到当前时刻车辆坐标系内。
[0144]
在上述各技术方案的基础上，进一步的，交通标线鸟瞰图获取模块630具体可以包括：
[0145]
当前时刻初始交通标线点云栅格化三维图获取单元，用于将所述当前时刻初始交通标线点云三维图栅格化，得到当前时刻初始交通标线点云栅格化三维图；
[0146]
交通标线点云栅格化平面图获取单元，用于将所述当前时刻初始交通标线点云栅格化三维图投影到当前时刻车辆坐标系的水平面内，得到交通标线点云栅格化平面图；
[0147]
交通标线鸟瞰图获取单元，用于根据所述交通标线点云栅格化平面图，获得所述交通标线鸟瞰图。
[0148]
在上述各技术方案的基础上，进一步的，交通标线鸟瞰图获取单元具体可以用于：
[0149]
计算所述交通标线点云栅格化平面图中，每个栅格内所有点的平均强度；
[0150]
将每个栅格作为一个像素，将每个栅格内所有点的平均强度作为像素值，并根据像素颜色与像素值的预设对应关系，赋予不同像素相应的像素颜色，得到所述交通标线鸟瞰图。
[0151]
不同交通标线拟合模块660具体可以用于：
[0152]
若第一路面交通标线为短车道线、停止线、人行道、指向箭头和减速标志中的至少
一种，则利用如下公式计算相应交通标线点云的中心点，以确定所述第一路面交通标线与车辆的相对位置：
[0153][0154]
其中，qm为相应交通标线点云的中心点，{qj，j＝1，2，......，n}为相应交通标线点云，qj为相应交通标线点云中的第j个点；
[0155][0156]
利用如下公式计算相应交通标线点云的协方差矩阵：
[0157]
其中，c为相应交通标线点云的协方差矩阵；
[0158]
对所述协方差矩阵进行特征值分解，得到c的特征值和特征向量，选取特征值最大的特征向量d，其中，所述特征向量d在空间中的指向为所述第一路面交通标线的方向；
[0159]
从所述第一路面交通标线的中心点出发，沿着d和-d的方向找到相应交通标线点云中距离中心点最远的点作为所述第一路面交通标线在长度方向上的端点，将d和-d两个方向上的端点之间的距离作为所述第一路面交通标线的长度；
[0160]
计算地面平面上垂直于d的方向d
′
和-d
′
，并沿着方向d
′
计算所述第一路面交通标线的宽度，从所述第一路面交通标线的中心点出发，沿着d
′
和-d
′
的方向找到相应交通标线点云中距离中心点最远的点作为所述第一路面交通标线再宽度方向上的端点，将d
′
和-d
′
两个方向上的端点之间的距离作为所述第一路面交通标线的宽度；
[0161]
若第二路面交通标线为长车道线或路沿，则利用网格采样方法，获取所述第二路面交通标线沿线上的点，通过对相邻点间的长度求和计算出所述第二路面交通标线的长度；
[0162]
将所述第二路面交通标线沿线上的点拟合为贝塔曲线，将所述贝塔曲线作为所述第二路面交通标线在空间内的数学表达，所述数学表达包括所述第二路面交通标线的几何形状和与车辆的相对位置。
[0163]
本公开实施例提供的交通标线在线检测装置，可执行本公开方法实施例所提供的交通标线在线检测方法中的步骤，具备执行步骤和有益效果此处不再赘述。
[0164]
图7为本公开实施例中的一种电子设备的结构示意图。下面具体参考图7，其示出了适于用来实现本公开实施例中的电子设备500的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0165]
如图7所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的方法。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0166]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可
读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码，从而实现如上所述的交通标线在线检测方法。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
[0167]
需要说明的是，本公开上述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0168]
上述计算机可读存储介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。
[0169]
可选的，当上述一个或者多个程序被该电子设备执行时，该电子设备还可以执行上述实施例所述的其他步骤。
[0170]
在本公开的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读存储介质可以是机器可读信号介质或机器可读储存介质。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0171]
方案1、一种交通标线在线检测方法，所述方法包括：
[0172]
基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；
[0173]
利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；
[0174]
将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；
[0175]
利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；
[0176]
利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；
[0177]
对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。
[0178]
方案2、根据方案1所述的方法，所述基于点云自适应强度分割算法，在当前帧原始点云数据中获取当前帧初始交通标线点云数据，包括：
[0179]
在所述当前帧原始点云数据中提取当前帧路面点云数据；
[0180]
基于所述点云自适应强度分割算法，根据强度对所述当前帧路面点云数据进行点云分割，得到所述当前帧初始交通标线点云数据。
[0181]
方案3、根据方案2所述的方法，所述基于所述点云自适应强度分割算法，根据强度对所述当前帧路面点云数据进行点云分割，得到所述当前帧初始交通标线点云数据，包括：
[0182]
对所述当前帧路面点云数据进行标准化处理，得到标准化当前帧路面点云数据；
[0183]
在所述标准化当前帧路面点云数据中，提取目标点云强度点云数据，其中，所述目标点云强度点云数据为点云强度在预设点云强度范围内的点云数据；
[0184]
针对所述目标点云强度点云数据，将所述预设点云强度范围划分为第一预设数目的点云强度区间，统计每个点云强度区间对应的区间内点的数量；
[0185]
在各个连续点云强度区间内，确定点数量最多的目标连续点云强度区间，其中，所述连续点云强度区间为第二预设数目的连续的点云强度区间；
[0186]
将目标连续点云强度区间内点云对应的点云强度最大值作为当前帧强度分割阈值；
[0187]
在所述当前帧路面点云数据中，提取点云强度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据。
[0188]
方案4、根据方案3所述的方法，在所述当前帧路面点云数据中，提取点云强度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据之前，还包括：
[0189]
利用卡尔曼滤波器和所述当前帧强度分割阈值，确定新的当前帧强度分割阈值，并将新的当前帧强度分割阈值作为所述当前帧强度分割阈值。
[0190]
方案5、根据方案1所述的方法，利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图，包括：
[0191]
确定车辆当前时刻位姿相对于前一时刻位姿的相对位姿；
[0192]
根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内，并与所述当前帧初始交通标线点云数据相叠加，得到所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；其
中，前一时刻初始交通标线点云三维图为根据各相邻两帧初始交通标线点云数据之间的相对位姿，将与当前帧初始交通标线点云数据相邻的连续预设帧数初始交通标线点云数据依次投影叠加得到的。
[0193]
方案6、根据方案5所述的方法，在根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内之前，还包括：
[0194]
利用如下公式，确定所述前一时刻初始交通标线点云三维图中每个点的保留概率；
[0195][0196]
其中，p为保留概率，i＝0，1，2......x，x为当前点所属点云帧与前一时刻对应点云帧之间的帧数差，α为参数；
[0197]
随机生成变量k，变量k在区间[0，1]上服从均匀分布，若满足p＞k，则将所述前一时刻初始交通标线点云三维图中的当前点保留，若不满足，则将所述前一时刻初始交通标线点云三维图中的当前点丢弃；
[0198]
对所述前一时刻初始交通标线点云三维图中的每个点执行上述步骤，得到前一时刻保留交通标线点云三维图；
[0199]
将所述前一时刻保留交通标线点云三维图作为新的前一时刻初始交通标线点云三维图。
[0200]
方案7、根据方案6所述的方法，所述将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内，还包括：
[0201]
将所述前一时刻初始交通标线点云三维图栅格化，得到前一时刻初始交通标线点云栅格化三维图；
[0202]
对所述前一时刻初始交通标线点云栅格化三维图进行下采样处理，得到前一时刻初始交通标线点云下采样三维图；
[0203]
将所述前一时刻初始交通标线点云下采样三维图作为新的前一时刻初始交通标线点云三维图，投影到当前时刻车辆坐标系内。
[0204]
方案8、根据方案1-7任一项所述的方法，将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图，包括：
[0205]
将所述当前时刻初始交通标线点云三维图栅格化，得到当前时刻初始交通标线点云栅格化三维图；
[0206]
将所述当前时刻初始交通标线点云栅格化三维图投影到当前时刻车辆坐标系的水平面内，得到交通标线点云栅格化平面图；
[0207]
根据所述交通标线点云栅格化平面图，获得所述交通标线鸟瞰图。
[0208]
方案9、根据方案8所述的方法，根据所述交通标线点云栅格化平面图，获得所述交通标线鸟瞰图，包括：
[0209]
计算所述交通标线点云栅格化平面图中，每个栅格内所有点的平均强度；
[0210]
将每个栅格作为一个像素，将每个栅格内所有点的平均强度作为像素值，并根据
像素颜色与像素值的预设对应关系，赋予不同像素相应的像素颜色，得到所述交通标线鸟瞰图。
[0211]
方案10、根据方案1-7任一项所述的方法，所述对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，包括：
[0212]
若第一路面交通标线为短车道线、停止线、人行道、指向箭头和减速标志中的至少一种，则利用如下公式计算相应交通标线点云的中心点，以确定所述第一路面交通标线与车辆的相对位置：
[0213][0214]
其中，qm为相应交通标线点云的中心点，{qj，j＝1，2，......，n}为相应交通标线点云，qj为相应交通标线点云中的第j个点；
[0215][0216]
利用如下公式计算相应交通标线点云的协方差矩阵：
[0217]
其中，c为相应交通标线点云的协方差矩阵；
[0218]
对所述协方差矩阵进行特征值分解，得到c的特征值和特征向量，选取特征值最大的特征向量d，其中，所述特征向量d在空间中的指向为所述第一路面交通标线的方向；
[0219]
从所述第一路面交通标线的中心点出发，沿着d和-d的方向找到相应交通标线点云中距离中心点最远的点作为所述第一路面交通标线在长度方向上的端点，将d和-d两个方向上的端点之间的距离作为所述第一路面交通标线的长度；
[0220]
计算地面平面上垂直于d的方向d
′
和-d
′
，并沿着方向d
′
计算所述第一路面交通标线的宽度，从所述第一路面交通标线的中心点出发，沿着d
′
和-d
′
的方向找到相应交通标线点云中距离中心点最远的点作为所述第一路面交通标线再宽度方向上的端点，将d
′
和-d
′
两个方向上的端点之间的距离作为所述第一路面交通标线的宽度；
[0221]
若第二路面交通标线为长车道线或路沿，则利用网格采样方法，获取所述第二路面交通标线沿线上的点，通过对相邻点间的长度求和计算出所述第二路面交通标线的长度；
[0222]
将所述第二路面交通标线沿线上的点拟合为贝塔曲线，将所述贝塔曲线作为所述第二路面交通标线在空间内的数学表达，所述数学表达包括所述第二路面交通标线的几何形状和与车辆的相对位置。
[0223]
方案11、一种交通标线在线检测装置，所述装置包括：
[0224]
当前帧初始交通标线点云数据确定模块，用于基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；
[0225]
当前时刻交通标线点云三维图确定模块，用于利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；
[0226]
交通标线鸟瞰图获取模块，用于将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；
[0227]
交通标线掩膜图像获取模块，用于利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；
[0228]
不同交通标线点云提取模块，用于利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；
[0229]
不同交通标线拟合模块，用于对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。
[0230]
方案12、一种电子设备，所述电子设备包括：
[0231]
一个或多个处理器；
[0232]
存储装置，用于存储一个或多个程序；
[0233]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如方案1-10中任一项所述的交通标线在线检测方法。
[0234]
方案13、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如方案1-10中任一项所述的交通标线在线检测方法。
[0235]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种交通标线在线检测方法，其特征在于，包括：基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。2.根据权利要求1所述的方法，其特征在于，所述基于点云自适应强度分割算法，在当前帧原始点云数据中获取当前帧初始交通标线点云数据，包括：在所述当前帧原始点云数据中提取当前帧路面点云数据；基于所述点云自适应强度分割算法，根据强度对所述当前帧路面点云数据进行点云分割，得到所述当前帧初始交通标线点云数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述点云自适应强度分割算法，根据强度对所述当前帧路面点云数据进行点云分割，得到所述当前帧初始交通标线点云数据，包括：对所述当前帧路面点云数据进行标准化处理，得到标准化当前帧路面点云数据；在所述标准化当前帧路面点云数据中，提取目标点云强度点云数据，其中，所述目标点云强度点云数据为点云强度在预设点云强度范围内的点云数据；针对所述目标点云强度点云数据，将所述预设点云强度范围划分为第一预设数目的点云强度区间，统计每个点云强度区间对应的区间内点的数量；在各个连续点云强度区间内，确定点数量最多的目标连续点云强度区间，其中，所述连续点云强度区间为第二预设数目的连续的点云强度区间；将目标连续点云强度区间内点云对应的点云强度最大值作为当前帧强度分割阈值；在所述当前帧路面点云数据中，提取点云强度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据。4.根据权利要求3所述的方法，其特征在于，在所述当前帧路面点云数据中，提取点云强度大于所述当前帧强度分割阈值的点云作为所述当前帧初始交通标线点云数据之前，还包括：利用卡尔曼滤波器和所述当前帧强度分割阈值，确定新的当前帧强度分割阈值，并将新的当前帧强度分割阈值作为所述当前帧强度分割阈值。5.根据权利要求1所述的方法，其特征在于，利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图，包括：确定车辆当前时刻位姿相对于前一时刻位姿的相对位姿；根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点
云三维图投影到当前时刻车辆坐标系内，并与所述当前帧初始交通标线点云数据相叠加，得到所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；其中，前一时刻初始交通标线点云三维图为根据各相邻两帧初始交通标线点云数据之间的相对位姿，将与当前帧初始交通标线点云数据相邻的连续预设帧数初始交通标线点云数据依次投影叠加得到的。6.根据权利要求5所述的方法，其特征在于，在根据所述相对位姿，将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内之前，还包括：利用如下公式，确定所述前一时刻初始交通标线点云三维图中每个点的保留概率；其中，p为保留概率，i＝0,1,2......x，x为当前点所属点云帧与前一时刻对应点云帧之间的帧数差，α为参数；随机生成变量k，变量k在区间[0,1]上服从均匀分布，若满足p>k，则将所述前一时刻初始交通标线点云三维图中的当前点保留，若不满足，则将所述前一时刻初始交通标线点云三维图中的当前点丢弃；对所述前一时刻初始交通标线点云三维图中的每个点执行上述步骤，得到前一时刻保留交通标线点云三维图；将所述前一时刻保留交通标线点云三维图作为新的前一时刻初始交通标线点云三维图。7.根据权利要求6所述的方法，其特征在于，所述将前一帧初始交通标线点云数据对应的前一时刻初始交通标线点云三维图投影到当前时刻车辆坐标系内，还包括：将所述前一时刻初始交通标线点云三维图栅格化，得到前一时刻初始交通标线点云栅格化三维图；对所述前一时刻初始交通标线点云栅格化三维图进行下采样处理，得到前一时刻初始交通标线点云下采样三维图；将所述前一时刻初始交通标线点云下采样三维图作为新的前一时刻初始交通标线点云三维图，投影到当前时刻车辆坐标系内。8.一种交通标线在线检测装置，其特征在于，包括：当前帧初始交通标线点云数据确定模块，用于基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；当前时刻交通标线点云三维图确定模块，用于利用里程计算法，确定所述当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；交通标线鸟瞰图获取模块，用于将所述当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；交通标线掩膜图像获取模块，用于利用深度学习图像分割网络对所述交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；不同交通标线点云提取模块，用于利用所述交通标线掩膜图像，从所述当前时刻初始交通标线点云三维图中提取不同交通标线点云；
不同交通标线拟合模块，用于对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息，以完成交通标线检测。9.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的交通标线在线检测方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的交通标线在线检测方法。

技术总结
本公开实施例公开了一种交通标线在线检测方法、装置、电子设备和存储介质，该方法包括：基于点云自适应强度分割算法，在当前帧原始激光点云数据中获取当前帧初始交通标线点云数据；利用里程计算法，确定当前帧初始交通标线点云数据对应的当前时刻初始交通标线点云三维图；将当前时刻初始交通标线点云三维图转换为交通标线鸟瞰图；利用深度学习图像分割网络对交通标线鸟瞰图进行语义分割，得到交通标线掩膜图像；利用交通标线掩膜图像，从当前时刻初始交通标线点云三维图中提取不同交通标线点云；对不同交通标线点云进行拟合，得到不同路面交通标线的几何信息以及与车辆的相对位置信息。本公开技术方案提升了交通标线检测精度。测精度。测精度。


技术研发人员：公岩松 张兴连 冯景怡 何潇 张丹
受保护的技术使用者：驭势科技（北京）有限公司
技术研发日：2023.06.02
技术公布日：2023/8/31