基于定位匹配的地图构建方法、系统、存储介质及设备与流程

1.本发明涉及定位与地图构建技术领域，具体涉及一种基于定位匹配的地图构建方法、系统、存储介质及设备。


背景技术：

2.目前自动驾驶技术的发展和汽车智能化的趋势，自动驾驶已经逐步应用于实际场景，而无论建图和定位都需要处理传感器数据，进而得到较为准确的地图和定位结果。其中，泊车场景是自动驾驶领域里的一个重要应用领域，特别是泊车场景大部分场景缺少gps信号，因此这个场景的实现难度大于高速等场景。现有车辆大部分都装备有多个光学相机，只有高端车型才配备有激光雷达，但激光雷达的成本较高，且要求结构化环境才能有效匹配，如何应用好光学相机进行定位成为实现自动驾驶的最后一公里的关键一环。现有技术较多采用激光雷达配合深度学习来实现车辆自动驾驶时的定位，该方法受限于激光雷达的高成本和深度学习匹配模型算力的额外需求等原因，目前难以普及且发展还不成熟。
3.现有技术公开了一种点云地图处理方法、车道标注数据获取方法、设备及介质，旨在解决提高车道标注数据的准确性的问题。为此目的，该发明提供的点云地图处理方法包括根据车辆行驶过程中行驶环境的三维激光雷达点云建立行驶环境的三维点云地图，根据三维点云地图中每个三维激光雷达点云的激光反射强度，确定不清晰的三维激光雷达点云；根据车辆上图像采集装置采集到的行驶环境的二维图像的颜色信息，对不清晰的三维激光雷达点云进行着色处理，以进行可视化显示。该现有技术存在仅使用激光雷达采集点云进行点云地图的构建，鲁棒性较差的问题。


技术实现要素：

4.本发明的目的在于提供一种鲁棒性好的基于定位匹配的地图构建方法、系统、存储介质及设备，以解决现有技术中的仅使用激光雷达采集点云进行点云地图的构建，鲁棒性较差的问题。
5.为了实现上述目的，本发明采用的技术方案如下：
6.一种基于定位匹配的地图构建方法，包括：
7.s1、通过车载光学相机获取车体环境数据集，对数据集进行预处理，得到预处理后的图像数据集；
8.s2、基于轻量型语义分割网络模型，对预处理后的图像数据集进行语义分割，获得语义分割图；
9.s3、根据语义分割图获得像素点对应的语义点云；
10.s4、获取目标车辆的车辆信息，根据车辆信息建立目标车辆的动力学模型；
11.s5、从预处理后的图像数据集选取连续的两帧图像，根据连续的两帧图像对动力学模型进行预积分，获得选取的连续的两帧图像的运动关系；
12.s6、根据获得的连续的两帧图像的运动关系对语义点云进行配准；
13.s7、将配准后的语义点云拼接起来，构成点云地图，同时获得车辆的定位信息。
14.优选的，在步骤s1中，所述车体环境数据集为车体环境的环视图片。
15.优选的，在步骤s3中，所述语义点云的公式如下：
16.p(x,y,z,s)＝k-1
ds
17.其中k为标定相机外参，d为深度信息，s为语义分割图上的像素点s(u,v)。
18.优选的，在步骤s3中，所述语义点云包括第一点云pk和第二点云p
k+1
；
19.在步骤s6中，所述对语义点云进行配准的过程为根据获得的连续的两帧图像的运动关系对第一点云pk和第二点云p
k+1
进行变换，得到变换点云，将变换点云与第一点云pk比较，找出第二点云p
k+1
中每一个点在第一点云pk中的语义类别相同的最近邻点，然后进行最优变换的计算。
20.优选的，所述根据获得的连续的两帧图像的运动关系对第一点云pk和第二点云p
k+1
进行变换，得到变换点云的公式为：
[0021][0022]
其中和是点云pk和点云p
k+1
中一一对应的点，ws语义信息的权重；
[0023]
设分别表示点云p
k+1
和点云pk的质心，归一化公式为：
[0024][0025]
采用svd分解来计算点云配准的最优变换，假设对h进行svd分解得到h＝uσv
t
，则配准问题的最优旋转公式为：
[0026]r*
＝vu
t
[0027]
最优平移公式为：
[0028][0029]
优选的，根据目标函数找出第二点云中每一个点在第一点云中的语义类别相同的最近邻点，所述目标函数为：
[0030][0031]
其中和是点云pk和点云p
k+1
中一一对应的点，ws语义信息的权重。
[0032]
优选的，在步骤s4中，所述动力学模型根据车辆上设置的陀螺仪和加速度计的测量估计获得，所述动力学模型如下：
[0033][0034][0035]
其中白噪声其中白噪声为车体的加速度估计值，b
at
为车体的加速度传感器偏噪声，为车体陀螺仪的角速度估计值，b
wt
为车体的角速度传感器偏噪声。
[0036]
本发明还提供一种基于定位匹配的地图构建系统，包括：
[0037]
采集模块，用于采集相机拍摄的车辆周围环境信息；
[0038]
数据预处理模块，用于对获取的车辆周围环境信息进行预处理；
[0039]
语义分割模块，用于对预处理后的图像数据集进行语义分割，获得语义分割图；
[0040]
点云获取模块，用于根据语义分割图获得像素点对应的语义点云；
[0041]
点云配准模块，用于利用预设配准方法将所述当前语义点云进行icp配准，得到点云配准结果。
[0042]
一种计算机存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任意一项所述的一种基于语义分割的定位匹配方法。
[0043]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一项所述的一种基于语义分割的定位匹配方法。
[0044]
本发明的有益效果：通过采用车载光学相机获得数据集并进行语义分割，得到语义分割图，进而获得带语义类别的点云，构建车辆的动力学模型，结合点云的配准方法，构建带有语义信息的点云地图，实现对车辆的定位，鲁棒性更好。
附图说明
[0045]
图1为本发明实施例的基于定位匹配的地图构建方法的流程示意图；
[0046]
图2为本发明实施例的信息流示意图。
具体实施方式
[0047]
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
[0048]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0049]
在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0050]
如图1-2所示，本实施例提出一种基于定位匹配的地图构建方法，包括以下步骤：
[0051]
s1、通过车载光学相机获取车体环境数据集，对数据集进行预处理，得到预处理后的图像数据集；
[0052]
s2、基于轻量型语义分割网络模型，对预处理后的图像数据集进行语义分割，获得
语义分割图；
[0053]
s3、根据语义分割图获得像素点对应的语义点云；
[0054]
s4、获取目标车辆的车辆信息，根据车辆信息建立目标车辆的动力学模型；
[0055]
s5、从预处理后的图像数据集选取连续的两帧图像，根据连续的两帧图像对动力学模型进行预积分，获得选取的连续的两帧图像的运动关系；
[0056]
s6、根据获得的连续的两帧图像的运动关系对语义点云进行配准；
[0057]
s7、将配准后的语义点云拼接起来，构成点云地图，同时获得车辆的定位信息。
[0058]
在步骤s1中，车体环境数据集为车体环境的环视图片。
[0059]
在步骤s2中，本实施例利用yolov5网络模型对预处理后的图像数据集进行语义分割，获得语义分割图。
[0060]
在步骤s3中，语义点云的公式如下：
[0061]
p(x,y,z,s)＝k-1
ds
[0062]
其中k为标定相机外参，d为深度信息，s为语义分割图上的像素点s(u,v)，p(x,y,z,s)中x,y,z为空间坐标，s为语义类型信息，包括车道线、减速带。
[0063]
在步骤s3中，语义点云包括第一点云pk和第二点云p
k+1
；
[0064]
在步骤s6中，对语义点云进行配准的过程为根据获得的连续的两帧图像的运动关系对第一点云pk和第二点云p
k+1
进行变换，得到变换点云，将变换点云与第一点云pk比较，找出第二点云p
k+1
中每一个点在第一点云pk中的语义类别相同的最近邻点，然后进行最优变换的计算。
[0065]
根据获得的连续的两帧图像的运动关系对第一点云pk和第二点云p
k+1
进行变换，得到变换点云的公式为：
[0066][0067]
其中和是点云pk和点云p
k+1
中一一对应的点，ws语义信息的权重；
[0068]
设分别表示点云p
k+1
和点云pk的质心，归一化公式为：
[0069][0070]
采用svd分解来计算点云配准的最优变换，假设对h进行svd分解得到h＝uσv
t
，则配准问题的最优旋转公式为：
[0071]r*
＝vu
t
[0072]
最优平移公式为：
[0073][0074]
根据目标函数找出第二点云中每一个点在第一点云中的语义类别相同的最近邻点，目标函数为：
[0075][0076]
其中和是点云pk和点云p
k+1
中一一对应的点，ws语义信息的权重。
[0077]
本实施例中，设置最大迭代次数、第一阈值和第二阈值，如果目标函数loss的值小于所设第一阈值，则迭代终止，如果当前的连续的两帧图像的运动关系rk、tk对上次迭代结果的连续的两帧图像的运动关系r
k-1
，t
k-1
变化量小于所设第二阈值，则迭代终止，且迭代达到最大迭代次数迭代终止，上述条件不满足则回到步骤s6中找最近点。
[0078]
在步骤s4中，动力学模型根据车辆上设置的陀螺仪和加速度计的测量估计获得，动力学模型如下：
[0079][0080][0081]
其中白噪声其中白噪声为车体的加速度估计值，b
at
为车体的加速度传感器偏噪声，为车体陀螺仪的角速度估计值，b
wt
为车体的角速度传感器偏噪声。
[0082]
偏置建模为随机游走，其导数符合高斯白噪声偏置建模为随机游走，其导数符合高斯白噪声
[0083]
对于两个连续的图像帧bk和b
k+1
，在两帧图像时间间隔[tk,t
k+1
]，给定的偏执估计，积分得到公式如下：
[0084][0085][0086][0087]
其中，其中，为车体在时间[tk,t
k+1
]区间的位置积分，为车体在时间tk时刻的图像帧bk对应世界坐标系姿态，为车体的加速度估计值，b
at
为车体的加速度传感器偏噪声，为车体在时间[tk,t
k+1
]区间的速度积分，为车体在时间[tk,t
k+1
]区间的旋转姿态积分，为车体陀螺仪的角速度估计值，b
wt
为车体的角速度传感器偏噪声。
[0088]
本实施例中通过imu预积分得到连续的两帧图像的运动关系利用imu预积分可以得到连续的两帧图像的运动关系或上一次迭代结果r
k-1
、t
k-1
，第一点云pk和第二点云p
k+1
进行变换，得到变换点云然后用变换点云和第一点云pk进行比较，找出第二点云p
k+1
中每一个点在第一点云pk中的语义类别相同的最近邻点
[0089]
在已有点云地图的前提下，还可以得到当前车辆的定位信息。
[0090]
本实施例还提出一种基于定位匹配的地图构建系统，包括：
[0091]
采集模块，用于采集相机拍摄的车辆周围环境信息；
[0092]
数据预处理模块，用于对获取的车辆周围环境信息进行预处理；
[0093]
语义分割模块，用于对预处理后的图像数据集进行语义分割，获得语义分割图；
[0094]
点云获取模块，用于根据语义分割图获得像素点对应的语义点云；
[0095]
点云配准模块，用于利用预设配准方法将当前语义点云进行icp配准，得到点云配准结果。
[0096]
本实施例还提出一种计算机存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述任意一项的一种基于语义分割的定位匹配方法。
[0097]
本实施例还提出一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述任意一项的一种基于语义分割的定位匹配方法。
[0098]
综上，本发明实施例提供一种基于定位匹配的地图构建方法、系统、存储介质及设备，包括：通过车载光学相机获取车体环境数据集，对数据集进行预处理，得到预处理后的图像数据集；基于轻量型语义分割网络模型，对预处理后的图像数据集进行语义分割，获得语义分割图；根据语义分割图获得像素点对应的语义点云；获取目标车辆的车辆信息，根据车辆信息建立目标车辆的动力学模型；从预处理后的图像数据集选取连续的两帧图像，根据连续的两帧图像对动力学模型进行预积分，获得选取的连续的两帧图像的运动关系；根据获得的连续的两帧图像的运动关系对语义点云进行配准；将配准后的语义点云拼接起来，构成点云地图，同时获得车辆的定位信息。通过采用车载光学相机获得数据集并进行语义分割，得到语义分割图，进而获得带语义类别的点云，构建车辆的动力学模型，结合点云的配准方法，构建带有语义信息的点云地图，实现对车辆的定位，鲁棒性更好。
[0099]
以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。

技术特征：
1.一种基于定位匹配的地图构建方法，其特征在于，包括：s1、通过车载光学相机获取车体环境数据集，对数据集进行预处理，得到预处理后的图像数据集；s2、基于轻量型语义分割网络模型，对预处理后的图像数据集进行语义分割，获得语义分割图；s3、根据语义分割图获得像素点对应的语义点云；s4、获取目标车辆的车辆信息，根据车辆信息建立目标车辆的动力学模型；s5、从预处理后的图像数据集选取连续的两帧图像，根据连续的两帧图像对动力学模型进行预积分，获得选取的连续的两帧图像的运动关系；s6、根据获得的连续的两帧图像的运动关系对语义点云进行配准；s7、将配准后的语义点云拼接起来，构成点云地图，同时获得车辆的定位信息。2.根据权利要求1所述的一种基于定位匹配的地图构建方法，其特征在于：在步骤s1中，所述车体环境数据集为车体环境的环视图片。3.根据权利要求1所述的一种基于定位匹配的地图构建方法，其特征在于：在步骤s3中，所述语义点云的公式如下：p(x,y,z,s)＝k-1
ds其中k为标定相机外参，d为深度信息，s为语义分割图上的像素点s(u,v)。4.根据权利要求1所述的一种基于定位匹配的地图构建方法，其特征在于：在步骤s3中，所述语义点云包括第一点云p
k
和第二点云p
k+1
；在步骤s6中，所述对语义点云进行配准的过程为根据获得的连续的两帧图像的运动关系对第一点云p
k
和第二点云p
k+1
进行变换，得到变换点云，将变换点云与第一点云p
k
比较，找出第二点云p
k+1
中每一个点在第一点云p
k
中的语义类别相同的最近邻点，然后进行最优变换的计算。5.根据权利要求4所述的一种基于定位匹配的地图构建方法，其特征在于：所述根据获得的连续的两帧图像的运动关系对第一点云p
k
和第二点云p
k+1
进行变换，得到变换点云的公式为：其中和是点云p
k
和点云p
k+1
中一一对应的点，w
s
语义信息的权重；设分别表示点云p
k+1
和点云p
k
的质心，归一化公式为：采用svd分解来计算点云配准的最优变换，假设对h进行svd分解得到h＝uσv
t
，则配准问题的最优旋转公式为：r
*
＝vu
t
最优平移公式为：
6.根据权利要求5所述的一种基于定位匹配的地图构建方法，其特征在于：根据目标函数找出第二点云中每一个点在第一点云中的语义类别相同的最近邻点，所述目标函数为：其中和是点云p
k
和点云p
k+1
中一一对应的点，w
s
语义信息的权重。7.根据权利要求1所述的一种基于定位匹配的地图构建方法，其特征在于：在步骤s4中，所述动力学模型根据车辆上设置的陀螺仪和加速度计的测量估计获得，所述动力学模型如下：型如下：其中白噪声其中白噪声为车体的加速度估计值，b
at
为车体的加速度传感器偏噪声，为车体陀螺仪的角速度估计值，b
wt
为车体的角速度传感器偏噪声。8.一种基于定位匹配的地图构建系统，其特征在于，包括：采集模块，用于采集相机拍摄的车辆周围环境信息；数据预处理模块，用于对获取的车辆周围环境信息进行预处理；语义分割模块，用于对预处理后的图像数据集进行语义分割，获得语义分割图；点云获取模块，用于根据语义分割图获得像素点对应的语义点云；点云配准模块，用于利用预设配准方法将所述当前语义点云进行icp配准，得到点云配准结果。9.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～7任意一项所述的一种基于语义分割的定位匹配方法。10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～7任意一项所述的一种基于语义分割的定位匹配方法。

技术总结
本发明涉及定位与地图构建技术领域，提出基于定位匹配的地图构建方法、系统、存储介质及设备，通过车载光学相机获取车体环境数据集，对数据集进行预处理，得到预处理后的图像数据集；基于轻量型语义分割网络模型，对预处理后的图像数据集进行语义分割，获得语义分割图；根据语义分割图获得像素点对应的语义点云；获取目标车辆的车辆信息，建立目标车辆的动力学模型；从预处理后的图像数据集选取连续的两帧图像，对动力学模型进行预积分，获得连续的两帧图像的运动关系；根据连续的两帧图像的运动关系对语义点云进行配准；将配准后的语义点云拼接起来，构成点云地图，构建带有语义信息的点云地图，实现对车辆的定位，鲁棒性更好。好。好。


技术研发人员：侯彪
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2023.05.22
技术公布日：2023/8/21