一种基于特征融合的野外环境建图方法、设备及存储介质

1.本发明属于地图建模技术领域，具体涉及一种基于特征融合的野外环境建图方法、设备及存储介质。


背景技术：

2.自动驾驶发展的最终目标是解放驾驶员，即任何道路环境都不需要人类的关注。为了实现这一目标，有必要对各种道路环境进行研究，而不仅仅局限于道路环境，而现有的研究大多集中于道路环境。自由空间检测是自动驾驶最重要的技术之一，对于结构化的道路场景和非结构化的越野场景有不同的概念。对于前者，自由空间主要指常规道路，而对于越野场景，自由空间的概念相对模糊。自动驾驶汽车需要通过草地、沙地或泥泞的越野环境。这对自动驾驶汽车来说是一个巨大的挑战，因为越野环境复杂多样，例如，高草和矮草在可穿越性方面非常不同，因为高草可能隐藏不可见的障碍物或洞。据我们所知，关于越野环境中自由空间检测的研究相对较少。基于数据驱动的方法在过去十年中取得了巨大成功，世界已经进入深度学习时代。在基于数据驱动的深度学习方法的帮助下，自动驾驶的许多问题已经得到解决，自动驾驶汽车正在成为现实。为了提高自动驾驶的深度学习方法的性能自动驾驶的概念已经发表，如kitti、nuscenes、waymo等。然而，由于主流的自动驾驶公司专注于城市环境中的自动驾驶技术，现有已发表的自动驾驶数据集主要收集在城市中。在越野环境中收集的数据很少。
3.自由空间检测，也称为可穿越区域检测，是自动驾驶技术的重要组成部分，在道路和越野环境中的路径规划中发挥着重要作用。然而，现有的越野数据集并不关注越野环境中的可穿越性分析。因此，需要专注于越野环境中的自由空间检测任务的数据集。


技术实现要素：

4.本发明的目的是：旨在提供一种基于特征融合的野外环境建图方法、设备及存储介质，动态融合lidar和rgb图像信息，通过交叉学习关注，生成具有融合特征的可行驶区域特征图，以实现精确的越野自由空间检测。
5.为实现上述技术目的，本发明采用的技术方案如下：
6.第一方面，本技术的实施例提供一种基于特征融合的野外环境建图方法，所述方法包括：
7.采集多种图像信息；
8.根据预设算法，解构所述图像信息，获得多种图像特征；
9.建立模型，将所述多种图像特征进行融合，生成可行驶区域特征图。
10.结合第一方面，在一些可选的实施方式中，采集多种图像信息，包括：
11.通过第一传感器采集rgb图像信息，第二传感器采集lidar高程图信息。
12.结合第一方面，在一些可选的实施方式中，根据预设算法，解构所述图像信息，获得多种图像特征，包括：
13.从所述lidar高程图中提取几何特征，基于所述几何特征形成可行驶性代价，通过对所述可行驶性代价设定阈值，规划识别出第一可行驶区域，形成第一可行驶性地图。
14.结合第一方面，在一些可选的实施方式中，根据预设算法，解构所述图像信息，获得多种图像特征，还包括：
15.通过预设的mask r-cnn算法对所述rgb图像进行分割，获得第二可行驶性地图。
16.结合第一方面，在一些可选的实施方式中，建立模型，将所述多种图像特征进行融合，生成可行驶区域特征图，包括：
17.同步所述第一传感器和所述第二传感器的时间，选取标定参考物，建立统一的全局坐标系，将所述第一可行驶地图和所述第二可行驶地图进行融合，在所述全局坐标系内完成建模。
18.结合第一方面，在一些可选的实施方式中，将所述第一可行驶地图和所述第二可行驶地图进行融合，包括：
19.将所述第一可行驶性地图和所述第二可行驶性地图输入预设的off-net网路，对所述第二可行驶性地图和第二可行驶性地图的表面法线进行补丁嵌入处理；在所述off-net网路的神经网络层对所述第一可行驶性地图和所述第二可行驶性地图进行斑块叠加，通过预设的s形激活函数进行交叉学习处理，生成所述可行驶区域特征图。
20.结合第一方面，在一些可选的实施方式中，所述补丁嵌入处理，包括：
21.通过预设的头部q、k、v计算多头部自我关注函数：
[0022][0023]
在进行所述补丁嵌入处理的过程中，通过3
×
3卷积来捕获transformer编码器的位置信息：
[0024]
x
out
＝mlp(gelu(conv3×3(mlp(x
in
))))+x
in
[0025]
其中，x
in
是来自多头自我注意部分的特征，gelu是激活函数，mlp是完全连接的所述神经网络层，conv3
×
3是3
×
3卷积层。
[0026]
结合第一方面，在一些可选的实施方式中，所述交叉学习处理，包括：
[0027][0028][0029][0030]
其中，x
img-in
和x
sn-in
是transformer块之后的学习所述第二可行驶性图像和所述表面法线特征，x
img-out
和x
sn-out
是细化的rgb图像和曲面法线特征，σ是s形激活函数。
[0031]
第二方面，本技术的实施例提供基于特征融合的野外环境建图设备，所述建模设备包括图像采集模块、处理模块、建模模块以及存储模块，所述图像采集模块用于采集rgb图像信息和lidar高程图信息，所述处理模块用于对采集到的所述rgb图像信息进行处理，所述建模模块用于根据所述rgb图像信息和lidar高程图信息生成具有rgb图像信息和lidar高程图信息融合特征的可行驶区域特征图，所述述存储模块内存储计算机程序，当所述计算机程序被所述处理模块或所述建模模块执行时，使得所述建模设备执行上述的方
法。
[0032]
第三方面，本技术的实施例还提供一种计算机可读介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
[0033]
采用上述技术方案的发明，具有如下优点：
[0034]
在本方案中，通过采集rgb图像信息和lidar高程图信息，分别对两种图像信息进行处理之后，在off-net网路中进行进行斑块叠，再进一步进行交叉学习处理，生成可行驶区域特征图。lidar高程图包含空间几何信息但缺乏语义信息，而单眼rgb图像包含环境的更高级语义信息但缺乏结构信息，而生成的具有融合特征的可行驶区域特征图信息更加准确，更能满足自动驾驶越野的自由空间检测要求。
附图说明
[0035]
本发明可以通过附图给出的非限定性实施例进一步说明；
[0036]
图1为本发明提供一种基于特征融合的野外环境建图设备的结构框图；
[0037]
图2为本发明提供一种基于特征融合的野外环境建图方法的步骤示意图；
[0038]
图3为本发明提供一种基于特征融合的野外环境建图方法的流程框图。
[0039]
主要元件符号说明如下：
[0040]
10、一种基于特征融合的建模设备；11、信号采集模块；12、处理模块；13、建模模块。
具体实施方式
[0041]
下将结合附图和具体实施例对本技术进行详细说明，需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0042]
如图1所示，本技术提供基于特征融合的野外环境建图设备10，所述建模设备包括图像采集模块、处理模块12、建模模块13以及存储模块，所述图像采集模块用于采集rgb图像信息和lidar高程图信息，所述处理模块12用于对采集到的所述rgb图像信息进行处理，所述建模模块13用于根据所述rgb图像信息和lidar高程图信息生成具有rgb图像信息和lidar高程图信息融合特征的可行驶区域特征图。
[0043]
在本实施例中信号采集模块11分别与设置在本车上的第一传感器以及第二传感器相连，分别通过第一传感器采集rgb图像信息以及第二传感器采集lidar高程图信息。将采集到的图像信息上传至处理模块12，处理模块12对图像信息进行处理，在建模模块13内，统一传感器时间，建立空间坐标系，生成具有融合特征的可行驶区域特征图。
[0044]
所述述存储模块内存储计算机程序，当所述计算机程序被所述处理模块12或所述建模模块13执行时，使得所述建模设备执行下述的方法。
[0045]
如图2和图3所示，本技术的实施例提供一种基于特征融合的野外环境建图方法，基于特征融合的建模方法可以包括如下步骤：
[0046]
s110：采集多种图像信息；
[0047]
s120：根据预设算法，解构所述图像信息，获得多种图像特征；
[0048]
s130：建立模型，将所述多种图像特征进行融合，生成可行驶区域特征图。
[0049]
在本实施例中，通过图像采集模块采集多种图像信息，在处理模块12将图像信息进行处理，提取图像特征，在建模模块13建立模型，将图像特征进行融合，生成具有融合特征的可行驶区域特征图。
[0050]
作为一种可选的实施方式，采集多种图像信息，包括：
[0051]
通过第一传感器采集rgb图像信息，第二传感器采集lidar高程图信息。
[0052]
在本实施例中，通过图像采集模块分别采集rgb图像信息以及lidar高程图信息，其中，lidar点云的数据包含空间几何信息但缺乏语义信息，而单眼rgb图像包含环境的更高级语义信息但缺乏结构信息。可以理解地，将rgb图像信息以及lidar高程图信息进行融合得到的可行驶区域特征图更能够满足自动越野的空间图像检测要求。
[0053]
可以理解地，第一传感器可以是相机，第二传感器可以是激光雷达。
[0054]
作为一种可选的实施方式，根据预设算法，解构所述图像信息，获得多种图像特征，包括：
[0055]
从所述lidar高程图中提取几何特征，基于所述几何特征形成可行驶性代价，通过对所述可行驶性代价设定阈值，规划识别出第一可行驶区域，形成第一可行驶性地图。
[0056]
在本实施例中，几何特征包括有斜坡角s、高程差h、地形粗糙度r，计算可行驶性代价v:
[0057][0058]
其中，s
crit
、h
crit
、r
crit
分别表示预设的最大斜坡角、高程差和地形粗糙值。
[0059]
可以理解地，行驶性代价v的取值范围在[0，1]之间，通过可行驶性代价v的值来评价地形的整体平坦度，随着可行驶性代价v的值增大，地势起伏越大。
[0060]
作为一种可选的实施方式，：根据预设算法，解构所述图像信息，获得多种图像特征，还包括：
[0061]
通过预设的mask r-cnn算法对所述rgb图像进行分割，获得第二可行驶性地图。
[0062]
在本实施例中，mask r-cnn算法是由faster rcnn和语义分割算法fcn组成。faster rcnn算法完成目标检测任务，语义分割算法fcn可以准确完成语义分割的任务。在元氏faster-rcnn算法的基础上增加了fcn来产生mask分支，将此网络用于分割rgb图像，将可行驶区域分割并标记出来。
[0063]
作为一种可选的实施方式，建立模型，将所述多种图像特征进行融合，生成可行驶区域特征图，包括：
[0064]
同步所述第一传感器和所述第二传感器的时间，选取标定参考物，建立统一的全局坐标系，将所述第一可行驶地图和所述第二可行驶地图进行融合，在所述全局坐标系内完成建模。
[0065]
在本实施例中，为了方便进行建模，以第一可行驶性地图的坐标系作为全局坐标系om-xm-ym-zm，将第二可行驶性地图的坐标系转换到全局坐标系om-xm-ym-zm下：
[0066]
设空间点p的坐标为转换过程如下：
[0067][0068]
其中，u,v分别表示第二可行驶性地图中像素点g的横、纵坐标，d表示像素的深度，f
x
,fy分别为相机x、y方向上的焦距，c
x
,cy分别表示相机光轴在x、y方向上与投影平面坐标中心之间的偏移量，它们组成相机的内参矩阵欠。相机的内参矩阵可以通过相机内参标定算法获取。相机内参标定的算法目前也比较成熟，包括常用的张正友棋盘格标定法等。
[0069][0070]
其中，r、t分别表示旋转矩阵及平移向量，r、t的值可以通过第一传感器和第二传感器之间的标定参考物标定获取。
[0071]
作为一种可选的实施方式，将所述第一可行驶地图和所述第二可行驶地图进行融合，包括：
[0072]
将所述第一可行驶性地图和所述第二可行驶性地图输入预设的off-net网路，对所述第二可行驶性地图和第二可行驶性地图的表面法线进行补丁嵌入处理；在所述off-net网路的神经网络层对所述第一可行驶性地图和所述第二可行驶性地图进行斑块叠加，通过预设的s形激活函数进行交叉学习处理，生成所述可行驶区域特征图。
[0073]
作为一种可选的实施方式，所述补丁嵌入处理，包括：
[0074]
通过预设的头部q、k、v计算多头部自我关注函数：
[0075][0076]
在进行所述补丁嵌入处理的过程中，通过3
×
3卷积来捕获transformer编码器的位置信息：
[0077]
x
out
＝mlp(gelu(conv3×3(mlp(x
in
))))+x
in
[0078]
其中，x
in
是来自多头自我注意部分的特征，gelu是激活函数，mlp是完全连接的所述神经网络层，conv3
×
3是3
×
3卷积层。
[0079]
作为一种可选的实施方式所述交叉学习处理，包括：
[0080][0081][0082][0083]
其中，x
img-in
和x
sn-in
是transformer块之后的学习所述第二可行驶性图像和所述表面法线特征，x
img-out
和x
sn-out
是细化的rgb图像和曲面法线特征，σ是s形激活函数。
[0084]
在本实施例中，存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程
只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储第一传感器采集到的rgb图像信息、第二传感器采集到的lidar高程图信息、规划出的第一可行驶性地图以及第二可行驶性地图等。当然，存储模块还可以用于存储程序，处理模块在接收到执行指令后，执行该程序。
[0085]
可以理解的是，图1中所示的基于特征融合的野外环境建图设备10结构仅为一种结构示意图，基于特征融合的建模设备还可以包括比图1所示更多的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
[0086]
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于特征融合的建模设备的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
[0087]
本技术实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的基于特征融合的建模方法。
[0088]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，建模设备，或者网络设备等)执行本技术各个实施场景所述的方法。
[0089]
综上所述，本技术实施例提供一种基于特征融合的野外环境建图方法、设备及存储介质。在本方案中，分别通过第一传感器采集rgb图像信息以及第二传感器采集lidar高程图信息。将采集到的图像信息上传至处理模块12，处理模块12对图像信息进行处理，在建模模块13内，统一传感器时间，建立空间坐标系，生成具有融合特征的可行驶区域特征图。lidar高程图包含空间几何信息但缺乏语义信息，而单眼rgb图像包含环境的更高级语义信息但缺乏结构信息，而生成的具有融合特征的可行驶区域特征图信息更加准确，更能满足自动驾驶越野的自由空间检测要求。
[0090]
在本技术所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0091]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于特征融合的野外环境建图方法，其特征在于：所述方法包括：采集多种图像信息；根据预设算法，解构所述图像信息，获得多种图像特征；建立模型，将所述多种图像特征进行融合，生成可行驶区域特征图。2.根据权利要求1所述的一种基于特征融合的野外环境建图方法，其特征在于：采集多种图像信息，包括：通过第一传感器采集rgb图像信息，第二传感器采集lidar高程图信息。3.根据权利要求2所述的一种基于特征融合的野外环境建图方法，其特征在于：根据预设算法，解构所述图像信息，获得多种图像特征，包括：从所述lidar高程图中提取几何特征，基于所述几何特征形成可行驶性代价，通过对所述可行驶性代价设定阈值，规划识别出第一可行驶区域，形成第一可行驶性地图。4.根据权利要求3所述一种基于特征融合的野外环境建图方法，其特征在于：根据预设算法，解构所述图像信息，获得多种图像特征，还包括：通过预设的mask r-cnn算法对所述rgb图像进行分割，获得第二可行驶性地图。5.根据权利要求4所述一种基于特征融合的野外环境建图方法，其特征在于：建立模型，将所述多种图像特征进行融合，生成可行驶区域特征图，包括：同步所述第一传感器和所述第二传感器的时间，选取标定参考物，建立统一的全局坐标系，将所述第一可行驶地图和所述第二可行驶地图进行融合，在所述全局坐标系内完成建模。6.根据权利要求5所述一种基于特征融合的野外环境建图方法，其特征在于：将所述第一可行驶地图和所述第二可行驶地图进行融合，包括：将所述第一可行驶性地图和所述第二可行驶性地图输入预设的off-net网路，对所述第二可行驶性地图和第二可行驶性地图的表面法线进行补丁嵌入处理；在所述off-net网路的神经网络层对所述第一可行驶性地图和所述第二可行驶性地图进行斑块叠加，通过预设的s形激活函数进行交叉学习处理，生成所述可行驶区域特征图。7.根据权利要求6所述一种基于特征融合的野外环境建图方法，其特征在于：所述补丁嵌入处理，包括：通过预设的头部q、k、v计算多头部自我关注函数：在进行所述补丁嵌入处理的过程中，通过3
×
3卷积来捕获transformer编码器的位置信息：x
out
＝mlp(gelu(conv3×3(mlp(x
in
))))+x
in
其中，x
in
是来自多头自我注意部分的特征，gelu是激活函数，mlp是完全连接的所述神经网络层，conv3
×
3是3
×
3卷积层。8.根据权利要求6所述一种基于特征融合的野外环境建图方法，其特征在于：所述交叉学习处理，包括：cross
a
ttention＝σ(x
img
_
in
+x
snin
)
x
imgout
＝cross
a
ttention*x
imgin
+x
img_in
x
snout
＝(1-cross
a
ttention)*x
snin
+x
snin
其中，x
img-in
和x
sn-in
是transformer块之后的学习所述第二可行驶性图像和所述表面法线特征，x
img-out
和x
sn-out
是细化的rgb图像和曲面法线特征，σ是s形激活函数。9.一种基于特征融合的野外环境建图设备，其特征在于：所述建模设备包括图像采集模块、处理模块、建模模块以及存储模块，所述图像采集模块用于采集rgb图像信息和lidar高程图信息，所述处理模块用于对采集到的所述rgb图像信息进行处理，所述建模模块用于根据所述rgb图像信息和lidar高程图信息生成具有rgb图像信息和lidar高程图信息融合特征的可行驶区域特征图，所述述存储模块内存储计算机程序，当所述计算机程序被所述处理模块或所述建模模块执行时，使得所述建模设备执行如权利要求1-8中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的方法。

技术总结
本发明属于地图建模技术领域，具体涉及一种基于特征融合的野外环境建图方法、设备及存储介质。一种基于特征融合的野外环境建图方法，包括：采集多种图像信息；根据预设算法，解构所述图像信息，获得多种图像特征；建立模型，将所述多种图像特征进行融合，生成可行驶区域特征图。动态融合LiDAR和RGB图像信息，通过交叉学习关注，生成具有融合特征的可行驶区域特征图，以实现精确的越野自由空间检测。以实现精确的越野自由空间检测。以实现精确的越野自由空间检测。


技术研发人员：仲元红 陶歆 张靖怡
受保护的技术使用者：重庆大学
技术研发日：2023.04.03
技术公布日：2023/8/22