无人车抗灰尘干扰方法、系统、设备、介质与流程

1.本技术涉及自动驾驶感知领域，具体涉及一种无人车抗灰尘干扰方法、系统、设备、介质。


背景技术：

2.在一些特定场景中，自动驾驶技术已经开始逐步落地。比如：园区中的物流车和巡逻车，智慧粮仓中的无人车等。物流车、巡逻车通常运行在园区中，园区中的空气基本不会出现飘浮成团的灰尘。而智慧粮仓中的无人车在粮仓这样的封闭环境下工作，无人车的扫盘工作时，极易带起大量灰尘，大量灰尘漂浮在空中，一部分灰尘会汇聚成团，在激光雷达点云中形成障碍物，引起障碍物的误报。
3.现有技术中，针对障碍物的处理方法主要有两种：第一种，将激光雷达的点云数据先做聚类处理，接着从聚类处理后的点云数据中识别出障碍物，然后将识别出障碍物的区域映射投影到深度图像上，最后将深度图像中的特征向量与点云特征向量组成多维特征向量输入到神经网络中，通过深度学习的方法对障碍物进行分类，第一种方法使用点云数据与深度相机图像数据做数据融合，能够准确识别障碍物的类别，但在数据处理的时间花费较多，时效性较差，无法满足无人车的实时性。第二种，将3d lidar数据视为无序点云，包括pointnet、pointnet++。pointnet架构结合了局部点特征和全局提取的特征向量，允许在点的基础上推断语义信息。扩展了这个思想，pointnet++引入了一个分层的pointnet体系结构来生成额外的中间层特征表示，以改进点邻域关系的处理，但由于需要对点云数据中的每个点全连接神经网络进行特征提取，导致参数量大，模型运行速度慢。
4.因此，需要一种新的无人车抗灰尘干扰的技术方案，能够较快的判断出障碍物的类别，满足无人车对于实时性的要求。


技术实现要素：

5.有鉴于此，本说明书实施例提供一种无人车抗灰尘干扰方法、系统、设备、介质，可以较快的判断出障碍物的类别，满足无人车对于实时性的要求。
6.本说明书实施例提供以下技术方案：
7.本说明书实施例提供一种无人车抗灰尘干扰方法，包括以下步骤：
8.s1，根据激光雷达接收到的原始点云数据，得到图像数据，其中，所述图像数据包括距离图像矩阵和反射强度图像矩阵；
9.s2，将所述图像数据输入到卷积神经网络模型中，得到每个点云数据的灰尘概率；
10.s3，根据每个点云数据的灰尘概率，将灰尘概率高于预设阀值的点云数据从所述原始点云数据中滤除。
11.通过将点云数据转化成包括距离图像矩阵和反射强度图像矩阵的图像数据，使得原先无序的点云数据变成了结构化的图像数据，再将图像数据使用卷积神经网络处理，对点云数据的灰尘概率进行判别，利用卷积神经网络模型具备的权值共享优势及结构化的图
像数据，减少了参数量，从而可以较快的判断出障碍物的类别，满足无人车对于实时性的要求。
12.优选的，步骤s2，包括：
13.s21，将所述距离图像矩阵和反射强度图像矩阵执行concat函数，得到合并特征矩阵；
14.s22，将所述合并特征矩阵输入到多层卷积模块中，依次执行卷积运算；
15.s23，将最后一层卷积模块的输出结果输入到比例为1
×
1的卷积模板中，得到解码结果；
16.s24，根据解码结果，得到每个点云数据的灰尘概率。
17.优选的，每层所述卷积模块均并行应用了多个不同比例的卷积模板。
18.优选的，每层所述卷积模块均并行应用了比例为7
×
3、3
×
7及3
×
3的卷积模板。
19.优选的，每个卷积模块的运算步骤：
20.s221，将输入量分别输入不同比例的卷积模板中并执行卷积运算，得到不同比例的输出量；
21.s222，将不同比例的输出量执行concat函数，得到合并数组；
22.s223，将所述合并数组输入到比例为1
×
1的卷积模板中并执行卷积运算，得到输出结果。
23.优选的，所述卷积模板执行卷积运算的步骤包括：
24.将输入量依次执行2d卷积操作、batchnorm操作及使用relu的激活函数，得到输出量。
25.优选的，步骤s3之后设置有步骤s4和步骤s5：
26.s4，根据直线拟合地面分割算法，滤除原始点云数据中的地面点云数据；
27.s5，将有高度差的原始点云数据作为障碍物投影至栅格地图，输出感知地图。
28.优选的，所述激光雷达拥有32线，并以每0.2度接收及发送信号。
29.本说明书实施例还提供一种无人车抗灰尘干扰系统，包括，
30.模块m1，根据激光雷达接收到的原始点云数据，得到图像数据；
31.模块m2，将所述图像数据输入到卷积神经网络模型中，得到每个点云数据的灰尘概率；
32.模块m3，根据每个点云数据的灰尘概率，将灰尘概率高于预设阀值的点云数据从原始点云数据中滤除。
33.本说明书实施例还提供一种无人车抗灰尘干扰设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一所述的无人车抗灰尘干扰方法。
34.本说明书实施例还提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时执行上述任一所述的无人车抗灰尘干扰方法。
35.与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：
36.通过将点云数据转化成包括距离图像矩阵和反射强度图像矩阵的图像数据，使得原先无序的点云数据变成了结构化的图像数据，再将图像数据使用卷积神经网络处理，对点云数据的灰尘概率进行判别，利用卷积神经网络模型具备的权值共享优势及结构化的图像数据，减少了参数量，从而可以较快的判断出障碍物的类别，满足无人车对于实时性的要求。
附图说明
37.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
38.图1是本技术中的一种无人车抗灰尘干扰方法的流程示意图；
39.图2是本技术中的图像数据的矩阵构成图；
40.图3是本技术中的卷积神经网络模型lilanet的网络结构示意图；
41.图4是本技术中的lilablock卷积模块的网络结构示意图；
42.图5是本技术中的卷积模板的网络结构示意图。
具体实施方式
43.下面结合附图对本技术实施例进行详细描述。
44.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本技术，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
46.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
47.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践。
48.现有技术中，针对障碍物的处理方法主要有两种：第一种，将激光雷达的点云数据
先做聚类处理，接着从聚类处理后的点云数据中识别出障碍物，然后将识别出障碍物的区域映射投影到深度图像上，最后将深度图像中的特征向量与点云特征向量组成多维特征向量输入到神经网络中，通过深度学习的方法对障碍物进行分类。第二种，将3d lidar数据视为无序点云，包括pointnet、pointnet++。pointnet架构结合了局部点特征和全局提取的特征向量，允许在点的基础上推断语义信息。扩展了这个思想，pointnet++引入了一个分层的pointnet体系结构来生成额外的中间层特征表示，以改进点邻域关系的处理。
49.发明人发现：第一种方法使用点云数据与深度相机图像数据做数据融合，能够准确识别障碍物的类别，但在数据处理的时间花费较多，时效性较差，无法满足无人车的实时性。第二种方法需要对点云数据中的每个点都连接神经网络进行特征提取，导致参数量大，模型运行速度慢。
50.基于此，本说明书实施例提出了一种处理方案，包括：接收激光雷达的点云数据，将点云数据转换成图像数据，将图像数据输入到lilanet卷积神经网络模型中，使得lilanet卷积神经网络模型输出每个点云数据属于灰尘的概率，根据灰尘概率滤除点云数据中的灰尘点云，利用有序的、结构化的图像数据及卷积神经网络模型，减少计算灰尘概率所需的参数量，以更快、更准确的方法识别并判断出障碍物的类别，满足无人车对于实时性的要求。
51.以下结合附图，说明本技术各实施例提供的技术方案。
52.如图1所示，本说明书实施例提供一种无人车抗灰尘干扰方法，包括以下步骤：
53.s1，根据激光雷达接收到的原始点云数据，得到图像数据，其中，图像数据包括距离图像矩阵和反射强度图像矩阵。
54.如图2所示，激光雷达拥有32线，即拥有32个接收器和32个发射器。每个接收器和发射器以每0.2度接收和发射信号。激光雷达每旋转一周，每个接收器和发射器可以分别接收和发射360/0.2＝1800个点云信号，32个接收器和32个发射器可以接收和发射共32
×
1800＝57600个点云信号。点云信号的数据格式为(x,y,z,intensity),即包括三维坐标和反射强度。
55.图像数据由距离图像矩阵和反射强度图像矩阵构成，距离图像矩阵和反射图像矩阵都是二维矩阵。
56.点云数据转换成距离图像矩阵的坐标转换由点云相对水平面的水平角和俯仰角θ决定。
57.水平角计算：
[0058][0059]
俯仰角θ计算：
[0060][0061]
距离图像矩阵由点云根据(index(θ))坐标映射到二维矩阵上，坐标值根据每个点云到小车的欧式距离
[0062]
反射图像强度矩阵由每个点云的反射强度按照距离图像数据矩阵相同的排列方
式排列组成。
[0063]
由此，原先无序的点云数据转换成了结构化的距离图像矩阵和反射强度图像矩阵。
[0064]
s2，将图像数据输入到卷积神经网络模型中，得到每个点云数据的灰尘概率。
[0065]
如图3所示，在本实施例中，采用卷积神经网络模型lilanet，卷积神经网络模型lilanet采用如下步骤计算每个点云数据的灰尘概率：
[0066]
s21，将距离图像矩阵和反射强度图像矩阵执行concat函数，得到合并特征矩阵。
[0067]
s22，将合并特征矩阵输入到多层卷积模块中，依次执行卷积运算。
[0068]
其中，每层卷积模块均并行应用了多个不同比例的卷积模板。
[0069]
在本实施例中，每层卷积模块均并行应用了比例为7
×
3、3
×
7及3
×
3的卷积模板，从而可以获得不同比例的感受野。
[0070]
在其他实施例中，也可以采用9
×
5、5
×
9及5
×
5的卷积模板，但会增大参数量，降低运行效率。
[0071]
如图4所示，在本实施例中，运用了lilablock卷积模块，每个lilablock卷积模块的运算步骤如下：
[0072]
s221，将输入量分别输入不同比例的卷积模板中并执行卷积运算，得到不同比例的输出量；
[0073]
s222，将不同比例的输出量执行concat函数，得到合并数组；
[0074]
s223，将合并数组输入到比例为1
×
1的卷积模板中并执行卷积运算，得到输出结果。
[0075]
如图5所示，其中，卷积模板执行卷积运算的步骤包括：
[0076]
将输入量依次执行2d卷积操作、batchnorm操作及使用relu的激活函数，得到输出量。
[0077]
如图3所示，多层卷积模块的执行步骤如下：
[0078]
第一层lilablock卷积模块通过卷积运算后，输出32个通道数。
[0079]
第二层lilablock卷积模块通过卷积运算后，输出64个通道数。
[0080]
第三层lilablock卷积模块通过卷积运算后，输出96个通道数。
[0081]
前三层lilablock卷积模块通过提高卷积核的个数，增加了通道数，进而增加参数量，提高拟合能力，更好的提取特征。
[0082]
第四层lilablock卷积模块通过卷积运算后，输出96个通道数，作为编码层到解码层的过渡。
[0083]
第四层lilablock卷积模块之后，执行dropout函数，防止过拟合；
[0084]
第五层lilablock卷积模块通过卷积运算后，输出64个通道数，以便于后续的解码。
[0085]
s23，将最后一层lilablock卷积模块的输出结果输入到比例为1
×
1的卷积模板中，得到解码结果。
[0086]
s24，根据解码结果，得到每个点云数据的灰尘概率。
[0087]
s3，根据每个点云数据的灰尘概率，将灰尘概率高于预设阀值的点云数据从原始点云数据中滤除。
[0088]
s4，根据直线拟合地面分割算法，滤除原始点云数据中的地面点云数据。其中，直线拟合地面分割算法采用如下步骤进行地面点云数据的滤除：
[0089]
1.将整个原始点云数据中的三维笛卡尔坐标系进行另一种形式的表示：
[0090]
a)将三维笛卡尔坐标系的x-y平面转变成一个无穷长半径的圆面，并设定一个弧度参数α，按照弧度参数α将x-y平面划分成具有m份扇面的圆面，由此，对整个x-y平面划分，划分成m个segment。
[0091]
b)对m个segment中的点云进行x-y平面的投影，并保留z坐标，即将原有的点云数据(x,y,z)转变成了(d,z)，其中，进而可以将三维点云转换成二维点云，实现降维操作，即保留竖直维度的信息，又不损失水平维度的信息。
[0092]
2.根据二维点云数据(d,z)，构建出d-z平面的离散点，对这些离散点机型直线拟合判断，直线表示为y＝mx+b。对于拟合直线的约束如下：
[0093]
c)直线的斜率|m|《k
max
，直线的斜率代表z轴到x-y平面的值，所以地面点的拟合斜率不会过大。
[0094]
d){y-b}《h，直线在z轴的截距y-b不应该超过一个阈值，截距{y-b}表明了其距离地面的值，这样不会把高出地面的点云当作地面。
[0095]
3.对于m个segment区域，可以拟合出m条直线，最后在每条直线上计算离小车相同距离d的点z的范围，低于z范围点作为地面点云。
[0096]
s5，将有高度差的原始点云数据作为障碍物投影至栅格地图，输出感知地图。
[0097]
通过将点云数据转化成包括距离图像矩阵和反射强度图像矩阵的图像数据，使得原先无序的点云数据变成了结构化的图像数据，再将图像数据使用卷积神经网络处理，对点云数据的灰尘概率进行判别，利用卷积神经网络模型具备的权值共享优势及结构化的图像数据，减少了参数量，再对图像数据使用2d卷积操作，2d卷积操作具有权值共享、局部连接的特性，这种特性加速对点云特征的提取，可以节省算力资源，可以在34.2tflops算力下，每秒处理757.6帧的点云数据，极大的提高了运算速度，可以较快的判断出障碍物的类别，满足无人车对于实时性的要求。并且本技术实施例中的方法将不同程度的灰尘数据集中，激光雷达每旋转一周，可以获得57600个点云数据，在进行灰尘概率识别后，可以找到近90.5％的灰尘点。
[0098]
本说明书实施例还提供了一种无人车抗灰尘干扰系统，包括，
[0099]
模块m1，根据激光雷达接收到的原始点云数据，得到图像数据。
[0100]
模块m2，将图像数据输入到卷积神经网络模型中，得到每个点云数据的灰尘概率。
[0101]
模块m3，根据每个点云数据的灰尘概率，将灰尘概率高于预设阀值的点云数据从原始点云数据中滤除。
[0102]
模块m4，根据直线拟合地面分割算法，滤除原始点云数据中的地面点云数据。
[0103]
模块m5，将有高度差的原始点云数据作为障碍物投影至栅格地图，输出感知地图。
[0104]
本说明书实施例还提供了一种无人车抗灰尘干扰设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一所述的无人车抗灰尘干扰方法。
[0105]
本说明书实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时执行上述任一所述的无人车抗灰尘干扰方法。
[0106]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的产品实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见系统实施例的部分说明即可。
[0107]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种无人车抗灰尘干扰方法，其特征在于，包括以下步骤：s1，根据激光雷达接收到的原始点云数据，得到图像数据，其中，所述图像数据包括距离图像矩阵和反射强度图像矩阵；s2，将所述图像数据输入到卷积神经网络模型中，得到每个点云数据的灰尘概率；s3，根据每个点云数据的灰尘概率，将灰尘概率高于预设阀值的点云数据从所述原始点云数据中滤除。2.根据权利要求1所述的无人车抗灰尘干扰方法，其特征在于，步骤s2，包括：s21，将所述距离图像矩阵和反射强度图像矩阵执行concat函数，得到合并特征矩阵；s22，将所述合并特征矩阵输入到多层卷积模块中，依次执行卷积运算；s23，将最后一层卷积模块的输出结果输入到比例为1
×
1的卷积模板中，得到解码结果；s24，根据解码结果，得到每个点云数据的灰尘概率。3.根据权利要求2所述的无人车抗灰尘干扰方法，其特征在于，每层所述卷积模块均并行应用了多个不同比例的卷积模板。4.根据权利要求3所述的无人车抗灰尘干扰方法，其特征在于，每层所述卷积模块均并行应用了比例为7
×
3、3
×
7及3
×
3的卷积模板。5.根据权利要求3或4所述的无人车抗灰尘干扰方法，其特征在于，每个卷积模块的运算步骤：s221，将输入量分别输入不同比例的卷积模板中并执行卷积运算，得到不同比例的输出量；s222，将不同比例的输出量执行concat函数，得到合并数组；s223，将所述合并数组输入到比例为1
×
1的卷积模板中并执行卷积运算，得到输出结果。6.根据权利要求5所述的无人车抗灰尘干扰方法，其特征在于，所述卷积模板执行卷积运算的步骤包括：将输入量依次执行2d卷积操作、batchnorm操作及使用relu的激活函数，得到输出量。7.根据权利要求1所述的无人车抗灰尘干扰方法，其特征在于，步骤s3之后设置有步骤s4和步骤s5：s4，根据直线拟合地面分割算法，滤除原始点云数据中的地面点云数据；s5，将有高度差的原始点云数据作为障碍物投影至栅格地图，输出感知地图。8.根据权利要求1所述的无人车抗灰尘干扰方法，其特征在于，所述激光雷达拥有32线，并以每0.2度接收及发送信号。9.一种无人车抗灰尘干扰系统，其特征在于，包括，模块m1，根据激光雷达接收到的原始点云数据，得到图像数据；模块m2，将所述图像数据输入到卷积神经网络模型中，得到每个点云数据的灰尘概率；模块m3，根据每个点云数据的灰尘概率，将灰尘概率高于预设阀值的点云数据从原始点云数据中滤除。10.一种无人车抗灰尘干扰设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行
的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的无人车抗灰尘干扰方法。11.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时执行权利要求1-8中任一项所述的无人车抗灰尘干扰方法。

技术总结
本申请提供一种无人车抗灰尘干扰方法、系统、设备、介质，涉及自动驾驶感知领域，其包括：S1，根据激光雷达接收到的原始点云数据，得到图像数据，其中，图像数据包括距离图像矩阵和反射强度图像矩阵；S2，将图像数据输入到卷积神经网络模型中，得到点云数据的灰尘概率；S3，根据点云数据的灰尘概率，将灰尘概率高于预设阀值的点云数据从原始点云数据中滤除。通过将点云数据转化成包括距离图像矩阵和反射强度图像矩阵的图像数据，使无序的点云数据变成了结构化的图像数据，利用卷积神经网络模型具备的权值共享优势及结构化的图像数据，相比于全连接神经网络，减少了参数量，从而较快的判断出障碍物的类别，满足无人车对于实时性的要求。求。求。


技术研发人员：刘海全 周峰 高帆
受保护的技术使用者：上海知而行科技有限公司
技术研发日：2023.03.14
技术公布日：2023/7/19