雷达点云的融合方法、雷达传感器的标定方法及相关设备与流程

1.本技术涉及机器视觉技术领域，特别是涉及雷达点云的融合方法、雷达传感器的标定方法及相关设备。


背景技术：

2.智能驾驶和智能交通技术的发展，需要融合分析各类传感器数据，精准感知环境信息。单一的传感器数据往往有一定的局限性，例如，摄像头传感器可直接获取视觉信息，却无法感知深度信息，激光传感器虽能精确测距，但是不具备丰富的环境色彩数据。将各种传感器数据融合，可以弥补单一传感器的劣势。
3.融合各种传感器的数据可以对不同传感器采集到的数据通过配准等方式进行后融合处理，也可以通过将各种传感器标定到统一的坐标系中实现传感器采集到的数据的实时融合。
4.由于不同的车辆无法保证雷达安装位姿完全一致，所以每一台出厂的车载雷达，都需要人工参与标定，效率低。


技术实现要素：

5.本实施例提供的雷达点云的融合方法、雷达传感器的标定方法及相关设备，至少解决相关技术中车载雷达传感器的标定效率低的问题。
6.一种雷达传感器的标定方法，包括：基于标定后的多个图像传感器采集图像点云，将所述图像点云映射到预设坐标系；基于所述图像点云在所述预设坐标系内生成栅格地图，根据所述图像点云中的各点占据所述栅格地图中各栅格的状态，确定各栅格的栅格状态；基于未标定的雷达传感器采集雷达点云，按照所述雷达传感器在所述预设坐标系内的初始设计位姿将所述雷达点云映射到所述预设坐标系，获取所述雷达点云中各点占据的栅格的栅格状态的取值；根据所述雷达点云中各点占据的栅格的栅格状态的取值，在所述预设坐标系内调整所述雷达传感器的位姿，得到所述雷达传感器在所述预设坐标系内的实际安装位姿。
7.在其中的一些实施例中，所述图像点云和所述雷达点云均为三维点云，所述预设坐标系为三维空间坐标系，所述栅格地图为三维栅格地图；获取所述雷达点云中各点占据的栅格的栅格状态的取值包括：通过对所述栅格地图进行三线性插值，确定所述栅格地图中任意一点的栅格状态的取值；根据所述雷达点云中各点在所述栅格地图中的位置，确定所述雷达点云中的各点的栅格状态的取值。
8.在其中的一些实施例中，根据所述雷达点云中各点占据的栅格的栅格状态的取
值，在所述预设坐标系内调整所述雷达传感器的位姿包括：根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的栅格状态的总取值；根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的梯度；在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛。
9.在其中的一些实施例中，在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛包括：判断调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值是否不大于预设阈值；在调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值不大于所述预设阈值的情况下，确定所述雷达点云的栅格状态的总取值收敛。
10.在其中的一些实施例中，所述方法还包括：逐次缩小所述栅格地图中栅格的大小，以对所述雷达传感器进行精度逐次提高的标定，直至所述栅格地图中栅格的大小达到设定大小后，获取所述雷达传感器在所述预设坐标系内的实际安装位姿。
11.在其中的一些实施例中，所述雷达传感器的数量为多个；所述方法还包括：比较多个所述雷达传感器的位姿分布形态在所述初始设计位姿下和所述实际安装位姿下的分布差异，以最小化所述分布差异为目标，确定多个所述雷达传感器的优化位姿。
12.在其中的一些实施例中，比较多个所述雷达传感器的位姿分布形态在所述初始设计位姿下和所述实际安装位姿下的分布差异，以最小化所述分布差异为目标，确定多个所述雷达传感器的优化位姿包括：获取多个所述雷达传感器的所述初始设计位姿和所述实际安装位姿作为顶点，获取所述多个所述雷达传感器的所述初始设计位姿和所述实际安装位姿的位姿误差作为边，构建图优化模型；基于所述图优化模型最小化所述分布误差，确定多个所述雷达传感器的优化位姿。
13.一种雷达点云的融合方法，包括：基于标定后的多个图像传感器采集图像点云，将所述图像点云映射到预设坐标系；基于所述图像点云在所述预设坐标系内生成栅格地图，根据所述图像点云中的各点占据所述栅格地图中各栅格的状态，确定各栅格的栅格状态；基于未标定的雷达传感器采集雷达点云，按照所述雷达传感器在所述预设坐标系内的初始设计位姿将所述雷达点云映射到所述预设坐标系，获取所述雷达点云中各点占据的栅格的栅格状态的取值；根据所述雷达点云中各点占据的栅格的栅格状态的取值，在所述预设坐标系内调整所述雷达点云的位姿，以使所述雷达点云与所述图像点云融合。
14.在其中的一些实施例中，所述多个图像传感器组成环视图像传感器阵列，基于标定后的所述多个图像传感器采集到的图像点云为呈碗状的稠密点云。
15.在其中的一些实施例中，所述图像点云和所述雷达点云均为三维点云，所述预设坐标系为三维空间坐标系，所述栅格地图为三维栅格地图；获取所述雷达点云中各点占据的栅格的栅格状态的取值包括：通过对所述栅格地图进行三线性插值，确定所述栅格地图中任意一点的栅格状态的取值；根据所述雷达点云中各点在所述栅格地图中的位置，确定所述雷达点云中的各点的栅格状态的取值。
16.在其中的一些实施例中，根据所述雷达点云中各点占据的栅格的栅格状态的取值，在所述预设坐标系内调整所述雷达传感器的位姿包括：根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的栅格状态的总取值；根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的梯度；在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛。
17.在其中的一些实施例中，在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛包括：判断调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值是否不大于预设阈值；在调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值不大于所述预设阈值的情况下，确定所述雷达点云的栅格状态的总取值收敛。
18.在其中的一些实施例中，所述方法还包括：逐次缩小所述栅格地图中栅格的大小，以对所述雷达传感器进行精度逐次提高的融合，直至所述栅格地图中栅格的大小达到设定大小后，确定所述雷达点云与所述图像点云完成融合。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的方法。
20.本实施例提供的雷达点云的融合方法、雷达传感器的标定方法及相关设备，基于标定后的多个图像传感器采集图像点云，将图像点云映射到预设坐标系；基于图像点云在预设坐标系内生成栅格地图，根据图像点云中的各点占据栅格地图中各栅格的状态，确定各栅格的栅格状态；基于未标定的雷达传感器采集雷达点云，按照雷达传感器在预设坐标系内的初始设计位姿将雷达点云映射到预设坐标系，获取雷达点云中各点占据的栅格的栅格状态的取值；根据雷达点云中各点占据的栅格的栅格状态的取值，在预设坐标系内调整雷达传感器的位姿，得到雷达传感器在预设坐标系内的实际安装位姿。本实施例解决了车载雷达传感器的标定效率低的问题，提高了车载雷达传感器的标定效率。
21.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
22.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本申
请的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是本实施例的雷达传感器的标定方法的流程图。
23.图2是本实施例的多个图像传感器的标定方法的流程图。
24.图3是本实施例的图像点云的处理方法的流程图。
25.图4是本实施例的基于栅格地图的多分辨率栅格匹配方法的流程图。
26.图5是本实施例的雷达传感器的标定方法的优选流程图。
27.图6是本实施例的构建图优化模型的示意图。
28.图7是本实施例的雷达点云的融合方法的流程图。
29.图8是本实施例的电子设备的结构框图。
具体实施方式
30.下面将参照附图更详细地描述本实施例的实施例。虽然附图中显示了本实施例的某些实施例，然而应当理解的是，本实施例可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本实施例。应当理解的是，本实施例的附图及实施例仅用于示例性作用，并非用于限制本实施例的保护范围。
31.应当理解，本实施例的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本实施例的范围在此方面不受限制。
32.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
33.需要注意，本实施例中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
34.在智能驾驶、三维场景建模、智能监测等领域中，都涉及到多类型（或称为多模态）传感器的数据融合。例如，图像传感器数据与雷达传感器数据的融合就是智能驾驶的关键技术之一。图像传感器包括但不限于可见光和红外光传感器，其成像原理是通过光电转换器件，如电荷耦合器件（charge coupleddevice，简称为ccd），将通过光学透镜模组采集到的图像转换为电信号，得到图像。图像传感器的内参表征的是图像坐标系到相机坐标系的转换关系；另外，由于鱼眼畸变的存在，相机内参还可以包括用于修正鱼眼畸变的畸变系数。通常，图像传感器的内参是固定的，并且在产品出厂时就已经提供。图像传感器的外参表征的是相机坐标系到世界坐标系的转换关系，这与图像传感器在世界坐标系中的位姿有关，外参在图像传感器出厂后安装到固定位姿并设置固定姿态之后才能进行标定。
35.本实施例提供了一种雷达传感器的标定方法。标定雷达传感器的目的是要获得雷达传感器的实际安装位姿。图1是本实施例的雷达传感器的标定方法的流程图，如图1所示，该流程包括如下步骤：步骤s101，基于标定后的多个图像传感器采集图像点云，将图像点云映射到预设坐标系。
36.步骤s102，基于图像点云在预设坐标系内生成栅格地图，根据图像点云中的各点占据栅格地图中各栅格的状态，确定各栅格的栅格状态。
37.步骤s103，基于未标定的雷达传感器采集雷达点云，按照雷达传感器在预设坐标系内的初始设计位姿将雷达点云映射到预设坐标系，获取雷达点云中各点占据的栅格的栅格状态的取值。
38.步骤s104，根据雷达点云中各点占据的栅格的栅格状态的取值，在预设坐标系内调整雷达传感器的位姿，得到雷达传感器在预设坐标系内的实际安装位姿。
39.通过上述步骤，相较于现有技术而言，一方面，不再对图像传感器和雷达传感器同时进行标定，而是先对图像传感器进行标定，然后再标定雷达传感器，以避免同时标定图像传感器和雷达传感器导致的激光雷达标定效果差的问题。另一方面，在上述步骤中，利用图像点云在栅格地图中的状态为栅格地图中的每个栅格赋值得到栅格状态，然后通过将雷达点云映射到栅格地图中，从而采用基于地图的匹配方法实现雷达点云与图像点云的配准，获得雷达点云优化后得到的实际安装位姿。
40.通过上述步骤，雷达传感器的标定充分利用了图像传感器的标定结果，且上述过程均可以基于计算机程序实现，摆脱了人工使用标定板对激光雷达进行标定，因而节约了人工成本并且使得标定效率得以提高。
41.需要说明的是，在本实施例中的位姿均是指同一个坐标系下的位姿，即本实施例中所称的预设坐标系，该预设坐标系例如可以是世界坐标系。
42.其中，图像传感器和雷达传感器采集到的图像点云为稠密点云。所谓稠密点云是与稀疏点云相对的概念。所谓稀疏点云，其来源即为特征点，而特征点即为图像中一些特征明显、便于检测、匹配的点，如建筑物的角、边缘点等。稠密点云则为由传感器采集得到的点云。
43.为了能够感知到物体周围空间内的事物，多个图像传感器组成环视图像传感器阵列，该图像传感器阵列在本实施例中被称为环视相机。基于标定后的多个图像传感器采集到的图像点云为呈碗状的稠密点云。上述的步骤s101可以采用诸如标定板等方式实现对多个图像传感器的标定。图2是本实施例的多个图像传感器的标定方法的流程图，如图2所示，首先标定环视相机，提取稠密的点云数据，生成碗状模型，定义模型坐标原点为世界坐标系。环视相机的标定分为内参、外参。相机内参反映摄像平面坐标到图像坐标系之间的投影关系，采用张正友标定法得到摄像机的内参，以及畸变系数。摄像机外参反映摄像机坐标系和世界坐标系之间的旋转平移关系，通过标定板，保证相邻两个相机同时拍摄一个标定板的图像，匹配标定板角点特征，解算出两个摄像机之间的旋转平移关系。最后，不同相机之间两两匹配，完成所有的图像传感器的标定。
44.由于鱼眼畸变的存在，在对环视相机进行标定之后，各个图像传感器采集到的点云数据不能够直接拼接组合到一起，需要进行畸变校正。图3是本实施例的图像点云的处理方法的流程图，如图3所示，图像点云的提取包括两个主要步骤：第一步，对图像进行畸变校正和立体校正，得到更准确的图像数据。在完成相机内参标定后，通过内参校正图像畸变，在完成外参标定后，利用旋转平移关系，校正对极线，即立体校正。第二步，利用半全局块匹配（semi-globalblock matching，简称为sgbm）算法，获取视差图，利用转换公式，将视差图转换成深度图，利用特征点提取法，获取基于深度图像的三维点云数据。之后，确认世界坐
标原点，将所有的图像传感器采集到的点云拼接到一起得到碗状点云模型。
45.不同于将单帧相机图像和雷达数据直接匹配策略，本实施例先完成相机之间的标定，得到所有图像点云数据，接着通过sgbm算法，得到视差图、深度图，然后，从深度图提取三维点云数据，避免了采用帧与帧匹配容易陷入局部最小值，结果无法收敛的问题。
46.在上述实施例中，栅格地图全称为占据栅格地图（occupancy gridmap）。栅格地图将空间划分成一个一个的栅格，并且用栅格状态表示每个栅格被占据或者空闲的概率。
47.例如，对于一个栅格，要么被点云占据（occupancy状态，用1表示），要么没有被点云占据（free状态，用0表示）。在栅格地图中，对于一个栅格，用来表示free状态的概率，用来表示occupancy状态的概率，二者的和为1。由于两个值的可能性太多，因此引入了二者的比值作为该栅格的状态：；当有多个点云击中同一个栅格时，occupancy状态的概率上升，因此将更新该栅格的状态。若在当前时刻栅格的状态为，此时有一个点云击中此栅格，那么栅格的状态将会更新为：；上述表达方式类似于条件概率，表示在z（一个新的点云击中栅格）发生的条件下的概率。
48.根据贝叶斯公式，可知：；；带入到栅格的状态更新公式中得到：；将等式两边都取对数得到：；这样，含有测量值的项只剩下了，我们称这个比值为测量值的模型（measurement model），标记为lomeas。测量值的模型有两种，分别是：，和；并且上述两个模型均为定值，因此，状态更新可以进一步简化为：
，或者。
49.因此，利用栅格地图的状态更新，在上述实施例中可以将图像点云映射到三维的栅格地图上，得到栅格地图。
50.其中，在没有任何测量值的状态下，栅格的初始状态为0。
51.在获得了基于图像点云生成的栅格地图后，理论上来说，通过对雷达点云的平移和旋转等刚性变换，如果能够使得雷达点云中的每个点刚好正确地击中每一个被图像点云占据的栅格，则平移和旋转的数值结合雷达点云的初始设计位姿，即可以得到雷达传感器的实际安装位姿。那么，雷达传感器的标定问题实际上变成了如何将雷达点云与栅格地图进行匹配。该匹配问题可以采用基于地图的匹配（scm）方法来实现。
52.在三维的栅格地图中，每个栅格占据一定的三维空间，每个栅格具有一种状态，即每个栅格有一个栅格状态的取值。在栅格足够小的情况下，可以认为三维空间中任意一点都被赋予了一个栅格状态的取值。但是栅格越小，栅格地图中栅格的数量就越多，需要的计算机处理资源就越多，因此，在实际的应用场景下，考虑到可用的计算机处理资源，栅格的大小通常不会太小。
53.在本实施例中，采用两种方式来确定空间中任意一点的栅格状态的取值。一种方式是将栅格占据的所有的空间的取值都赋为该栅格的栅格状态的取值。然而这种方式往往会存在较大的误差，尤其是在栅格尺寸比较大的情况下。另一种方式则是通过插值的方法得到空间中任意一点的栅格状态的取值。
54.在图像点云和雷达点云均为三维点云，预设坐标系为三维空间坐标系，栅格地图为三维栅格地图的情况下，在其中的一些实施例中，将栅格的栅格状态的取值作为栅格的中心点的取值，并且通过三线性插值的方式获得空间中任意一点的栅格状态的取值。例如，上述的步骤s103中获取雷达点云中各点占据的栅格的栅格状态的取值包括如下步骤：通过对栅格地图进行三线性插值，确定栅格地图中任意一点的栅格状态的取值；根据雷达点云中的各点在三栅格地图中的位置，确定雷达点云中的各点的栅格状态的取值。
55.在本实施例中，采用三维线性插值来确定空间中任意一点的栅格状态的取值。对每一个单位长度的立方栅格，在待求取点周围取八个距离最近的栅格的中心点，这八个栅格的中心点包围占据空间中的一个立方体的空间。根据这八个栅格的中心点的栅格状态的取值，分别在x轴、y轴和z轴方向插值，即可以得到由这八个栅格点包围的空间内任意一点的栅格状态的取值。
56.在步骤s104中，根据雷达点云中各点占据的栅格的栅格状态的取值，在预设坐标系内调整雷达传感器的位姿包括：根据雷达点云中各点的栅格状态的取值，确定雷达点云的栅格状态的总取值；根据雷达点云中各点的栅格状态的取值，确定雷达点云的梯度；在预设坐标系内，沿着雷达点云的梯度方向调整雷达点云的位姿，以使雷达点云的栅格状态的总取值收敛。
57.其中，通过三线性插值得到雷达点云中每个点对应的栅格状态的取值之后，在计算雷达点云的栅格状态的总取值时，可以将雷达点云中每个点的栅格状态的取值直接相加得到雷达点云的总取值；也可以通过核函数计算雷达点云的总取值，例如核函数可以是：线性核函数、多项式核函数或高斯核函数等。
58.例如，采用高斯核函数计算雷达点云的总取值：；其中为当前点到中心点的欧几里得距离，在本实施例中可以取0.5。表示该点在当前栅格的取值。
59.上述实施例鲁棒性、稳定性好。例如，在计算雷达点云的总取值时，可以依据不同的环境特征，采用不同的核函数，能提高匹配算法的鲁棒性。同时，上述实施例采用稠密点云作为处理对象，不需要提取图像中如直线、圆弧等的直线特征，在几何特征相对匮乏的环境下也能使用，稳定性、鲁棒性好。
60.理想情况下，通过对雷达点云的平移旋转变换后，若雷达点云中的每个点刚好正确地击中每一个被图像点云占据的栅格，则雷达点云的总取值将取得最大值。因此，在上述实施例中，可以以雷达点云的总取值取最大值为收敛条件，对雷达点云进行平移和旋转变换后，可以实现将雷达点云准确地匹配到栅格地图中。如果随机的调整平移和旋转的量，匹配的收敛效率低。为此，在本实施例中为了提高收敛效率，根据雷达点云中各点的栅格状态的取值，确定雷达点云的梯度；在预设坐标系内，沿着雷达点云的梯度方向调整雷达点云的位姿，以使雷达点云的总取值增大最终达到收敛。
61.在判断雷达点云的位姿是否已经达到收敛条件，可以通过雷达点云的总取值的变化率来确定。例如，在判断调整雷达点云的位姿前后雷达点云的总取值的变化数值是否不大于预设阈值；在调整雷达点云的位姿前后雷达点云的总取值的变化数值不大于预设阈值的情况下，认为雷达点云的位姿已经调整到了收敛条件，此时获取当前的雷达传感器在预设坐标系内的位姿作为雷达传感器在预设坐标系内的实际安装位姿。通过雷达点云的总取值的变化率来判断雷达点云是否已经准确匹配到栅格地图中，可以进一步提高收敛效率，即提升雷达点云的匹配效率。
62.为了提高优化速度，在其中的一些实施例中采用多分辨率栅格法。先用低分辨率（即大尺寸）的栅格，得到雷达传感器的初步位姿，然后逐步提高栅格地图分辨率，即逐次缩小栅格的尺寸，直至栅格地图中栅格的大小达到设定大小后，获取雷达传感器在预设坐标系内的实际安装位姿。在此过程中，雷达传感器的位姿将越来越精确。
63.图4是本实施例的基于栅格地图的多分辨率栅格匹配方法的流程图，如图4所示，该流程包括如下步骤：步骤s401，利用图像点云生成具有初始尺寸栅格的栅格地图。
64.步骤s402，对栅格地图进行三次线性插值，使得栅格地图中任意点的取值连续。
65.步骤s403，将雷达点云映射到具有连续取值的栅格地图，计算雷达点云的总取值，并计算雷达点云的梯度。
66.步骤s404，沿着梯度方向，朝着雷达点云的总取值增高的方向迭代，优化雷达点云的位姿，直到取值变化小于预设阈值，得到在具有当前尺寸栅格的栅格地图中雷达传感器的实际安装位姿。
67.步骤s405，缩小栅格的尺寸，重新生成栅格地图，然后执行步骤s402。
68.例如，在每轮计算雷达传感器的实际安装位姿中，栅格地图中栅格的尺寸均为上一轮计算雷达传感器的实际安装位姿时栅格地图的栅格尺寸的一半。例如每轮采用的栅格尺寸依次为20cm、10cm、5cm、2.5cm等。步骤s404中的预设阈值也随着栅格尺寸的缩小而在每轮计算中逐渐减小。
69.其中，在首轮迭代雷达点云的位姿时，以雷达传感器的初始设计位姿为优化的起始位姿。此后每轮迭代雷达点云的位姿时，以前一轮由低分辨率的栅格地图计算得到的雷达传感器的实际安装位姿作为本轮迭代雷达点云的位姿的起始位姿。
70.在上述实施例中，将雷达点云映射到栅格地图上，首先与低分辨率的栅格地图进行匹配（scm，基于地图的匹配），得到雷达的近似最优解，然后，逐步提高栅格地图分辨率，使雷达位姿逐渐逼近最优解。通过对栅格地图三线性插值，使栅格地图任意位姿都连续可导，利用梯度下降法优化雷达位姿。上述方法，不仅加快了匹配速度，还避免了匹配结果陷入局部最小值，有效提高了匹配精度。上述方法不会陷入局部最小值，匹配精度高；上述方法在匹配过程中逐步提高地图分辨率，在全局地图上能够拟合最优位姿。
71.通过匹配，将得到优化后的雷达传感器的位姿。雷达传感器的位姿由于是通过和图像点云数据匹配得来，可能受图像传感器的误差影响。为了进一步提高雷达位姿的匹配准确度，在本实施例中还结合雷达传感器的位姿分布形态，对雷达传感器的位姿进行进一步优化。
72.在其中一些实施例中，雷达传感器的数量为多个；在上述步骤s104中获得了雷达传感器的实际安装位姿之后，还可以包括如下优化步骤：比较多个雷达传感器的位姿分布形态在初始设计位姿下和实际安装位姿下的分布差异；以最小化分布差异为目标，确定多个雷达传感器的优化位姿。
73.已知在初始设计位姿下和实际安装位姿下，多个雷达传感器的安装位姿是没有变化的，因此，多个雷达传感器的初始设计位姿形成的位姿分布形态和多个雷达传感器的实际安装位姿形成的位姿分布形态在理论上应该是相同的。但是由于计算误差、图像传感器导致的误差，以及雷达传感器的实际的初始设计位姿与设计值之间误差的存在，导致多个雷达传感器的标定存在误差。该误差表现为多个雷达传感器在标定前后的位姿分布形态不能保持一致。在本实施例中通过比较前后的位姿分布形态的分布差异，并通过将该分布差异最小化的方法，可以确定多个雷达传感器的优化位姿。
74.在其中的一些实施例中，通过图优化方法对多个雷达传感器的分布误差进行优化。图5是本实施例的雷达传感器的标定方法的优选流程图。如图5所示，该流程包括如下步骤：步骤s501，基于标定后的多个图像传感器采集图像点云，将图像点云映射到预设坐标系。
75.步骤s502，基于图像点云在预设坐标系内生成栅格地图，根据图像点云中的各点占据栅格地图中各栅格的状态，确定各栅格的栅格状态。
76.步骤s503，基于未标定的雷达传感器采集雷达点云，按照雷达传感器在预设坐标系内的初始设计位姿将雷达点云映射到预设坐标系，获取雷达点云中各点占据的栅格的栅格状态的取值。
77.步骤s504，根据雷达点云中各点占据的栅格的栅格状态的取值，在预设坐标系内调整雷达传感器的位姿，得到雷达传感器在预设坐标系内的实际安装位姿。
78.步骤s505，获取多个雷达传感器的初始设计位姿和实际安装位姿作为顶点，获取多个雷达传感器的初始设计位姿和实际安装位姿的位姿误差作为边，构建图优化模型；步骤s506，基于图优化模型最小化分布误差，确定多个雷达传感器的优化位姿。
79.图6是本实施例的构建图优化模型的示意图，图6中，实线圆代表雷达传感器的初始设计位姿，阴影填充圆代表雷达传感器的实际安装位姿；虚线圆代表雷达传感器的实际安装位姿变换后得到的位姿；虚线箭头表示实际安装位姿变换，实线箭头表示残差项。在本实施例中，基于图优化的原理，将雷达传感器的实际安装位姿和初始设计位姿作为顶点（vertex），构建位姿图优化（pgo）模型，整个过程只优化雷达传感器的位姿。
80.假设多个雷达传感器的初始设计位姿为，经过上述的标定处理后得到多个雷达传感器的实际安装位姿为，计算,的相对位姿关系（,是在多个雷达传感器中任选的同一个雷达传感器），记作，使得；可以得到如下位姿分布形态：，t。令，可以得到如下位姿点：,
…
,,。
81.有了前后两个位姿分布形态后，计算相邻位姿间关系，以雷达传感器的位姿为顶点，位姿误差为边（edge），得到最小二乘项：其中，表示表示在点的观测值，本方案中表示在处观测到的点的位姿。
82.求导优化后，可以得到雷达传感器的优化位姿：,
…
,,；其中，,且代表同一雷达传感器的不同位姿。
83.其中，将该分布差异最小化的方法除了最小二乘法之外，还可以采用其他的优化方法，在本实施例中并不限定。
84.在其中一些实施例中，在获得优化位姿后，还可以进一步基于初始设计位姿和优化位姿，按照人为设定的加权系数进行加权平均，以人为优化标定结果，得到雷达传感器在预设坐标系内的最终位姿。
85.在上述的实施例中，在构建图优化模型时，将雷达传感器的初始设计位姿和优化得到的实际安装位姿一起加入到图中，只以雷达位姿为图的顶点，雷达传感器的观测值和设计值的偏差为残差项，优化雷达位姿。在优化过程中，不受到其它传感器（如图像传感器）的影响。上述实施例构建的图优化模型中，每个雷达传感器除了起始位姿（在上述实施例中选择的是第一个雷达传感器，对应的位姿分别为,）外，每一个雷达传感器在图中都有两个顶点，在优化后处理上，还可以给每个顶点相同或者不同的加权系数，通过求取加权平均值，求得最终雷达的位姿。
86.采用上述方法构建的图优化模型，受到雷达传感器的初始设计位姿，雷达传感器和图像传感器联合标定位姿的约束，在雷达传感器的初始设计位姿不准确，或者雷达传感器和图像传感器联合标定结果不准确导致的雷达点云不符合真实环境特征问题时，通过调整每个顶点的权重和加权平均的系数，能有效标定雷达位姿，得到更精准的结果。
87.综上，本技术上述实施例将图像传感器采集到的图像转换成深度图，从深度图中提取图像点云，以图像点云构建三维栅格地图，然后将雷达点云数据映射到三维栅格地图上，通过三线性插值，使栅格地图连续可导，运用梯度下降法优化雷达传感器的位姿。上述方法基于地图的匹配，单帧图像数据对匹配结果的影响小，且利用不同分辨率的栅格地图避免匹配陷入局部最小值问题。
88.由图像传感器生成的栅格地图可以保存下来，在雷达传感器位姿变动、图像传感器位姿变动、图像传感器损坏等意外情况下，将雷达传感器与保存的栅格地图重新标定即可得到优化后的雷达传感器的位姿。
89.整个方案的鲁棒性好。上述实施例不需要寻找环境中几何特征丰富的地方来提取图像直线等几何特征。在图像传感器故障时，只要先前标定过，保存的点云数据和栅格地图就能使用。无论是雷达传感器初始（安装）位姿不准确，或者是雷达传感器和图像传感器联合标定效果不好，都可以通过调整顶点权重或加权平均时的权重系数来提高标定效果。
90.本实施例还提供了一种雷达点云的融合方法。图7是本实施例的雷达点云的融合方法的流程图。如图7所示，该流程包括如下步骤：步骤s701，基于标定后的多个图像传感器采集图像点云，将图像点云映射到预设坐标系。
91.步骤s702，基于图像点云在预设坐标系内生成栅格地图，根据图像点云中的各点占据栅格地图中各栅格的状态，确定各栅格的栅格状态。
92.步骤s703，基于未标定的雷达传感器采集雷达点云，按照雷达传感器在预设坐标系内的初始设计位姿将雷达点云映射到预设坐标系，获取雷达点云中各点占据的栅格的栅格状态的取值。
93.步骤s704，根据雷达点云中各点占据的栅格的栅格状态的取值，在预设坐标系内
调整雷达点云的位姿，以使雷达点云与图像点云融合。
94.在其中一些实施例中，多个图像传感器组成环视图像传感器阵列，基于标定后的多个图像传感器采集到的图像点云为呈碗状的稠密点云。所谓稠密点云是与稀疏点云相对的概念。所谓稀疏点云，其来源即为特征点，而特征点即为图像中一些特征明显、便于检测、匹配的点，如建筑物的角、边缘点等。稠密点云则为由传感器采集得到的点云。
95.为了能够感知到物体周围空间内的事物，多个图像传感器组成环视图像传感器阵列，该阵列又在本实施例中被称为环视相机。基于标定后的多个图像传感器采集到的图像点云为呈碗状的稠密点云。
96.在其中一些实施例中，基于标定后的多个图像传感器采集图像点云包括：基于标定后的多个图像传感器分别采集多个图像；对各图像进行畸变校正，对多个图像中两两相邻的图像传感器采集到的两个图像进行立体校正；根据立体校正后的两个图像，获取两个图像的视差图像，并根据两个图像的视差图像获取深度图像；根据深度图像，提取图像点云。
97.继续参考图2。首先标定环视相机，提取稠密的点云数据，生成碗状模型，定义模型坐标原点为世界坐标系。环视相机的标定分为内参、外参。相机内参反映摄像平面坐标到图像坐标系之间的投影关系，采用张正友标定法得到摄像机的内参，以及畸变系数。摄像机外参反映摄像机坐标系和世界坐标系之间的旋转平移关系，通过标定板，保证相邻两个相机同时拍摄一个标定板的图像，匹配标定板角点特征，解算出两个摄像机之间的旋转平移关系。最后，不同相机之间两两匹配，完成所有的图像传感器的标定。
98.由于鱼眼畸变的存在，在对环视相机进行标定之后，各个图像传感器采集到的点云数据不能够直接拼接组合到一起，需要进行畸变校正。继续参考图3，图像点云的提取包括两个主要步骤：第一步，对图像进行畸变校正和立体校正，得到更准确的图像数据。在完成相机内参标定后，通过内参校正图像畸变，在完成外参标定后，利用旋转平移关系，校正对极线，即立体校正。第二步，利用半全局块匹配（semi-globalblock matching，简称为sgbm）算法，获取视差图，利用转换公式，将视差图转换成深度图，利用特征点提取法，获取基于深度图像的三维点云数据。之后，确认世界坐标原点，将所有的图像传感器采集到的点云拼接到一起得到碗状点云模型。
99.不同于将单帧相机图像和雷达数据直接匹配策略，本实施例先完成相机之间的标定，得到所有图像点云数据，接着通过sgbm算法，得到视差图、深度图，然后，从深度图提取三维点云数据，避免了采用帧与帧匹配容易陷入局部最小值，结果无法收敛的问题。
100.在其中一些实施例中，图像点云和雷达点云均为三维点云，预设坐标系为三维空间坐标系，栅格地图为三维栅格地图；获取雷达点云中各点占据的栅格的栅格状态的取值包括：通过对栅格地图进行三线性插值，确定栅格地图中任意一点的栅格状态的取值；根据雷达点云中各点在栅格地图中的位置，确定雷达点云中的各点的栅格状态的取值。
101.在本实施例中，采用两种方式来确定空间中任意一点的栅格状态的取值。一种方式是将栅格占据的所有的空间的取值都赋为该栅格的栅格状态的取值。然而这种方式往往会存在较大的误差，尤其是在栅格尺寸比较大的情况下。另一种方式则是通过插值的方法得到空间中任意一点的栅格状态的取值。
102.在其中的一些实施例中，将栅格的栅格状态的取值作为栅格的中心点的取值，并
且通过三线性插值的方式获得空间中任意一点的栅格状态的取值。例如，上述的步骤s703中获取雷达点云中各点占据的栅格的栅格状态的取值包括如下步骤：通过对栅格地图进行三线性插值，确定栅格地图中任意一点的栅格状态的取值；根据雷达点云中的各点在三栅格地图中的位置，确定雷达点云中的各点的栅格状态的取值。
103.在本实施例中，采用三维线性插值来确定空间中任意一点的栅格状态的取值。对每一个单位长度的立方栅格，在待求取点的位姿取八个距离最近的栅格的中心点，这八个栅格的中心点包围占据空间中的一个立方体的空间。根据这八个栅格的中心点的栅格状态的取值，分别在x轴、y轴和z轴方向插值，即可以得到由这八个栅格点包围的空间内任意一点的栅格状态的取值。
104.在步骤s704中，根据雷达点云中各点占据的栅格的栅格状态的取值，在预设坐标系内调整雷达传感器的位姿包括：根据雷达点云中各点的栅格状态的取值，确定雷达点云的栅格状态的总取值；根据雷达点云中各点的栅格状态的取值，确定雷达点云的梯度；在预设坐标系内，沿着雷达点云的梯度方向调整雷达点云的位姿，以使雷达点云的栅格状态的总取值收敛。
105.其中，通过三线性插值得到雷达点云中每个点对应的栅格状态的取值。在计算雷达点云的栅格状态的总取值时，可以将雷达点云中每个点的栅格状态的取值直接相加得到雷达点云的总取值。也可以通过核函数就算雷达点云的总取值，例如核函数可以是：线性核函数、多项式核函数或高斯核函数。
106.例如，采用高斯核函数计算雷达点云的总取值：；其中为当前点到中心点的欧几里得距离，在本实施例中可以取0.5。表示该点在当前栅格的取值。
107.上述实施例鲁棒性、稳定性好。例如，在计算雷达点云的总取值时，可以依据不同的环境特征，采用不同的核函数，能提高匹配算法的鲁棒性。同时，上述实施例采用稠密点云作为处理对象，不需要提取图像中如直线、圆弧等的直线特征，在几何特征相对匮乏的环境下也能使用，稳定性、鲁棒性好。
108.理想情况下，通过对雷达点云的平移旋转变换后，若雷达点云中的每个点刚好正确地击中每一个被图像点云占据的栅格，则雷达点云的总取值将取得最大值。因此，在上述实施例中，以雷达点云的总取值取最大值为优化目标，对雷达点云进行平移和旋转变换后，可以实现将雷达点云准确地匹配到栅格地图中。如果随机的调整平移和旋转的量，匹配的收敛效率低。为此，在本实施例中还可以根据雷达点云中各点的栅格状态的取值，确定雷达点云的梯度；在预设坐标系内，沿着雷达点云的梯度方向调整雷达点云的位姿，以使雷达点云的总取值增大。
109.在判断雷达点云的位姿是否已经达到收敛条件，可以通过雷达点云的总取值的变化率来确定。例如，在判断调整雷达点云的位姿前后雷达点云的总取值的变化数值是否不
大于预设阈值；在调整雷达点云的位姿前后雷达点云的总取值的变化数值不大于预设阈值的情况下，认为雷达点云的位姿已经调整到了收敛条件，确定雷达点云与图像点云完成融合。通过雷达点云的总取值的变化率来判断雷达点云是否已经准确匹配到栅格地图中，可以进一步提高收敛效率，即提升雷达点云的匹配效率。
110.为了提高优化速度，在其中的一些实施例中采用多分辨率栅格法。先用低分辨率（即大尺寸）的栅格，得到雷达传感器的初步位姿，然后逐步提高栅格地图分辨率，即逐次缩小栅格的尺寸，直至栅格地图中栅格的大小达到设定大小后，确定雷达点云与图像点云完成融合。在此过程中，雷达点云与图像点云融合将会越来越准确。
111.本实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
112.本实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
113.参考图8，现将描述可以作为本公开的服务器或客户端的电子设备800的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
114.如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器（rom）802中的计算机程序或者从存储单元808加载到随机访问存储器（ram）803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出（i/o）接口805也连接至总线804。
115.电子设备800中的多个部件连接至i/o接口805，包括：输入单元806、输出单元807、存储单元808以及通信单元809。输入单元806可以是能向电子设备800输入信息的任何类型的设备，输入单元806可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元807可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元808可以包括但不限于磁盘、光盘。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机，例如蓝牙设备、wifi设备、wimax设备、蜂窝通信设备和/或类似物。
116.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算单元、各种运行机器学习模型算法的计算单元、数字信号处理器（dsp）、以及
任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理。例如，在一些实施例中，上述方法（例如图1或图5所示的方法）可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到电子设备800上。在一些实施例中，计算单元801可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行上述的方法。
117.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
118.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
119.如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
120.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）显示器）；以及键盘和指向装置（例如，鼠标或者操纵杆），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
121.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
122.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计
算机程序来产生客户端和服务器的关系。
123.应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。
124.显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本技术公开的内容不足。
[0125]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位姿并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
[0126]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种雷达传感器的标定方法，包括：基于标定后的多个图像传感器采集图像点云，将所述图像点云映射到预设坐标系；基于所述图像点云在所述预设坐标系内生成栅格地图，根据所述图像点云中的各点占据所述栅格地图中各栅格的状态，确定各栅格的栅格状态；基于未标定的雷达传感器采集雷达点云，按照所述雷达传感器在所述预设坐标系内的初始设计位姿将所述雷达点云映射到所述预设坐标系，获取所述雷达点云中各点占据的栅格的栅格状态的取值；根据所述雷达点云中各点占据的栅格的栅格状态的取值，在所述预设坐标系内调整所述雷达传感器的位姿，得到所述雷达传感器在所述预设坐标系内的实际安装位姿。2.根据权利要求1所述的方法，其中，所述图像点云和所述雷达点云均为三维点云，所述预设坐标系为三维空间坐标系，所述栅格地图为三维栅格地图；获取所述雷达点云中各点占据的栅格的栅格状态的取值包括：通过对所述栅格地图进行三线性插值，确定所述栅格地图中任意一点的栅格状态的取值；根据所述雷达点云中各点在所述栅格地图中的位置，确定所述雷达点云中的各点的栅格状态的取值。3.根据权利要求1所述的方法，其中，根据所述雷达点云中各点占据的栅格的栅格状态的取值，在所述预设坐标系内调整所述雷达传感器的位姿包括：根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的栅格状态的总取值；根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的梯度；在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛。4.根据权利要求3所述的方法，其中，在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛包括：判断调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值是否不大于预设阈值；在调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值不大于所述预设阈值的情况下，确定所述雷达点云的栅格状态的总取值收敛。5.根据权利要求1至4中任一项所述的方法，其中，所述方法还包括：逐次缩小所述栅格地图中栅格的大小，以对所述雷达传感器进行精度逐次提高的标定，直至所述栅格地图中栅格的大小达到设定大小后，获取所述雷达传感器在所述预设坐标系内的实际安装位姿。6.根据权利要求1至4中任一项所述的方法，其中，所述雷达传感器的数量为多个；所述方法还包括：比较多个所述雷达传感器的位姿分布形态在所述初始设计位姿下和所述实际安装位姿下的分布差异，以最小化所述分布差异为目标，确定多个所述雷达传感器的优化位姿。7.根据权利要求6所述的方法，其中，比较多个所述雷达传感器的位姿分布形态在所述初始设计位姿下和所述实际安装位姿下的分布差异，以最小化所述分布差异为目标，确定
多个所述雷达传感器的优化位姿包括：获取多个所述雷达传感器的所述初始设计位姿和所述实际安装位姿作为顶点，获取所述多个所述雷达传感器的所述初始设计位姿和所述实际安装位姿的位姿误差作为边，构建图优化模型；基于所述图优化模型最小化所述分布误差，确定多个所述雷达传感器的优化位姿。8.一种雷达点云的融合方法，包括：基于标定后的多个图像传感器采集图像点云，将所述图像点云映射到预设坐标系；基于所述图像点云在所述预设坐标系内生成栅格地图，根据所述图像点云中的各点占据所述栅格地图中各栅格的状态，确定各栅格的栅格状态；基于未标定的雷达传感器采集雷达点云，按照所述雷达传感器在所述预设坐标系内的初始设计位姿将所述雷达点云映射到所述预设坐标系，获取所述雷达点云中各点占据的栅格的栅格状态的取值；根据所述雷达点云中各点占据的栅格的栅格状态的取值，在所述预设坐标系内调整所述雷达点云的位姿，以使所述雷达点云与所述图像点云融合。9.根据权利要求8所述的方法，其中，所述多个图像传感器组成环视图像传感器阵列，基于标定后的所述多个图像传感器采集到的图像点云为呈碗状的稠密点云。10.根据权利要求8所述的方法，其中，所述图像点云和所述雷达点云均为三维点云，所述预设坐标系为三维空间坐标系，所述栅格地图为三维栅格地图；获取所述雷达点云中各点占据的栅格的栅格状态的取值包括：通过对所述栅格地图进行三线性插值，确定所述栅格地图中任意一点的栅格状态的取值；根据所述雷达点云中各点在所述栅格地图中的位置，确定所述雷达点云中的各点的栅格状态的取值。11.根据权利要求8所述的方法，其中，根据所述雷达点云中各点占据的栅格的栅格状态的取值，在所述预设坐标系内调整所述雷达传感器的位姿包括：根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的栅格状态的总取值；根据所述雷达点云中各点的栅格状态的取值，确定所述雷达点云的梯度；在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛。12.根据权利要求11所述的方法，其中，在所述预设坐标系内，沿着所述雷达点云的梯度方向调整所述雷达点云的位姿，以使所述雷达点云的栅格状态的总取值收敛包括：判断调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值是否不大于预设阈值；在调整所述雷达点云的位姿前后所述雷达点云的总取值的变化数值不大于所述预设阈值的情况下，确定所述雷达点云的栅格状态的总取值收敛。13.根据权利要求8至12中任一项所述的方法，其中，所述方法还包括：逐次缩小所述栅格地图中栅格的大小，以对所述雷达传感器进行精度逐次提高的融合，直至所述栅格地图中栅格的大小达到设定大小后，确定所述雷达点云与所述图像点云
完成融合。14.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行根据权利要求1至13中任一项所述的方法。

技术总结
本申请涉及一种雷达点云的融合方法、雷达传感器的标定方法及相关设备。该方法包括：基于标定后的多个图像传感器采集图像点云，将图像点云映射到预设坐标系；基于图像点云在预设坐标系内生成栅格地图，根据图像点云中的各点占据栅格地图中各栅格的状态，确定各栅格的栅格状态；基于未标定的雷达传感器采集雷达点云，按照雷达传感器在预设坐标系内的初始设计位姿将雷达点云映射到预设坐标系，获取雷达点云中各点占据的栅格的栅格状态的取值；根据雷达点云中各点占据的栅格的栅格状态的取值，在预设坐标系内调整雷达传感器的位姿，得到雷达传感器在预设坐标系内的实际安装位姿。通过本发明，提高了车载雷达传感器的标定效率。提高了车载雷达传感器的标定效率。提高了车载雷达传感器的标定效率。


技术研发人员：蒋志强 周峰 吴重辉
受保护的技术使用者：杭州海康汽车软件有限公司
技术研发日：2023.06.02
技术公布日：2023/8/21