车载摄像头标定方法、装置、车辆及介质与流程

1.本发明涉及自动驾驶技术领域，尤其涉及车载摄像头标定方法、装置、车辆及介质。


背景技术：

2.近年来关于自动驾驶的研究越来越热，就目前而言，想让自动驾驶系统明确达到一定的安全等级，对于相关基础研究和关键技术的突破越来越重要。基于视觉的环境感知，意在对路面、静态物体和动态物体等目标进行检测及追踪，并根据追踪结果进行预测，此过程中，对目标的精确定位至关重要，相机外参标定意在计算出相机位置与车辆的相对坐标转换关系，是感知目标精确定位的基础。
3.目前常用基于车道线的方法来进行在线标定部分参数。
4.但是该方法常用到车道线的平行、固定宽度、几何特征作为约束条件，一般要求标定环境中有较清晰的车道线信息(两条或三条)，并且限制车辆行驶缓慢且只能沿直线行驶等，约束条件较多，当不满足这些约束条件时，标定的精度会降低，该方法应用灵活性差。


技术实现要素：

5.本发明提供了一种车载摄像头标定方法、装置、车辆及介质，以实现在任意场景下的车载摄像头标定。
6.根据本发明的第一方面，提供了一种车载摄像头标定方法，包括：
7.当满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；
8.根据所述图像信息及预设的视场角边界条件，确定所述图像信息的地面特征点集合；
9.根据所述地面特征点集合、确定出的历史地面特征点信息及所述当前车辆运动信息，对所述车载摄像头进行标定。
10.根据本发明的第二方面，提供了一种车载摄像头标定装置，包括：
11.信息获取模块，用于当满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；
12.集合确定模块，用于根据所述图像信息及预设的视场角边界条件，确定所述图像信息的地面特征点集合；
13.摄像头标定模块，用于根据所述地面特征点集合、确定出的历史地面特征点信息及所述当前车辆运动信息，对所述车载摄像头进行标定。
14.根据本发明的第三方面，提供了一种车辆，所述车辆包括：
15.至少一个控制器；
16.与所述至少一个控制器通信连接的至少一个摄像头，以及
17.与所述至少一个控制器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个控制器执行的计算机程序，所述计算机程序被所述至少一个控制器执行，以使所述至少一个控制器能够执行本发明任一实施例所述的车载摄像头标定方法。
19.根据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使控制器执行时实现本发明任一实施例所述的车载摄像头标定方法。
20.本发明实施例的技术方案，通过满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；根据图像信息及预设的视场角边界条件，确定图像信息的地面特征点集合；根据地面特征点集合、确定出的历史地面特征点信息及当前车辆运动信息，对车载摄像头进行标定。通过车辆在任意场景下行驶并拍摄图像信息，根据图像信息及预设的视场角边界条件，筛选出地面属性特征结合历史地面特征点信息及当前车辆运动信息，确定车载摄像头的外参完成标定。实现了在任意场景下对车载摄像头的自动标定，提高了车载摄像头的标定精度，降低了标定场景的要求。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是根据本发明实施例一提供的一种车载摄像头标定方法的流程图；
24.图2是根据本发明实施例二提供的一种车载摄像头标定方法的流程图；
25.图3是根据本发明实施例三提供的一种车载摄像头标定装置的结构示意图；
26.图4是实现本发明实施例的车辆的结构示意图。
具体实施方式
27.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
28.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.实施例一
30.图1为本发明实施例一提供了一种车载摄像头标定方法的流程图，本实施例可适用于在行驶过程中对车载摄像头标定的情况，该方法可以由车载摄像头标定装置来执行，该车载摄像头标定装置可以采用硬件和/或软件的形式实现，该车载摄像头标定装置可配置于车辆中。如图1所示，该方法包括：
31.s110、满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息。
32.在本实施例中，标定条件可以理解为未获得最优的标定参数，需要继续继续标定。车载摄像头可以理解为用于车辆中进行拍摄的设备。图像信息可以理解为相对车辆前方所拍摄的图像。当前车辆运动信息可以理解为表征车辆位置变化的信息。
33.具体的，当满足标定条件时，控制器可以首先获取初始化参数，初始化参数可以通过预先设定的方式获取内参和畸变参数，还可以通过张正友标定算法进行标定获取内参和畸变参数，还可以通过车载摄像头的视场角fov选择合适的畸变矫正模型获取内参和畸变参数，根据车载摄像头在车身的安装位置计算理论外参，将内参、畸变参数及外参作为初始化参数。并为车载摄像头进行配置并可以通过相应的传送方式获取车载摄像头拍摄的当前帧的图像信息，控制器还可以通过自身车辆的底盘获取车辆的当前车辆运动信息。
34.s120、根据图像信息及预设的视场角边界条件，确定图像信息的地面特征点集合。
35.在本实施例中，视场角边界条件可以理解为用于筛选在车载摄像头视场角内地面的条件。地面特征点集合可以理解为图像中多个相对明显且稳定的特征点的集合。
36.具体的，控制器可以通过相应的特征提取算法，对图像信息进行特征提取，图像信息为二维信息，则提取的各特征点均为二维坐标下的特征，由于视场角边界条件是三维坐标下的位置，首先控制器可以对特征集合进行去畸变计算及逆透视投影变换，将二维坐标转化为三维坐标，再通过视场角边界条件确定落入视场角范围内的地面位置的地面特征点，将各地面特征点作为地面特征点集合。
37.s130、根据地面特征点集合、确定出的历史地面特征点信息及当前车辆运动信息，对车载摄像头进行标定。
38.在本实施例中，历史地面特征点信息可以理解为在本次标定过程中当前帧之前获取的满足要求的地面特征点及对应的车辆位置等信息。
39.具体的，控制器可以根据地面特征集合及历史地面特征点信息中的相邻两帧的特征点进行匹配跟踪，记录其跟踪轨迹以及对应的车辆运动信息，设定连续跟踪轨迹达到设定帧数且其中包括的特征点数量达到要求时，根据连续轨迹信息及当前车辆运动信息，将地面特征点坐标通过逆透视投影变换公式进行坐标变换，并根据车辆运动信息计算出相对车辆位置的世界点坐标，通过最小二乘法计算最优外参，更新到当前外参，记录平均重投影偏差，若偏差小于阈值，则满足精度要求，输出优化外参，在线标定结束，否则，继续进行图像信息的采集。
40.本发明实施例的技术方案，通过满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；根据图像信息及预设的视场角边界条件，确定图像信息的地面特征点集合；根据地面特征点集合、确定出的历史地面特征点信息及当前车辆运动信息，对车载摄像头进行标定。通过车辆在任意场景下行驶并拍摄图像信息，
根据图像信息及预设的视场角边界条件，筛选出地面属性特征结合历史地面特征点信息及当前车辆运动信息，确定车载摄像头的外参完成标定。实现了在任意场景下对车载摄像头的自动标定，提高了车载摄像头的标定精度，降低了标定场景的要求。
41.实施例二
42.图2为本发明实施例二提供的一种车载摄像头标定方法的流程图，本实施例是在上述实施例的基础上的进一步细化。如图2所示，该方法包括：
43.s201、获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息。
44.s202、对图像信息进行特征提取，得到图像信息的特征信息。
45.在本实施例中，特征信息可以理解为二维坐标下的特征信息。
46.具体的，控制器可以对图像特征利用设定的算法进行特征提取，得到图像信息的特征信息。
47.示例性的，可以选择sift算法进行特征提取，sift算法对图像尺度和旋转具有不变性，对视角变换等也存在一定程度的稳定性，并且sift特征信息量丰富，具有较好的鲁棒性，因此通过sift算法对图像信息进行特征提取，得到sift特征信息。
48.s203、针对特征信息中包括的关键点坐标进行投影变换，得到投影后的地面位置坐标。
49.在本实施例中，关键点坐标可以理解为以坐标的形式表征特征信息中特征点在图像中的位置。地面位置坐标可以理解为三维下的坐标。
50.具体的，针对特征信息中包括的关键点坐标进行去畸变计算以及逆透视投影变换，其中，控制器可以用摄像头传感器常用的针孔成像模型，来描述相对车身的坐标系与相机安装位置的几何关系，进行逆透视投影计算，获得地面位置坐标。
51.示例性的，控制器可以通过下述公式描述的成像关系，进行逆透视投影计算，以获取三维的地面位置坐标。
[0052][0053]
其中，x、y及z分别表示世界坐标系下的坐标点，a为内参矩阵，r为旋转矩阵，t为平移向量，m为透视投影矩阵，m为透视投影矩阵中所包括的元素，x、y、zc为相机坐标系下的坐标(即关键点坐标)。
[0054]
s204、在各地面位置坐标中确定满足视场角边界条件的目标位置坐标。
[0055]
在本实施例中，目标位置坐标可以理解为在视察角范围内的地面处的位置坐标。
[0056]
需要知道的是，车载摄像头通常有fov，即车载摄像头的视场角范围，仅可拍摄在该角度范围下的图像。进而可以通过fov计算出在视场角边界条件，即fov中的边界坐标点。
[0057]
具体的，控制器可以将各地面位置坐标与视场角边界条件中的边界坐标点进行比对，判断地面位置坐标是否落入视场角的边界内，若是则认为地面位置坐标满足视场角边界条件，将其作为目标位置坐标。
[0058]
s205、根据各目标位置坐标，确定图像信息的地面特征点集合。
[0059]
具体的，控制器可以将各目标位置坐标进行整合，作为该图像信息的地面特征点集合。
[0060]
s206、提取历史地面特征点信息中的各相邻帧的历史跟踪轨迹信息。
[0061]
在本实施例中，历史跟踪轨迹信息可以理解为已经确定出的通过相邻帧确定的跟踪轨迹及对应的车辆运动信息所形成的信息。
[0062]
具体的，控制器可以提取历史地面特征点信息中的各相邻帧的历史跟踪轨迹信息。
[0063]
s207、对历史地面特征点信息中上一帧的上一特征点集合以及地面特征点集合进行特征点匹配跟踪，得到当前跟踪轨迹信息。
[0064]
在本实施例中，上一特征点集合可以理解为按照上述方法在上一帧计算出的地面特征点集合。当前跟踪轨迹信息可以理解为相同点持续两帧时的轨迹。
[0065]
具体的，控制器可以按照帧数所对应的顺序，提取出历史地面特征点信息中的上一帧的上一特征点集合，针对上一特征点集合中所包括的地面特征点及这一帧的地面特征点集合中包括的地面特征点进行特征点匹配跟踪，即确定出相同特征点在当前帧的运动轨迹，得到当前跟踪轨迹信息。
[0066]
s208、根据当前跟踪轨迹信息及各历史跟踪轨迹信息，确定跟踪轨迹连续的连续轨迹信息。
[0067]
在本实施例中，连续轨迹信息可以理解为相同点在不同帧均出现时轨迹信息。
[0068]
具体的，控制器可以根据当前跟踪轨迹信息及其他的各历史跟踪轨迹信息，确定出相同特征点在这些历史跟踪轨迹信息中连续出现的连续轨迹信息。
[0069]
s209、当连续轨迹信息满足优化外参条件时，根据连续轨迹信息及当前车辆运动信息，确定车载摄像头的外参信息并对车载摄像头的标定。
[0070]
其中，优化外参条件包括：连续轨迹信息中包括的连续帧数达到预设帧数阈值，且，连续轨迹信息中包括的特征点数量达到预设数量阈值。
[0071]
具体的，当连续轨迹信息中的连续帧数及特征点数量均满足优化外参条件时，根据连续轨迹信息及当前车辆运动信息，将地面特征点坐标通过逆透视投影变换公式进行坐标变换，并根据车辆运动信息计算出相对车辆位置的世界点坐标，通过最小二乘法计算最优外参，更新到当前外参，记录平均重投影偏差，若偏差小于阈值，则满足精度要求，输出优化后的外参信息并对车载摄像头的标定。
[0072]
a1、提取连续轨迹信息中的连续特征点集合及车辆运动信息集合。
[0073]
在本实施例中，连续特征点集合可以理解为连续轨迹信息中每一帧图像的特征点的集合。车辆运动信息集合可以理解为连续轨迹信息中包括的每一帧的车辆运动信息的集合。
[0074]
具体的，控制器可以提取连续轨迹信息中的连续特征点集合及车辆运动信息集合。
[0075]
b1、针对连续特征点集合中包括的连续特征点坐标，确定车辆运动信息集合中与连续特征点坐标对应的目标车辆运动信息。
[0076]
在本实施例中，连续特征点坐标可以理解为连续稳定的特征点的图像坐标。
[0077]
具体的，控制器可以针对连续特征点集合中包括的连续特征点坐标，根据特征点
坐标的特征标识在车辆运动信息集合中确定出对应的目标车辆运动信息。
[0078]
c1、根据目标车辆运动信息及连续特征点坐标，确定连续特征点坐标相对于车辆位置的世界点坐标。
[0079]
在本实施例中，车辆位置可以理解为拍摄图像时车辆所处的位置，可以通过目标车辆运动信息中提取。世界坐标可以理解为世界点坐标系下的坐标。
[0080]
具体的，控制器可以对连续特征点坐标通过逆透视投影变换公式进行坐标变换，得到世界坐标系下的坐标，并且根据目标车辆运动信息计算出相对车辆位置的世界点坐标。
[0081]
d1、根据各连续特征点坐标及对应的世界点坐标，确定车载摄像头的外参信息并对车载摄像头进行标定。
[0082]
具体的，控制器可以根据连续特征点坐标与世界点坐标结合图像坐标与世界点坐标的关系通过最小二乘法计算最优外参，其中，图像坐标与世界点坐标的关系可以表示为连续特征点坐标等于内参矩阵与旋转矩阵及平移向量所构成的外参矩阵的乘积再乘上世界点坐标，并更新到当前外参，根据当前外参下的连续特征点坐标与上一外参下的理论特征点坐标记算平均重投影偏差，根据偏差判断该最优外参是否就是最佳的外参信息，若是则根据最优外参对车载摄像头进行标定，若否则继续进行步骤s201。
[0083]
进一步地，可以将根据各连续特征点坐标及对应的世界点坐标，确定车载摄像头的外参信息并对车载摄像头进行标定的步骤进一步优化为：
[0084]
d11、根据各所述连续特征点坐标及对应的世界点坐标，确定当前外参信息及在当前外参信息下的各优化特征点坐标。
[0085]
在本实施例中，优化特征点坐标可以理解为通过当前外参信息优化后的特征点坐标。
[0086]
具体的，控制器可以根据连续特征点坐标与世界点坐标结合图像坐标与世界点坐标的关系通过最小二乘法计算得到当前外参信息，通过当前外参信息及世界点坐标结合世界点坐标结合图像坐标与各世界点坐标的关系确定出对应的优化特征点坐标。。
[0087]
d12、根据各连续特征点坐标及对应的优化特征点坐标，确定平均投影偏差值。
[0088]
在本实施例中，平均投影偏差值可以理解为多个投影偏差值的平均值。
[0089]
具体的，控制器可以根据连续特征点坐标及对应的优化特征点坐标相减得到多个投影偏差值，进而通过求得多个投影偏差值之间的平均投影偏差值。
[0090]
d13、当平均投影偏差值小于预设的偏差阈值时，将当前外参信息作为车载摄像头的外参信息并对车载摄像头进行标定。
[0091]
在本实施例中，偏差阈值可以理解为用于确定当前外参信息是否符合标定要求而设定的值。
[0092]
具体的，控制器可以将平均投影偏差值与偏差阈值进行比对，当平均投影偏差值小于预设的偏差阈值时，将当前外参信息作为车载摄像头的外参信息并对车载摄像头进行标定。
[0093]
进一步地，在上述实施例的基础上，还包括：
[0094]
当连续轨迹信息不满足优化外参条件时，或，当平均投影偏差值大于或等于预设的偏差阈值时，将当前帧作为上一帧，并返回重新执行当前帧的图像信息以及当前车辆运
动信息的获取步骤。
[0095]
具体的，当连续轨迹信息不满足优化外参条件时，或，当平均投影偏差值大于或等于预设的偏差阈值时，控制器可以将当前帧作为上一帧，并返回重新执行当前帧的图像信息以及当前车辆运动信息的获取步骤。
[0096]
本发明实施例的技术方案，通过满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息，通过提取图像中的特征信息，通过畸变矫正以及逆透视投影对特征进行变换，结合视场角边界条件筛选出地面特征点集合，结合历史地面特征信息对相邻帧的特征点集合进行特征点匹配跟踪，当连续轨迹信息满足优化外参条件时，结合当前车辆运动信息确定稳定可靠的连续特征点集合，进而确定出优化后的当前外参信息，并判断当前外参信息的精度是否满足要求，通过多次优化，优化出符合要求的外参，实现了在任意场景下对车载摄像头的自动标定，提高了车载摄像头的标定精度，降低了标定场景的要求。
[0097]
实施例三
[0098]
图3为本发明实施例三提供的一种车载摄像头标定装置的结构示意图。如图3所示，该装置包括：信息获取模块31、集合确定模块32及摄像头标定模块33。其中，
[0099]
信息获取模块31，用于当满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；
[0100]
集合确定模块32，用于根据所述图像信息及预设的视场角边界条件，确定所述图像信息的地面特征点集合；
[0101]
摄像头标定模块33，用于根据所述地面特征点集合、确定出的历史地面特征点信息及所述当前车辆运动信息，对所述车载摄像头进行标定。
[0102]
本发明实施例的技术方案，通过满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；根据图像信息及预设的视场角边界条件，确定图像信息的地面特征点集合；根据地面特征点集合、确定出的历史地面特征点信息及当前车辆运动信息，对车载摄像头进行标定。通过车辆在任意场景下行驶并拍摄图像信息，根据图像信息及预设的视场角边界条件，筛选出地面属性特征结合历史地面特征点信息及当前车辆运动信息，确定车载摄像头的外参完成标定。实现了在任意场景下对车载摄像头的自动标定，提高了车载摄像头的标定精度，降低了标定场景的要求。
[0103]
可选的，集合确定模块32包括：
[0104]
对所述图像信息进行特征提取，得到所述图像信息的特征信息；
[0105]
针对所述特征信息中包括的关键点坐标进行投影变换，得到投影后的地面位置坐标；
[0106]
在各所述地面位置坐标中确定满足所述视场角边界条件的目标位置坐标；
[0107]
根据各所述目标位置坐标，确定所述图像信息的地面特征点集合。
[0108]
可选的，摄像头标定模块33包括：
[0109]
信息提取单元，用于提取所述历史地面特征点信息中的各相邻帧的历史跟踪轨迹信息；
[0110]
第一确定单元，用于对所述历史地面特征点信息中上一帧的上一特征点集合以及所述地面特征点集合进行特征点匹配跟踪，得到当前跟踪轨迹信息；
[0111]
第二确定单元，用于根据所述当前跟踪轨迹信息及各所述历史跟踪轨迹信息，确定跟踪轨迹连续的连续轨迹信息；
[0112]
摄像头标定单元，用于当所述连续轨迹信息满足优化外参条件时，根据所述连续轨迹信息、所述初始化参数及所述当前车辆运动信息，确定所述车载摄像头的外参信息并对所述车载摄像头进行标定。
[0113]
其中，所述连续轨迹信息中包括的连续帧数达到预设帧数阈值，且，所述连续轨迹信息中包括的特征点数量达到预设数量阈值。
[0114]
进一步地，摄像头标定单元包括：
[0115]
集合提取子单元，用于提取连续轨迹信息中的初始采集时间、初始车辆位置、连续特征点集合及车辆运动信息集合；
[0116]
第一确定子单元，用于针对所述连续特征点集合中包括的连续特征点坐标，确定所述车辆运动信息集合中与所述连续特征点坐标对应的目标车辆运动信息；
[0117]
第二确定子单元，用于根据所述目标车辆运动信息及所述连续特征点坐标，确定所述连续特征点坐标相对于车辆位置的世界点坐标；
[0118]
第三确定子单元，用于根据各所述连续特征点坐标及对应的世界点坐标，确定所述车载摄像头的外参信息并对所述车载摄像头进行标定。
[0119]
其中，第三确定子单元具体用于：
[0120]
根据各所述连续特征点坐标及对应的世界点坐标，确定当前外参信息及在当前外参信息下的各优化特征点坐标；
[0121]
根据各所述连续特征点坐标及对应的优化特征点坐标，确定平均投影偏差值；
[0122]
当所述平均投影偏差值小于预设的偏差阈值时，将所述当前外参信息作为所述车载摄像头的外参信息并对所述车载摄像头的标定。
[0123]
本发明实施例所提供的车载摄像头标定装置可执行本发明任意实施例所提供的车载摄像头标定方法，具备执行方法相应的功能模块和有益效果。
[0124]
实施例四
[0125]
图4为本发明实施例四提供的一种车辆的结构示意图，如图4所示，该车辆包括控制器41、存储器42、输入装置43、输出装置44及摄像头45，控制器41、存储器42和摄像头45的数量可以是一个或多个，图4中以一个控制器41和一个存储器42为例；车辆中的控制器41、存储器42和摄像头45可以通过总线或其他方式连接，图4中以通过总线连接为例。其中，控制器是指本发明实施例中的执行主体的控制器。
[0126]
存储器42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的车载摄像头标定方法对应的程序指令/模块(例如，车载摄像头标定装置中的信息获取模块31、集合确定模块32及摄像头标定模块33)。控制器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行车辆的各种功能应用以及数据处理，即实现上述的车载摄像头标定方法。
[0127]
存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步
包括相对于控制器41远程设置的存储器，这些远程存储器可以通过网络连接至车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0128]
输入装置43可用于接收数字或字符信息，以及产生与车辆用户设置以及功能控制有关的键信号输入。
[0129]
输出装置44可包括显示设备。
[0130]
实施例五
[0131]
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机控制器执行时用于车载摄像头标定方法，该方法包括：
[0132]
获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据；
[0133]
当满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；
[0134]
根据所述图像信息及预设的视场角边界条件，确定所述图像信息的地面特征点集合；
[0135]
根据所述地面特征点集合、确定出的历史地面特征点信息及所述当前车辆运动信息，对所述车载摄像头进行标定。
[0136]
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的车载摄像头标定方法中的相关操作。
[0137]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0138]
值得注意的是，上述车载摄像头标定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0139]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0140]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种车载摄像头标定方法，其特征在于，包括：当满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；根据所述图像信息及预设的视场角边界条件，确定所述图像信息的地面特征点集合；根据所述地面特征点集合、确定出的历史地面特征点信息及所述当前车辆运动信息，对所述车载摄像头进行标定。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像信息及预设的视场角边界条件，确定所述图像信息的地面特征点集合，包括：对所述图像信息进行特征提取，得到所述图像信息的特征信息；针对所述特征信息中包括的关键点坐标进行投影变换，得到投影后的地面位置坐标；在各所述地面位置坐标中确定满足所述视场角边界条件的目标位置坐标；根据各所述目标位置坐标，确定所述图像信息的地面特征点集合。3.根据权利要求1所述的方法，其特征在于，所述根据所述地面特征点集合、确定出的历史地面特征点信息及所述当前车辆运动信息，对所述车载摄像头进行标定，包括：提取所述历史地面特征点信息中的各相邻帧的历史跟踪轨迹信息；对所述历史地面特征点信息中上一帧的上一特征点集合以及所述地面特征点集合进行特征点匹配跟踪，得到当前跟踪轨迹信息；根据所述当前跟踪轨迹信息及各所述历史跟踪轨迹信息，确定跟踪轨迹连续的连续轨迹信息；当所述连续轨迹信息满足优化外参条件时，根据所述连续轨迹信息及所述当前车辆运动信息，确定所述车载摄像头的外参信息并对所述车载摄像头进行标定。4.根据权利要求3所述的方法，其特征在于，所述优化外参条件包括：所述连续轨迹信息中包括的连续帧数达到预设帧数阈值，且，所述连续轨迹信息中包括的特征点数量达到预设数量阈值。5.根据权利要求3所述的方法，其特征在于，所述根据所述连续轨迹信息及所述当前车辆运动信息，确定所述车载摄像头的外参信息并对所述车载摄像头进行标定，包括：提取连续轨迹信息中的连续特征点集合及车辆运动信息集合；针对所述连续特征点集合中包括的连续特征点坐标，确定所述车辆运动信息集合中与所述连续特征点坐标对应的目标车辆运动信息；根据所述目标车辆运动信息及所述连续特征点坐标，确定所述连续特征点坐标相对于车辆位置的世界点坐标；根据各所述连续特征点坐标及对应的世界点坐标，确定所述车载摄像头的外参信息并对所述车载摄像头进行标定。6.根据权利要求5所述的方法，其特征在于，所述根据各所述连续特征点坐标及对应的世界点坐标，确定所述车载摄像头的外参信息并对所述车载摄像头进行标定，包括：根据各所述连续特征点坐标及对应的世界点坐标，确定当前外参信息及在当前外参信息下的各优化特征点坐标；根据各所述连续特征点坐标及对应的优化特征点坐标，确定平均投影偏差值；当所述平均投影偏差值小于预设的偏差阈值时，将所述当前外参信息作为所述车载摄
像头的外参信息并对所述车载摄像头的标定。7.根据权利要求3-6中任一项所述的方法，其特征在于，还包括：当所述连续轨迹信息不满足优化外参条件时，或，当所述平均投影偏差值大于或等于预设的偏差阈值时，将当前帧作为上一帧，并返回重新执行当前帧的图像信息以及当前车辆运动信息的获取步骤。8.一种车载摄像头标定装置，其特征在于，包括：信息获取模块，用于当满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；集合确定模块，用于根据所述图像信息及预设的视场角边界条件，确定所述图像信息的地面特征点集合；摄像头标定模块，用于根据所述地面特征点集合、确定出的历史地面特征点信息及所述当前车辆运动信息，对所述车载摄像头进行标定。9.一种车辆，其特征在于，所述车辆包括：至少一个控制器；与所述至少一个控制器通信连接的至少一个摄像头，以及与所述至少一个控制器通信连接的存储器；其中，所述存储器存储有可被所述至少一个控制器执行的计算机程序，所述计算机程序被所述至少一个控制器执行，以使所述至少一个控制器能够执行权利要求1-7中任一项所述的车载摄像头标定方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使控制器执行时实现权利要求1-7中任一项所述的车载摄像头标定方法。

技术总结
本发明公开了一种车载摄像头标定方法、装置、车辆及介质。该方法包括：满足标定条件时，获取车载摄像头拍摄的当前帧的图像信息，以及自身车辆的当前车辆运动信息；根据图像信息及预设的视场角边界条件，确定图像信息的地面特征点集合；根据地面特征点集合、确定出的历史地面特征点信息及当前车辆运动信息，对车载摄像头进行标定。通过车辆在任意场景下行驶并拍摄图像信息，根据图像信息及预设的视场角边界条件，筛选出地面属性特征结合历史地面特征点信息及当前车辆运动信息，确定车载摄像头的外参完成标定。实现了在任意场景下对车载摄像头的自动标定，提高了车载摄像头的标定精度，降低了标定场景的要求。低了标定场景的要求。低了标定场景的要求。


技术研发人员：赵珊 陈博 尹荣彬 张伟伟
受保护的技术使用者：一汽（南京）科技开发有限公司
技术研发日：2023.05.29
技术公布日：2023/8/14