针对目标物体的识别系统、识别方法、车辆和存储介质与流程
未命名
08-15
阅读:80
评论:0

1.本技术涉及道路检测技术领域,具体涉及一种针对目标物体的识别系统、识别方法、车辆和存储介质。
背景技术:
2.路面上经常会存在一些已知或未知的物体,影响着路面上车辆的行车安全。路面上的这些物体犹如一枚枚“定时炸弹”,时刻危及着路面上车辆的行车安全,极易引发交通事故。为了避免这些物体造成交通事故,需要对这些物体进行识别和排除。目前,这些物体的识别主要由养护巡查人员进行人工巡查。这种方式依赖人工进行识别,识别效率较低且主要依赖主观经验。
技术实现要素:
3.本技术提供一种车辆的识别系统、车辆和识别方法,有利于提高目标的识别效率和/或准确率。
4.第一方面,提供了一种针对目标物体的识别系统,包括:视觉传感器,用于获取第一图像,所述第一图像用于表征至少包括路面相关的信息;雷达传感器,用于获取第一数据,所述第一数据用于表征至少包括路面相关的信息;控制模块,与所述视觉传感器和所述雷达传感器相连,用于执行以下操作:基于所述第一图像,获取所述目标物体的第一识别结果;基于所述第一数据,获取所述目标物体的第二识别结果;基于所述第一识别结果和所述第二识别结果,判断是否存在所述目标物体;其中,所述目标物体为凸出路面的类别未被识别的有形物体。
5.第二方面,提供一种车辆,包括如第一方面所述的识别系统。
6.第三方面,提供一种针对目标物体的识别方法,包括:利用视觉传感器获取第一图像,所述第一图像用于表征至少包括路面相关的信息;利用雷达传感器获取第一数据,所述第一数据用于表征至少包括路面相关的信息;基于所述第一图像,获取所述目标物体的第一识别结果;基于所述第一数据,获取所述目标物体的第二识别结果;基于所述第一识别结果和所述第二识别结果,判断是否存在所述目标物体;其中,所述目标物体为凸出路面的类别未被识别的有形物体。
7.本技术通过融合视觉传感器的识别结果和雷达传感器对目标物体的识别结果,自动对路面上的目标物体进行判断,从而可以降低对人工的依赖程度低,有利于提高识别效率。另外,通过对视觉传感器的识别结果和雷达传感器的识别结果进行融合,可以弥补单一传感器固有缺陷导致的误检和漏检问题,有利于提高检测的准确性和可靠性。
附图说明
8.图1为本技术实施例提供的一种识别系统的示意图。
9.图2为本技术实施例提供的识别流程的示意图。
10.图3为利用语义分割算法对图像处理的示意图。
11.图4为利用图像翻译算法对语义图像进行处理的示意图。
12.图5为基于原始图像以及重建图像对目标物体进行识别的示意图。
13.图6为利用雷达传感器进行目标物体识别的流程示意图。
14.图7为本技术实施例提取的地面点云的示意图。
15.图8为本技术实施例提供的对两种传感器的识别结果进行融合分析的流程示意图。
16.图9为本技术实施例提供的一种车辆的示意图。
17.图10为本技术实施例提供的一种识别方法的流程示意图。
具体实施方式
18.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。
19.路面上经常会存在一些已知或未知的物体,影响着路面上车辆的行车安全。路面上的这些物体犹如一枚枚“定时炸弹”,时刻危及着路面上车辆的行车安全,极易引发交通事故。尤其是高速公路,由于高速公路上车辆的行车速度比较快,会导致更严重的交通事故。
20.据数据显示,2012年以来,仅杭州湾环线高速公路绍兴段的上述物体诱发的事故就占高速公路事故总量的10%,每年的遗撒物事故更是居高不下,始终保持高位运行。
21.这些物体具有未知的类别,如这些物体(下文也称为目标物体)可以为凸出路面的不具有特定类别的有形物体。这些物体可能是自然界中的物体遗落到地面上形成的,如这些物体例如可以是折断的树枝,或者被撞的动物等。或者,这些物体可能是从车辆上散落到地面的物体,这些物体可以称为遗撒物或抛撒物。上述物体的类型有多种。例如,上述物体可以包括以下中的一种或多种:塑料瓶、轮胎、金属架、石块等。
22.路面上的遗撒物可能是车辆不小心掉落的。行驶在道路上的车辆由于颠簸、碰撞或包装损坏、固定物失效、装卸措施不当等原因,导致运输的货物或车辆零件从车辆上散落到路面上。
23.较大或较尖锐的物体对来往车辆的正常行驶构成了威胁严重威胁,尤其是在速度较快的高速公路上,这些物体会影响通行效率且会威胁车辆的行驶安全。
24.目前,这些物体的识别主要由养护巡查人员进行人工巡查。如养护巡查人员每天在路面上进行分段巡查,在发现这些物体后可以第一时间进行处置。为了提高效率,目前还有另外一种识别方法,即可以通过车载记录仪拍摄视频后,人工观看视频中的内容,对影响行车安全的物体进行识别并录入日常养护系统,进而安排养护人员进行维修作业。总的来说,目前的识别方式依赖人工进行识别,识别效率较低且主要依赖主观经验。
25.基于此,本技术实施例提供一种针对目标物体的识别系统、识别方法和车辆,通过融合视觉传感器的识别结果和雷达传感器的识别结果,自动对路面上的目标物体进行判断,从而可以降低对人工的依赖程度,有利于提高识别效率。另外,通过对视觉传感器的识别结果和雷达传感器的识别结果进行融合,可以弥补单一传感器固有缺陷导致的误检和漏检问题,有利于提高检测的准确性和可靠性。
26.下面结合1,对本技术实施例提供的识别系统进行介绍。图1所示的识别系统100可应用于车辆上。该车辆可以包括机动车和非机动车。机动车可以包括汽车、摩托车等。在一些实现方式中,该车辆可以为自动驾驶车辆或非自动驾驶车辆。
27.该识别系统100可以包括控制模块110、视觉传感器120和雷达传感器130。控制模块110与视觉传感器120和雷达传感器130相连。该控制模块110可以为车辆中自带的控制模块或处理器,如控制模块可以为整车控制器或自动驾驶控制器。
28.本技术实施例对视觉传感器120和雷达传感器130的类型不做具体限定,下面进行举例说明。
29.视觉传感器120可以为图像传感器。该视觉传感器可以为以下中的一种或多种:单目摄像头、双目摄像头、三目摄像头和环视摄像头。
30.视觉传感器120可用于获取第一图像。该第一图像用于表征至少包括路面相关的信息。路面相关的信息可以包括以下中的一种或多种:路面的信息、车道线的信息、减速带的信息等。
31.该第一图像可以理解为包含路面的图像。在一些实施例中,第一图像也可以称为路面图像。该第一图像可以为视觉传感器采集的照片,或者也可以为视觉传感器采集的视频中的帧图像。视觉传感器可以对路面进行拍摄,得到第一图像。
32.在一些实施例中,第一图像中除了包含路面相关的信息外,还可以包含其他物体的信息。该其他物体例如可以包括车辆、行人、目标物体、围栏、建筑物等。
33.本技术实施例对视觉传感器的设置位置不做具体限定。该视觉传感器可以设置在车辆外侧,如设置在车辆的车头、车尾或车身两侧等。设置在车头处的视觉传感器可用于采集车辆前方的路面图像,设置在车尾处的视觉传感器可用于采集车辆后方的路面图像,设置在车身两侧的视觉传感器可用于采集车辆两侧的路面图像。
34.本技术实施例中的视觉传感器可以为车辆(如自动驾驶车辆)中自带的视觉传感器,因此,可以直接利用这些车辆中的视觉传感器,进行目标物体的识别,从而可以降低硬件成本。
35.雷达传感器可以包括以下中的一种或多种:毫米波雷达、激光雷达、超声波雷达、微波雷达等。由于激光雷达具有探测距离远、探测精度高、可靠性强等特点,因此,目前车辆上使用最多的是激光雷达。
36.雷达传感器可用于获取第一数据。该第一数据可以为点云数据。该第一数据用于表征至少包括路面相关的信息。路面相关的信息可以包括以下中的一种或多种:路面的信息、车道线的信息、减速带的信息等。
37.该第一数据可以理解为包含路面的数据。雷达传感器可以向地面发射信号,以获取第一数据。
38.在一些实施例中,第一数据中除了包含路面相关的信息外,还可以包含其他物体的信息。该其他物体例如可以包括车辆、行人、目标物体、围栏、建筑物等。
39.以激光雷达传感器为例,激光雷达传感器可以包括激光发射系统和激光接收系统。激光发射系统包括多层激光束,激光束的层数越多,激光雷达的测量精度就越高。激光束被发射到障碍物之后会发生发射,当这些激光束撞击障碍物时,会产生点云。点云可以为3d点云,点云可以表示激光束的每个撞击点的精确位置,即点云可以包含x轴、y轴和z轴的
坐标值。激光束撞击的障碍物可以包括以下中的一种或多种:路面、车辆、行人、护栏、路沿、树木、房屋、遗撒物等。
40.本技术实施例对雷达传感器的设置位置不做具体限定。该雷达传感器可设置在车辆外侧,如设置在车辆的车头、车尾或车身两侧等。设置在车头处的雷达传感器可用于采集车辆前方的点云数据,设置在车尾处的雷达传感器可用于采集车辆后方的点云数据,设置在车身两侧的雷达传感器可用于采集车辆两侧的点云数据。
41.本技术实施例中的雷达传感器可以为车辆(如自动驾驶车辆)中自带的雷达传感器,因此,可以直接利用这些车辆中的雷达传感器,进行目标物体的识别,从而可以降低硬件成本。
42.该控制模块110可用于执行以下操作:基于第一图像,获取目标物体的第一识别结果;基于第一数据,获取目标物体的第二识别结果;基于第一识别结果和第二识别结果,判断是否存在目标物体。该目标物体的类型具有不确定性。该目标物体可以为凸出路面的类别未被识别的有形物体。该目标物体可以指路面上任意一种影响车辆正常通行的物体。该目标物体例如可以为遗撒物或抛撒物等。
43.本技术实施例可以采用众包模式进行目标物体的识别。例如,可以集合多个车辆,利用该多个车辆进行目标物体的识别。这些车辆例如可以为同一厂家的车辆,或者也可以为使用同一app(如地图软件)的车辆。本技术实施例可以融合多辆车辆的识别结果,通过大数据统计与分析准确判断目标物体是否存在以及目标物体的准确位置,进而安排养护人员进行排除,有利于降低人工成本、提升工作效率。
44.控制模块可以根据第一图像,确定目标物体的第一识别结果。第一识别结果可以包括是否识别到目标物体和/或识别到的目标物体的信息。为了便于描述,可以将视觉传感器识别到的目标物体称为候选目标物体。如果视觉传感器检测到候选目标物体,则第一识别结果为路面存在候选目标物体;如果视觉传感器没有检测到候选目标物体,则第一识别结果为路面不存在候选目标物体。
45.如果路面存在候选目标物体,则可以进一步判断候选目标物体的信息。候选目标物体的信息可以包括候选目标物体的类型和/或候选目标物体的位置,在检测到路面存在候选目标物体的情况下,还可以进一步确定候选目标物体的类型和/或候选目标物体的位置。
46.候选目标物体的类型可以理解为候选目标物体的类别,即该候选目标物体属于哪种物体。候选目标物体的类型可以通过图像识别算法进行确定。例如,可以使用神经网络模型对路面图像进行处理,确定图像中的候选目标物体的类别。候选目标物体的类型可以包括以下中的一种或多种:塑料瓶、轮胎、金属架、石块等。
47.候选目标物体的位置可以基于相机的外参确定,基于相机的外参可以确定候选目标物体与相机之间的距离,进而根据相机的位置(如车辆的位置)可以确定候选目标物体的位置。该相机的外参可以是经过标定之后的外参。
48.控制模块可以根据第一数据,确定路面目标物体的第二识别结果。第二识别结果可以包括是否识别到目标物体和/或识别到的目标物体的信息。为了便于描述,可以将雷达传感器识别到的目标物体称为候选目标物体。如果雷达传感器检测到候选目标物体,则第二识别结果为路面存在候选目标物体;如果雷达传感器没有检测到候选目标物体,则第二
识别结果为路面不存在候选目标物体。
49.如果路面存在候选目标物体,则可以进一步判断候选目标物体的信息。候选目标物体的信息可以包括候选目标物体的尺寸(或大小),在检测到路面存在候选目标物体的情况下,还可以进一步确定候选目标物体的尺寸。
50.图2示出了进行目标物体检测的流程示意图。
51.在系统启动后,可以先对视觉传感器和雷达传感器进行自检。在视觉传感器和雷达传感器自检通过的情况下进入目标物体检测程序。传感器的自检可以指判断传感器是否能正常工作,如果传感器能正常工作,则表示传感器自检通过。
52.如果视觉传感器自检通过,则可以利用视觉传感器进行目标物体的识别。在一些实施例中,利用视觉传感器进行目标物体的识别过程可以包括:获取视觉图像数据、图像分割、图像翻译和图像对比等过程。下文将会对这些过程进行详细介绍。视觉传感器识别到的目标物体为二维边界框(2d bounding box)。
53.如果雷达传感器自检通过,则可以利用雷达传感器进行目标物体的识别。利用雷达传感器进行目标物体的识别过程可以包括:获取雷达数据、路面提取、目标物体识别等。下文将会对这些过程进行详细介绍。雷达传感器识别到的目标物体为三维边界框(3d bounding box)。
54.将视觉传感器识别的目标物体和雷达传感器识别的目标物体进行融合,得到最终的目标物体。
55.基于第一图像,确定第一识别结果的方式有多种,本技术实施例对此不做具体限定。例如,可以使用图像算法对第一图像进行检测,以确定路面是否存在目标物体。该图像算法可以为机器学习算法。该机器学习算法可以通过神经网络模型实现。该神经网络可以包括卷积神经网络(convolutional neural network,cnn)、循环神经网络(recurrent neural network,rnn)、深度神经网络(deep neural network,dnn)等。
56.为了降低计算的复杂度,可以使用机器学习算法对路面图像中的目标物体进行识别。该机器学习算法可以为有监督的学习算法,也可以为无监督的学习算法,或者也可以为半监督的学习算法。
57.有监督的学习算法和半监督的学习算法对训练样本图像的要求比较高,如需要包含目标物体的路面图像,而这类图像比较少。因此,这两类算法存在训练成本高、训练困难以及训练好的模型精度差、误报率高的问题,从而导致识别的目标物体的准确率较低。
58.另外,由于目标物体的类别具有不确定性,也无法使用有监督的学习算法进行目标物体的识别。目前的目标物体种类有多种,包括但不限于塑料瓶、轮胎、金属架和石块等,未来也可能存在更多种类的目标物体,通常也没有办法对所有的目标物体种类都进行训练,这进一步增加了训练的难度。
59.由于无法获得有效的目标物体样本,因此,使用有监督学习算法或半监督学习算法的检测方案存在一定的难度。基于此,本技术实施例可以使用无监督学习算法进行目标物体识别,通过图像重建再进行图像对比来实现对目标物体的识别与定位。下面对基于第一图像对目标物体进行识别的方式进行介绍。
60.在一些实现方式中,控制模块具体可用于:对第一图像进行第一图像处理,得到第一图像处理结果。通过第一图像处理,可以将第一图像中的不同物体识别出来。第一图像处
理结果可以包含路面的标签信息以及至少一个类别已被识别的物体的标签信息。路面的标签信息可以记为road_label。类别已被识别的物体可以包括以下中的一种或多种:车辆、行人、建筑物等。
61.第一图像处理可以为对图像进行分割的处理。第一图像处理可以使用语义分割算法,或者也可以使用传统的分割算法。传统的分割算法例如可以包括以下中的一种或多种:normalized cut、structured random forests、svm等。语义分割算法例如可以利用mask r-cnn或faster r-cnn来实现。在一些实现方式中,语义分割算法采用的模型例如可以为sota的deeplabv3模型。使用语义分割算法对第一图像进行处理,可以更准确地识别复杂的图像,比如可以识别有多个物体、复杂场景或混乱背景的图像,有利于提高获取的物体的标签信息的准确性,保证后续处理结果的准确性。下文将会以语义分割为例,对第一图像的处理过程进行详细的介绍。
62.在得到路面的标签信息以及至少一个类别已被识别的物体的标签信息后,控制模块可以基于路面的标签信息以及至少一个类别已被识别的物体的标签信息,对第一图像处理结果进行第二图像处理,获取第二图像。在一些实现方式中,第一图像处理结果还可以包括对第一图像进行第一图像处理之后得到的图像(称为第五图像)。控制模块可以对该第五图像进行第二图像处理,得到第二图像。
63.在一些实施例中,第二图像可以包括用于表征路面自然状态的信息。第二图像例如可以为重构之后的干净的路面图像。该第二图像中除了包含路面的信息外,不包含其他物体的信息。第二图像例如可以为图5中的右上图。第二图像可以记为road_fake图。
64.在一些实施例中,控制模块还可以对第一图像进行第三图像处理,获取第三图像。该第三图像包括用于表征路面真实状态的信息。第三图像可以理解为真实的路面图像。第三图像可以记为road_real图。例如,对于存在目标物体的情况,第三图像中可以包括路面的信息以及目标物体的信息。第三图像可以是将第一图像中除路面所在区域之外的其他区域排除之后得到的图像。由于目标物体通常位于路面上,即路面区域为感兴趣区域,本技术主要关注路面区域上的目标物体,因此,可以将第一图像中的其他区域排除之后,得到第三图像。
65.第三图像处理方式有多种,本技术实施例对此不做具体限定,只要能够将真实的路面区域分割出来即可。第三处理方式可以包括机器学习方式,或者也可以包括传统方式(如传统的分割方式)。例如,第三处理方式可以指第一图像与路面的语义图像(下文称为第四图像)进行像素级别的与操作(下文将会详细介绍)。
66.在得到第二图像和第三图像后,控制模块可以对第二图像和第三图像进行对比,以获取第一识别结果。由于第二图像为干净的路面图像,即第二图像中不包含目标物体的图像,而第三图像为真实的路面图像,即第三图像为包含目标物体的图像,通过将第二图像和第三图像进行对比,可以将目标物体识别出来。通过上述处理过程可以看出,本技术实施例可以在没有目标物体的标签信息的情况下,将目标物体识别出来,从而可以降低对目标物体识别的难度和复杂度。
67.下面以第一图像处理为语义分割为例,对第二图像的获取过程进行介绍。
68.控制模块可以对第一图像进行语义分割,得到路面的标签信息以及至少一个类别已被识别的物体的标签信息。
69.由于语义分割为像素级别的分割算法,通过语义分割后,可以将不同物体所在的区域设置为不同的像素值。例如,可以将车辆所在区域的像素值设置为值1,将行人所在区域的像素值设置在值2,将建筑物所在区域的像素值设置在值3,将路面所在区域的像素值设置为值4,将背景所在区域的像素值设置为值5等。
70.控制模块根据路面的标签信息以及至少一个类别已被识别的物体的标签信息,将第一图像处理结果中路面所在区域的像素值设置为第一值,以及将至少一个类别已被识别的物体所在区域的像素值设置为第二值,以获取第四图像。第四图像可以为二值图像。该第四图像也可以称为路面的语义图像。第四图像例如可以为图3的右图。在得到上述标签信息后,控制模块可以将路面区域所在的像素值设置为第一值,而将非路面所在区域的像素值统一为第二值,有利于提取出路面所在的区域,便于后续的图像处理。非路面所在的区域可以包括类别已被识别的物体所在区域以及背景区域等。
71.通过对已知类别物体的识别,可以将该已知类别的物体进行排除,如将该已知类别的物体的像素值统一为第二值,这样使得得到的第三图像就不会包含已知类别的物体,可以避免已知类别的物体对后续目标物体的识别产生影响,提高最终识别结果的准确率。
72.以图3为例,图3的左图为第一图像,将第一图像输入到语义分割模型后,可以得到右图所示的第四图像。
73.由于目标物体没有相应的标签信息,语义分割算法识别不出目标物体,会将目标物体判定为路面,所以在语义分割过程中,会将目标物体所在的区域识别为路面区域,即会将该区域的像素值设置为与路面所在区域的像素值一样,因此,上述路面所在区域包含目标物体所在的区域。在第四图像中,目标物体所在区域的像素值也为第一值。
74.本技术实施例对第一值和第二值的具体大小不做具体限定。只要第一值和第二值不同,能够将路面区域和非路面区域区分开即可。在一些实现方式中,第一值可以为1,第二值可以为0。将第一值设置为1,第二值设置为0,有利于降低后续第三图像获取的复杂度。下文将会对第三图像的处理过程进行详细介绍。
75.在得到第四图像后,可以对第四图像进行图像翻译处理,获取第二图像。第二图像可以为rgb图像。由于第四图像将路面区域与其他区域进行了区分,可以通过图像翻译算法,对第四图像进行变换重建,得到第二图像。第二图像也可以称为重建图像。例如,可以将第四图像与样例图像输入到图像翻译模型中,以输出第二图像。
76.图像翻译算法使用的模型例如可以为cocosnet。该模型可以基于输入的语义图像与样例图像生成带有样例风格并与语义图像对应的高清生成图。如图4所示,左图为语义图像,右图为经过图像翻译处理后得到的图像。
77.下面对第三图像的获取过程进行介绍。
78.假设上述第一值为1,第二值为0,则可以将第四图像中的像素值与第一图像中的像素值进行与操作,以获取第三图像。由于第四图像中非路面区域的像素值为0,在进行与操作后,第三图像中非路面区域的像素值仍为0,由于第四图像中路面区域的像素值为1,在进行与操作后,第三图像中路面区域的像素值与第一图像中路面区域的像素值一致。也就是说,第三图像中保留了路面区域的原始像素值,而其他区域的像素值均为0,经过上述操作得到了包含路面真实状态信息的图像,并且上述操作方式简单方便,通过简单的与操作即可得到包含路面真实状态信息的图像。
79.将第二图像与第三图像进行对比时,由于第二图像中目标物体所在区域的像素值与路面区域的像素值一样,而第三图像中目标物体所在区域的像素值与路面区域的像素值不一致,通过将第二图像与第三图像进行对比,可以将目标物体识别出来。
80.以图5为例,左上图为第三图像,右上图为第二图像,经过图像对比之后,可以将目标物体510(也可以称为目标物体所在区域510)识别出来。
81.下面结合图3-图5,对本技术实施例的图像处理过程进行介绍。
82.图3示出了语义分割处理过程。将图3中的左图进行语义分割后,可以得右图的分割后图像,以将路面区域提取出来。图3的左图可以理解为上文中的第一图像,图3的右图可以理解为上文中的第四图像。控制模块可以使用语义分割算法对第一图像进行处理,得到第四图像。
83.图4示出了图像重建过程。图4中的左图为语义图像,图4中的右图为重建图像。将语义图像输入到图像翻译模型中,可以得到重建图像。图4中的左图可以理解为上文中的第四图像,右图可以理解为上文中的第二图像。控制模块可以使用图像翻译算法对第四图像进行变换重建,得到第二图像。
84.图5示出了对目标物体进行识别的过程。图5中的左上图为真实路面图像,右上图为重建图像,右下图为拍摄图像。将真实路面图像与重建图像对比之后,可以得到左下图的对比结果,从而可以将目标物体510识别出来。图5中的左上图可以理解为上文中的第三图像,右上图可以理解为上文中的第二图像,右下图可以理解为上文中的第一图像。
85.控制模块通过图像对比之后,可以得到差异区域510,控制模块可以将区域510确定为候选目标物体所在的区域,或者控制模块可以确定该区域存在候选目标物体。
86.由前文的描述可知,本技术实施例是通过图像对比的方式识别目标物体的,如根据第二图像与第三图像中的差异区域确定目标物体,因此,本技术实施例可以通过无监督的方式实现目标物体的识别,即不需要对目标物体进行标注,不论目标物体属于哪种类型,都可识别出目标物体。
87.在一些实施例中,差异区域的像素值越高越亮,则表示是该区域包含候选目标物体的概率越大。这是考虑到差异区域的像素值较小时,可能是由于图像分割和/或图像重建过程中的误差造成的,有可能并不是真正的候选目标物体。因此,本技术实施例可以在差异区域的像素值大于预设阈值的情况下,确定该区域存在候选目标物体。该预设阈值可以根据经验确定,该预设阈值可以是用户自定义的。
88.在一些实现方式中,控制模块可以将第二图像与第三图像进行对比,获取第二图像与第三图像的差异区域,并根据该差异区域,确定第一识别结果。例如,控制模块可以将差异区域确定为候选目标物体所在的区域。又例如,为了提高识别结果的准确性,控制模块还可以对差异区域进行进一步的处理,以确定是否存在候选目标物体。
89.举例说明,路面上可能存在水面或者阴影区域,这些区域也有可能被识别为候选目标物体,从而会影响最终识别结果的准确性。基于此,控制模块在得到差异区域后,可以对该差异区域进行第四图像处理,得到差异区域中至少一个区域的类别信息,并根据该至少一个区域的类别信息,获取第一识别结果。第四图像处理可以为神经网络处理。该第四图像处理可以指根据物体的轮廓信息,对物体进行识别,如可以识别出路面上的水面区域和/或阴影区域等。
90.在一些实施例中,控制模块可以排除该差异区域中的至少一个区域,得到第一识别结果。控制模块可以将差异区域中已经被识别的物体所在的区域进行排除,剩余的区域为候选目标物体所在的区域。
91.由于目标物体的尺寸通常在一个区间内,即目标物体的尺寸不会太大也不会太小,基于此,本技术实施例还可以根据差异区域的大小,确定第一识别结果。例如,可以对差异区域的大小进行判断,排除差异区域中大于第一预设阈值和/或小于第二预设阈值的区域,并根据剩余的区域确定第一识别结果。
92.下面再来介绍本技术实施例提供的基于雷达传感器采集的点云数据,确定第二识别结果的方案。
93.在一些实施例中,控制模块可以对第一数据进行第一雷达处理,获取第一雷达处理结果。该第一雷达处理结果包括用于表征路面自然状态的信息。该路面自然状态的信息例如可以包括路面的轮廓信息。
94.第一雷达处理的方式有多种,本技术实施例对此不做具体限定,只要能够提取出用于表征路面自然状态的信息即可。例如,该第一雷达处理方式可以为凸包检测算法。控制模块可以利用凸包检测算法对第一数据进行处理,得到第一雷达处理结果。经过凸包检测算法可以获取完整的路面轮廓,保证后续算法能够提取路面轮廓之上的所有障碍物,从而可以降低障碍物提取的复杂度。
95.在得到第一雷达处理结果之后,控制模块可以根据路面自然状态的信息,获取凸出路面的至少一个物体。该至少一个物体例如可以包括障碍物。例如,控制模块可以根据点云的z坐标,确定凸出路面的至少一个物体。例如,控制模块可以将z坐标高于地面坐标的点云作为至少一个物体的点云。比如,在同一x坐标和y坐标处,z坐标高于地面点云的z坐标的点云可以视为至少一个物体的点云。需要说明的是,本技术实施例中的z坐标为高度方向上的坐标。由前文的描述可知,目标物体通常是凸出路面的物体,也就是说,目标物体是位于路面轮廓之上的物体,通过提取路面轮廓之上的物体,并基于该物体对目标物体进行识别,可以降低对目标物体检测的盲目性,缩小对目标物体检测的识别范围。
96.在提取路面轮廓之上的物体时,控制模块可以提取所有区域的位于地面以上的障碍物,也可以仅提取roi区域的位于地面以上的物体。
97.roi区域可以为提前预设好的区域。该区域可以是人为划分的,或者,该区域也可以是通过一定的算法计算得到的。该区域可以是容易引起事故的区域,例如该区域可以为路面的中间区域,或者该区域可以为限速比较高的区域。通过设定roi区域,使得控制模块可以无需对所有的区域都进行计算,从而可以降低运算量,降低处理复杂度。
98.控制模块可以根据上述凸出路面的物体,确定第二识别结果。例如,控制模块可以将凸出路面的物体作为候选目标物体。也就是说,如果路面轮廓之上有物体,则第二识别结果为路面存在候选目标物体。
99.在一些实施例中,凸出路面的物体有可能是一些已知类别的物体,或类别已被识别的物体,该类别已被识别的物体可以是静态物体,也可以是动态物体。例如,该类别已被识别的物体可以包括行人、车辆、路边的树木、路沿等。该类别已被识别的物体可以通过车辆中的其他传感器识别到。如果将这些类别已被识别的物体也作为候选目标物体,不对这些类别已被识别的物体进行排除,将会对增加后续对目标物体判断的困难,以及增加误检
的概率。
100.为了降低误检率以及降低后续对目标物体判断的困难,控制模块可以在上述凸出路面的物体中,确定类别已被识别的物体,然后基于类别已被识别的物体,获取第二识别结果。例如,控制模块可以基于凸出路面的物体中除类别已被识别的物体之外的物体,确定第二识别结果。例如,控制模块可以在凸出路面的物体的基础上,剔除类别已被识别的物体,将剩余的物体作为候选目标物体。该候选目标物体即为雷达传感器识别到的目标物体。
101.该类别已被识别的物体可以是基于雷达传感器识别出来的,或者也可以是基于其他传感器识别出来的。其他传感器例如可以为视觉传感器。
102.在一些实施例中,为了更好地提取路面自然状态的信息,需要先提取路面的点云。然后利用路面的点云,得到路面自然状态的信息。在提取路面的点云时,可以对雷达传感器采集的点云数据进行过滤,过滤掉除路面点云之外的其他点云,得到路面的点云。
103.雷达传感器采集的点云不仅包括路面的点云,还会包括凸出路面的各种物体的点云以及一些无效点。控制模块需要对这些点云进行过滤,从而方便后续提取路面的点云。无效点可以为因镜面反射引起的干扰点,无效点可能是打在空中或水面上没有返回的点,这些点云的呈现形式为非数(not a number,nan),可以对这些点云进行过滤。
104.在对点云进行过滤时,为了便于点云的处理,可以先对点云进行排序,如按照z坐标的大小进行排序,点云数据可以按照z坐标从低到高或从高到低的顺序进行排序。然后可以过滤掉z坐标大于预设阈值的点云,通常地面点云的z坐标在一个高度区间内,如果点云的z坐标超出该高度区间,就可以判断该点云不是地面点云。该预设阈值可以根据地面的高度阈值确定。
105.为了提高获取到的地面点云的准确度,还可以通过地面拟合模型对点云数据进行过滤,得到地面点云。下文将会对提取地面点云的过程进行详细介绍。
106.下面结合图6,对本技术实施例中的基于雷达传感器进行目标物体识别的方案进行介绍。需要说明的是,图6中的流程只是本技术实施例的一种优选方案,本技术实施例也可以仅使用图6中的部分流程。
107.图6中的流程可以包括路面提取和目标物体识别两部分。路面提取流程可以包括点云预处理和排序、点云滤波、地面种子点提取和地面拟合。目标物体识别流程可以包括离群点过滤、路面点云凸包检测、获取所有物体点云和物体聚类。
108.点云预处理和排序
109.雷达传感器采集的点云不仅包括路面之上的各种物体的点云,还可能会包含一些无效点,如因镜面反射引起的干扰点。无效点可能是打在空中或水面上没有返回的点,这些点云的呈现形式为非数(not a number,nan),可以对这些点云进行过滤从而方便后续提取路面的点云。
110.为了便于点云的处理,可以先对点云进行排序,如按照z坐标的大小进行排序,如可以将点云数据按照z坐标从低到高或从高到底的顺序进行排序。
111.点云滤波
112.雷达传感器通常都有一定的安装高度,其采集的点云中,如果点云的高度太低或z坐标太小的话,则这些点云可能就不是地面点云,需要对这些点云进行过滤。控制模块可以根据点云的高度信息,对点云进行过滤,以滤除高度低于预设阈值的点云。该预设阈值可以
根据雷达传感器的高度确定。例如,该预设阈值可以在雷达传感器高度的基础上进行一定的偏移得到的。如,该预设阈值可以为a+b,a为雷达传感器的高度,b为偏移量,a大于0,b为任意数值,如b可以为大于0的数值,也可以为小于0的数值。又例如,该预设阈值可以是根据雷达传感器高度的倍数确定的。如该预设阈值可以为c*a,a为雷达传感器的高度,c为大于1的整数。本技术实施例对c的取值不做具体限定,例如,c的取值可以为大于1且小于或等于2的任意数。如c=1.5,当然,c的取值还可以为1.4或者1.6等其他数值。c的具体取值可以根据实际场景和数据进行选择。
113.地面种子点提取
114.经过前面的点云滤波后,可以根据点云的高度确定地面种子点,如可以将num_lpr_个最低的点云作为地面种子点。然后计算地面种子点的平均高度lpr_height,选取低于lpr_height+th_seeds_的点云作为地面的候选点云。th_seeds_表示地面阈值高度。
115.地面拟合
116.对于每个点云数据段,都可以按照上述方式提取一组具有低高度值的种子点,然后用这些种子点来估计出一个地面的初始模型(或称为平面模型)。在确定初始模型时,可以确定种子点的x、y、z三个方向的均值以及种子点的协方差矩阵,计算协方差矩阵的特征向量。获取拟合平面的法向量,该法向量可以为沿z轴方向的法向量。根据拟合平面的法向量,确定拟合平面的高度以及拟合平面的高度阈值。
117.根据估计出的初始模型,计算点云段p中的点云到其在拟合平面上的正交投影的距离。在计算距离时,点云段p中的每个点云都需要参与计算。如果距离小于预设阈值th
dist
,则认为该点云是地面点云,存入地面点云中,作为下一次地面拟合的参考点。如果距离大于预设阈值,则认为该点云不是地面点云,可以将该点云进行剔除。该阈值可以是用户定义的,或者也可以是系统自带的。
118.利用重新确定的地面点云,重复上述过程,如将上述过程重复执行n
iter
次。最后,可以将每个点云段产生的地面点云连接起来,形成整个路面。
119.在上述过程中,选择初始种子点的方法可以为lpr。该点定义为点云的n
lpr
个最低高度值点的平均值。一旦计算出lpr,则可以将其视为点云p的最低高度值点,并且高度阈值内的点会成为初始种子点,用作后续的平面模型估计。lpr保证了噪声不会影响平面估计结果。
120.本技术实施例对平面拟合所使用的模型不做具体限定。例如,可以使用线性模型来拟合平面。线性模型可以表示为:
[0121][0122]
利用由种子点集s∈r3计算出的协方差矩阵c∈r3×3求解出法向量n:
[0123][0124]
在公式(2)中,表示所有种子点si∈s的平均值。在获取到法向量n之后,用代替x(平均值可以代表地面点)带入到公式(1)进行计算,就可以得到d了。
[0125]
经过上述过程,路面点云可以提取完成,其效果如图7所示。
[0126]
在路面点云提取完成之后,可以进行如下的目标物体识别流程。
[0127]
离群点过滤和路面点云凸包检测
[0128]
为了准确获取凸出路面的物体,可以先对之前提取的路面点云进行过滤,如过滤掉离群点,然后利用剩下的点云提取路面轮廓。在提取路面轮廓时,可以通过对路面点云求取凸包来获取完整的路面轮廓。路面轮廓的获取有利于后续提取roi区域内的所有物体。
[0129]
获取所有物体点云
[0130]
对凸出路面且在roi区域内的所有物体点云进行过滤并提取出来。
[0131]
物体聚类
[0132]
对上一步提取的roi区域内的物体点云进行聚类处理,得到所有物体实例。本技术实施例对聚类的处理方式不做具体限定,如dbscan聚类处理方式。在得到所有物体实例之后,可以根据已知类别的物体检测结果,从所有物体中去除已知类别的物体,得到剩余的物体,将剩余的物体作为候选目标物体。
[0133]
上文详细介绍了确定第一识别结果和第二识别结果的过程,下面对基于第一识别结果和第二识别结果,确定路面是否存在目标物体的方式进行介绍。作为一个示例,控制模块可以在第一识别结果和第二识别结果均为存在目标物体的情况下,确定路面存在目标物体。作为另一个示例,控制模块可以在第一识别结果和第二识别结果中有任意一个结果为不存在目标物体的情况下,确定路面不存在目标物体。例如,如果第一识别结果为存在目标物体,第二识别结果为不存在目标物体,则控制模块可以确定不存在目标物体。又例如,如果第一识别结果为不存在目标物体,第二识别结果为存在目标物体,则控制模块可以确定不存在目标物体。又例如,如果第一识别结果和第二识别结果均为不存在目标物体,则控制模块可以确定不存在目标物体。
[0134]
需要说明的是,这里的第一识别结果和第二识别结果均为存在目标物体可以理解为,在相同的位置,第一识别结果和第二识别结果均为存在目标物体。也就是说,利用视觉传感器和利用雷达传感器在相同的位置均检测到目标物体。
[0135]
如果在相同的位置,利用视觉传感器和雷达传感器均检测到目标物体,则可以确定该位置有目标物体。如果在相同的位置,利用视觉传感器检测到目标物体,而利用雷达传感器没有检测到目标物体,则可以确定该位置没有目标物体。如果在相同的位置,利用视觉传感器检测到目标物体,而利用雷达传感器检测到目标物体,则可以确定该位置没有目标物体。如果在相同的位置,利用视觉传感器和雷达传感器均没有检测到目标物体,则可以确定该位置没有目标物体。
[0136]
由于视觉传感器和雷达传感器都存在一定程度的误检,通过将第一识别结果和第二识别结果进行融合,只有在视觉传感器和雷达传感器均检测到目标物体的情况下,才确定存在目标物体,从而可以提高检测的准确性,避免视觉传感器无法准确判断目标物体尺寸及雷达传感器无法获取目标物体的纹理信息的缺陷,有利于提升系统的准确性和可靠性。
[0137]
例如,视觉传感器可能会将树木阴影、路面反射的前车尾灯识别为目标物体,雷达传感器可能会将路面的护栏、隔离桩等交通设施识别为目标物体,因此,无法通过单一传感器实现稳定、精准、可靠的目标物体检测,而本技术实施例通过融合视觉传感器和雷达传感器的识别结果,弥补了单一传感器固有缺陷导致的误检、漏检问题,有利于提升检测的准确性和可靠性。
[0138]
图8示出了一种对两种传感器的识别结果进行融合与分析的流程。
[0139]
在利用视觉传感器得到候选目标物体和利用雷达传感器得到候选目标物体后,可以进行目标物体的误检过滤,误检过滤方式可以如表1所示。在误检过滤完成后,可以提取目标物体的几何形状,并基于目标物体的几何形状进行信息决策,做后续的处理。
[0140]
在一些实施例中,可以将视觉传感器识别的候选目标物体和雷达传感器识别的目标物体变换到同一坐标系中,然后再对目标物体进行融合。例如,可以通过雷达传感器与相机的外参标定,将雷达传感器识别的候选目标物体投影到图像坐标系中,进行分析比较。具体的判断方式可以如表1所示。
[0141]
由表1可以看出,在将雷达传感器识别到的目标物体与视觉传感器识别的目标物体变换到同一坐标系中后,如果基于视觉传感器识别到候选目标物体,且基于雷达传感器也识别到候选目标物体,则可以将该候选目标物体确定为真正的目标物体,该置信度较高;如果基于视觉传感器识别到候选目标物体,基于雷达传感器没有识别到候选目标物体,则视觉传感器识别到的候选目标物体可能是由于光照变化导致的视觉误检,并不是真正的目标物体,该置信度较低;如果基于视觉传感器没有识别到候选目标物体,基于雷达传感器识别到候选目标物体,则雷达传感器识别到的候选目标物体可能是公路交通设施,并不是真正的目标物体,该置信度较低;如果基于视觉传感器没有识别到候选目标物体,基于雷达传感器也没有识别到候选目标物体,则可以确定没有目标物体,该置信度较高。
[0142]
表1
[0143][0144]
对于表1中的类别1,在确定存在目标物体的情况下,为了提高识别的准确率,还可以利用人工对目标物体进行筛选,避免存在误检的情况。由于本技术实施例已经对误检的候选目标物体进行了排除,剩余的需要进行人工筛选的目标物体比较少,因此,通过人工筛选也不会对效率产生太大的影响。
[0145]
在一些实施例中,可以进一步确定候选目标物体的尺寸。由于目标物体的尺寸通常不会太大也不会太小,因此,可以基于候选目标物体的尺寸,确定是否存在目标物体。在
第一识别结果和第二识别结果均识别出候选目标物体后,确定该候选目标物体的尺寸;在该候选目标物体的尺寸小于第三预设阈值且大于第四预设阈值的情况下,确定存在目标物体。其中,第三预设阈值大于第四预设阈值。
[0146]
在一些实施例中,在得到目标物体的尺寸后,可以基于目标物体的尺寸进行分类处理。对于不同尺寸的目标物体,可以采用不同的处理措施。例如,对于尺寸较大的目标物体,由于该目标物体对路面交通的影响较大,安全隐患也较大,因此,可以对这类目标物体进行优先处理,如优先上报和优先清除。而对于尺寸较小的目标物体,可以降低其优先级,晚一点上报和清除。
[0147]
确定目标物体尺寸的方式有多种,本技术实施例对此不做具体限定。例如,可以利用雷达传感器采集的点云信息,确定目标物体的尺寸。当然,在一些实施例中,也可以使用视觉传感器采集的图像,确定目标物体的尺寸。
[0148]
为了确定目标物体点云的几何形状,可以提取目标物体点云的最小包围盒。常见的包围盒算法包括aabb包围盒、包围球等。以aabb包围盒为例,本技术实施例可以将利用aabb包围盒算法得到的最小包围盒作为目标物体的尺寸。
[0149]
在一些实施例中,车辆可以将最终的识别结果上报至服务平台,以通过服务平台提醒其他车辆道路上的目标物体情况,以降低事故率。该服务平台可以为车辆所属厂商的服务端,或者也可以为地图app的服务端等。
[0150]
在一些实施例中,本技术实施例中的视觉传感器也可以单独使用,进行目标物体的识别。如通过语义分割算法、图像翻译算法、图像对比等过程进行目标物体的识别,并将识别结果作为最终的识别结果。
[0151]
本技术实施例还提供一种车辆,如图9所示,该车辆900包括针对目标物体的识别系统910,该识别系统910可以为前文描述的任意一种识别系统。
[0152]
上文结合图1至图9,详细描述了本技术的装置实施例,下面结合图10,详细描述本技术的方法实施例。应理解,方法实施例的描述与装置实施例的描述相互对应,因此,未详细描述的部分可以参见前面装置实施例。
[0153]
图10是本技术实施例提供的一种针对目标物体的识别方法,该方法包括步骤s1010~步骤s1050。
[0154]
在步骤s1010,利用视觉传感器获取第一图像,所述第一图像用于表征至少包括路面相关的信息。
[0155]
在步骤s1020,利用雷达传感器获取第一数据,所述第一数据用于表征至少包括路面相关的信息。
[0156]
在步骤s1030,基于所述第一图像,获取所述目标物体的第一识别结果。
[0157]
在步骤s1040,基于所述第一数据,获取所述目标物体的第二识别结果。
[0158]
在步骤s1050,基于所述第一识别结果和所述第二识别结果,判断是否存在所述目标物体。
[0159]
其中,所述目标物体为凸出路面的类别未被识别的有形物体。
[0160]
在一些实施例中,所述基于所述第一图像,获取所述目标物体的第一识别结果,包括:对所述第一图像进行第一图像处理,得到第一图像处理结果,所述第一图像处理结果包含路面的标签信息以及至少一个类别已被识别的物体的标签信息;根据所述路面的标签信
息以及至少一个类别已被识别的物体的标签信息,对所述第一图像处理结果进行第二图像处理,获取第二图像,所述第二图像包括用于表征所述路面自然状态的信息;对所述第一图像进行第三图像处理,获取第三图像,所述第三图像包括用于表征路面真实状态的信息;将所述第二图像与所述第三图像进行对比,获取所述第一识别结果。
[0161]
在一些实施例中,所述第一图像处理为语义分割,所述根据所述路面的标签信息以及至少一个类别已被识别的物体的标签信息,对所述第一图像处理结果进行第二图像处理,获取第二图像,包括:根据所述路面的标签信息以及所述至少一个类别已被识别的物体的标签信息,将所述第一图像处理结果中所述路面所在区域的像素值设置为第一值,以及将所述至少一个类别已被识别的物体所在区域的像素值设置为第二值,以获取第四图像;对所述第四图像进行图像翻译处理,获取所述第二图像。
[0162]
在一些实施例中,所述第一值为1,所述第二值为0,所述对所述第一图像进行第三图像处理,获取第三图像,包括:将所述第四图像中的像素值与所述第一图像中的像素值进行与操作,以获取所述第三图像。
[0163]
在一些实施例中,所述将所述第二图像与所述第三图像进行对比,获取所述第一识别结果,包括:将所述第二图像与所述第三图像进行对比,获取所述第二图像与所述第三图像的差异区域;对所述差异区域进行第四图像处理,得到所述差异区域中至少一个区域的类别信息;根据所述至少一个区域的类别信息,获取所述第一识别结果。
[0164]
在一些实施例中,所述根据所述至少一个区域的类别信息,获取所述第一识别结果,包括:排除所述差异区域中的所述至少一个区域,获取所述第一识别结果。
[0165]
在一些实施例中,所述基于所述第一数据,获取所述目标物体的第二识别结果,包括:对所述第一数据进行第一雷达处理,获取第一雷达处理结果,所述第一雷达处理结果包括用于表征所述路面自然状态的信息;根据所述路面自然状态的信息,获取凸出所述路面的至少一个物体;根据所述至少一个物体,获取所述第二识别结果。
[0166]
在一些实施例中,所述根据所述至少一个物体,获取所述第二识别结果,包括:在所述至少一个物体中,获取类别已被识别的物体;基于所述类别已被识别的物体,获取所述第二识别结果。
[0167]
本技术实施例还提供一种计算机程序产品的示意图。该计算机程序产品可以包括计算机程序/指令,当所述计算机程序/指令被处理器执行时能够实现本技术实施例所述的任意一种方法。
[0168]
本技术实施例还提供一种计算机可读存储介质。该计算机可读存储介质可以包括计算机程序/指令,当所述计算机程序/指令被处理器执行时能够实现本技术实施例所述的任意一种方法。
[0169]
本技术中的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本技术所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备、核心网设备、操作维护管理(operation administration and maintenance,oam)或者其它可编程装置。
[0170]
所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可
读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘;还可以是半导体介质,例如,固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质,或可包括易失性和非易失性两种类型的存储介质。
[0171]
上文所描述的各个方案可以单独实施,也可以相互结合实施,本技术实施例对此不做具体限定。
[0172]
在本技术实施例中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
[0173]
本技术实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
[0174]
在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0175]
在本技术的描述中,需要理解的是,术语“上”、“下”、“左”、“右”等指示方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以及特定的方位构造和操作,因此,不能理解为对本技术的限制。此外,“第一”、“第二”仅由于描述目的,且不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。本技术的描述中,除非另有说明,“多个”的含义是两个或两个以上。
[0176]
在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0177]
以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
技术特征:
1.一种针对目标物体的识别系统,用于车辆,其特征在于,包括:视觉传感器,用于获取第一图像,所述第一图像用于表征至少包括路面相关的信息;雷达传感器,用于获取第一数据,所述第一数据用于表征至少包括路面相关的信息;控制模块,与所述视觉传感器和所述雷达传感器相连,用于执行以下操作:基于所述第一图像,获取所述目标物体的第一识别结果;基于所述第一数据,获取所述目标物体的第二识别结果;基于所述第一识别结果和所述第二识别结果,判断是否存在所述目标物体;其中,所述目标物体为凸出路面的类别未被识别的有形物体。2.根据权利要求1所述的识别系统,其特征在于,所述控制模块具体用于:对所述第一图像进行第一图像处理,得到第一图像处理结果,所述第一图像处理结果包含路面的标签信息以及至少一个类别已被识别的物体的标签信息;根据所述路面的标签信息以及所述至少一个类别已被识别的物体的标签信息,对所述第一图像处理结果进行第二图像处理,获取第二图像,所述第二图像包括用于表征所述路面自然状态的信息;对所述第一图像进行第三图像处理,获取第三图像,所述第三图像包括用于表征路面真实状态的信息;将所述第二图像与所述第三图像进行对比,获取所述第一识别结果。3.根据权利要求2所述的识别系统,其特征在于,所述第一图像处理为语义分割,所述控制模块具体用于:根据所述路面的标签信息以及所述至少一个类别已被识别的物体的标签信息,将所述第一图像处理结果中所述路面所在区域的像素值设置为第一值,以及将所述至少一个类别已被识别的物体所在区域的像素值设置为第二值,以获取第四图像;对所述第四图像进行图像翻译处理,获取所述第二图像。4.根据权利要求3所述的识别系统,其特征在于,所述第一值为1,所述第二值为0,所述控制模块具体用于:将所述第四图像中的像素值与所述第一图像中的像素值进行与操作,以获取所述第三图像。5.根据权利要求2所述的识别系统,其特征在于,所述控制模块具体用于:将所述第二图像与所述第三图像进行对比,获取所述第二图像与所述第三图像的差异区域;对所述差异区域进行第四图像处理,得到所述差异区域中至少一个区域的类别信息;根据所述至少一个区域的类别信息,获取所述第一识别结果。6.根据权利要求5所述的识别系统,其特征在于,所述控制模块具体用于:排除所述差异区域中的所述至少一个区域,获取所述第一识别结果。7.根据权利要求1所述的识别系统,其特征在于,所述控制模块具体用于:对所述第一数据进行第一雷达处理,获取第一雷达处理结果,所述第一雷达处理结果包括用于表征所述路面自然状态的信息;根据所述路面自然状态的信息,获取凸出所述路面的至少一个物体;根据所述至少一个物体,获取所述第二识别结果。
8.根据权利要求7所述的识别系统,其特征在于,所述控制模块具体用于:在所述至少一个物体中,获取类别已被识别的物体;基于所述类别已被识别的物体,获取所述第二识别结果。9.一种车辆,其特征在于,包括如权利要求1-8中任一项所述的识别系统。10.一种针对目标物体的识别方法,其特征在于,包括:利用视觉传感器获取第一图像,所述第一图像用于表征至少包括路面相关的信息;利用雷达传感器获取第一数据,所述第一数据用于表征至少包括路面相关的信息;基于所述第一图像,获取所述目标物体的第一识别结果;基于所述第一数据,获取所述目标物体的第二识别结果;基于所述第一识别结果和所述第二识别结果,判断是否存在所述目标物体;其中,所述目标物体为凸出路面的类别未被识别的有形物体。11.一种计算机可读存储介质,其特征在于,包括:计算机程序/指令,当所述计算机程序/指令被处理器执行时实现如权利要求10所述的方法。
技术总结
本申请提供了一种针对目标物体的识别系统、识别方法、车辆和存储介质,有利于提高目标物体的识别效率和/或准确率。该识别系统包括:视觉传感器,用于获取第一图像,所述第一图像用于表征至少包括路面相关的信息;雷达传感器,用于获取第一数据,所述第一数据用于表征至少包括路面相关的信息;控制模块,与所述视觉传感器和所述雷达传感器相连,用于执行以下操作:基于所述第一图像,获取所述目标物体的第一识别结果;基于所述第一数据,获取所述目标物体的第二识别结果;基于所述第一识别结果和所述第二识别结果,判断是否存在所述目标物体;其中,所述目标物体为凸出路面的类别未被识别的有形物体。识别的有形物体。识别的有形物体。
技术研发人员:廖武
受保护的技术使用者:北京集度科技有限公司
技术研发日:2023.05.08
技术公布日:2023/8/14
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/