道路通行性确定方法、装置和系统与流程

1.本技术涉及智能驾驶技术领域，尤其涉及一种道路通行性确定方法、装置和系统。


背景技术：

2.相关技术中，通过车辆的中控大屏显示车辆周围的全景影像，然而这种方式下的全景影像无法令驾驶者针对车辆外障碍物与车辆之间的实际距离进行直观的理解。


技术实现要素：

3.基于以上问题，本技术实施例提供了一种道路通行性确定方法、装置和系统。
4.本技术实施例提供的技术方案是这样的：
5.本技术实施例首先提供了一种道路通行性确定方法，所述方法包括：
6.控制显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。
7.本技术实施例还提供了一种道路通行性确定装置，所述装置包括：
8.第一控制模块，用于控制所述显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；第二控制模块，用于基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；第一确定模块，用于基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；第二确定模块，用于基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。
9.本技术还提供了一种道路通行性确定系统，所述系统包括：
10.显示组件和第一控制器，其中，所述第一控制器，用于控制所述显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；所述第一控制器，还用于基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；所述第一控制器，还用于基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；所述第一控制器，还用于基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。
11.本技术提供的道路通行性确定方法，全景影像中可显示车辆周围障碍物与车辆壳体之间的距离，从而可使驾驶员在能够看到周围环境的同时，也能够观察到障碍物的实际距离。便于用户观察用车环境，对车外障碍物的实际距离有更直观的理解。
附图说明
12.图1为本技术实施例一种道路通行性确定方法的流程示意图；
13.图2为本技术实施例一种道路通行性确定系统的组成结构示意图；
14.图3为本技术实施例一种基于传感器融合的全景影像系统的示意图；
15.图4为本技术实施例一种全景影像的显示方法示意图；
16.图5为本技术实施例一种通行性确定方法示意图；
17.图6为本技术实施例另一种通行性确定方法示意图；
18.图7为本技术实施例一种道路通行性确定装置的组成结构示意图；
19.图8为本技术实施例一种电子设备的结构示意图。
具体实施方式
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
21.图1为本技术实施例一种道路通行性确定方法的流程示意图，如图1所示，所述方法包括以下步骤：
22.步骤102：控制显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；
23.其中，所述显示组件可以是所述车辆的中控屏，所述全景影像可以是车辆四周360度全景融合、超宽视角、无缝拼接的适时图像信息，可以汽车驾驶员了解车辆周边视线盲区以及障碍物，观察用车环境，实时地针对车辆操作进行干预，帮助汽车驾驶员更为直观、更为安全地行驶车辆或泊车；由所述中控屏对所述全景影像进行实时显示；所述障碍物可以是行人、动物、车辆、路沿石等；不同类别的障碍物可以以不同的颜色进行区别显示，例如可以以红色表示障碍物为行人、橙色表示障碍物为动物、黄色表示障碍物为车辆、灰色表示障碍物为路沿石等；在显示车辆周围的障碍物与车辆之间的距离时，可以只显示每一障碍物与车辆之间的最短距离，使得用户更简洁、直观地观察到障碍物与车辆之间的距离。
24.步骤104：基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；
25.其中，所述障碍物所在的区域为有障碍物区域，即车辆的不可通行区域，可以基于全景影像中障碍物的位置和障碍物与车辆之间的距离，计算除去障碍物后，车辆周围的空白区域，即车辆的可通行区域(又可以称为无障碍物区域)，在所述全景影像中，可以只显示车辆的可通行区域，也可以区分显示所述车辆的可通行区域和不可通行区域。
26.步骤106：基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；
27.其中，所述车身信息可以包括所述车辆的长、宽和高等信息；所述行驶状态可以包括车辆的行驶方向和行驶速度等；所述行驶空间可以是基于所述车辆的车身信息和行驶状态，预测出的所述车辆在未来的行驶过程中所占用的空间区域。
28.步骤108：基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。
29.其中，可以将确定出的可通行区域和预测出的车辆的预测行驶空间进行比对，判断所述预测行驶空间是否落入可通行区域，以判断所述可通行区域是否可供所述车辆通行；在一个实施例中，还可以控制显示组件显示所述预测行驶空间，使用户更直观地看到可通行区域和预测行驶空间之间的差异，由用户进行通行性判定，及时调整车辆的行驶状态。
30.本技术实施例中，全景影像中可显示车辆周围障碍物与车辆壳体之间的距离，从而可使驾驶员在能够看到周围环境的同时，也能够观察到障碍物的实际距离。便于用户观察用车环境，对车外障碍物的实际距离有更直观的理解。
31.在一些实施例中，在步骤102“控制显示组件显示车辆周围的全景影像”之前，所述方法还包括：
32.步骤1011：将图像采集组件和距离传感组件的坐标系转换为整车坐标系；
33.其中，可以在车辆中轴前方、后方以及左右两侧分别安装一组(总共四组)图像采集组件和距离传感组件；所述图像采集组件可以包括摄像头、摄像机、相机、其他带有拍照功能的设备等；所述距离传感组件可以包括激光雷达、毫米波雷达、超声波雷达等；在一个实施例中，摄像头与激光雷达可通过识别特定物体(又称参考物体)进行位置标定，利用标定功能，将摄像头与激光雷达的坐标系统一在车辆的整车坐标系中。
34.步骤1012：获取所述距离传感组件采集的所述车辆所处环境的点云信息；
35.其中，通过距离传感组件扫描物体表面可以产生该物体的点云数据，点云信息又称点云数据，可以是指在一个三维坐标系统中获取物体表面每个采样点的空间坐标形成的点的集合，所述点云信息包括障碍物距离所述车辆的距离和/或方位，需要说明的是，点云信息除了包含三维坐标数据之外，还可以包括颜色信息、分类值、激光反射强度值、时间信息等。
36.在一个实施例中，可以结合基于激光雷达、毫米波雷达或超声波雷达监测的实时距离，反馈所述车辆实时的最近端障碍物的距离；需要说明的是，关于障碍物的距离感知利用激光雷达但不限于毫米波雷达、基于视觉算法识别出的障碍物距离。
37.步骤1013：获取所述图像采集组件采集的所述车辆周围的图像信息；
38.其中，所述图像信息可以用于将周围的障碍物与地面进行环境的刻画；可以通过车辆前方、后方以及左右两侧的图像采集组件对实时画面进行采集，对采集到的不同方位的实时画面进行球形拼接形成车辆的全景影像。
39.步骤1014：基于所述点云信息，生成所述障碍物的距离网格；
40.其中，可以将距离传感组件所感知的障碍物的点云信息拼接环视距离，形成网格分布形式的障碍物的距离(即距离网格)。
41.步骤1015：对所述图像信息进行识别，得到所述障碍物的识别结果；
42.其中，可以对所采集的图像信息进行环境感知识别，识别出的环境内容可以包括但不限于行人、动物、车辆、道路、路沿石、车道线、道路设施等，可以从环境内容中确定出障碍物，以及障碍物对应的类别。
43.步骤1016：基于所述整车坐标系、所述距离网格、所述识别结果，生成所述车辆周围的全景影像。
44.其中，可利用所采集的全景图像(又称全景影像)、整车坐标系、距离网格，将接收到的信息整合显示在全景影像的显示屏上，以显示包含障碍物和障碍物与车辆之间距离的全景影响。
45.全景影像通过车辆前方、后方以及左右两侧的摄像头对实时画面进行采集，利用球形拼接形成，车辆的全方位影像，便于用户观察用车环境，并能实时的针对车辆操作进行干预。
46.本技术实施例中，利用车辆上图像采集组件的图像感知能力，辅助距离传感组件的障碍物识别能力；可以依靠车载ecu(electroniccontrol unit，电子控制单元)的算法融合，提供一种可显示周围障碍物距离车辆壳体的全景影像，可使驾驶员能够看到周围环境
的同时，也能够直观地观察到障碍物的实际距离，提升用户驾车安全性，更好地通过当前道路。
47.在一些实施例中，步骤1014“基于所述点云信息，生成所述障碍物的距离网格”，包括：
48.步骤10141：将所述点云信息由rgb颜色空间转换为hsv颜色空间；
49.步骤10142：基于所述hsv颜色空间的点云信息，生成所述障碍物的距离网格。
50.其中，rgb(red green yellow，红绿蓝)颜色空间是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色；hsv(hue saturation value，色度饱和度亮度)颜色空间是指h、s、v三维颜色空间中的一个可见光子集，它包含某个颜色域的所有颜色；rgb和hsv都可以用来表示不同颜色，并且可以相互转换；hsv中可以用一个h值变化用以切换不同颜色，但是在rgb中必须三个值变化才可以切换颜色。
51.假设用绿色的条块表示没有障碍物的地面，将点云信息的颜色空间由rgb颜色空间转换为hsv颜色空间，便于分离出绿色的条块，采用去噪和高斯模糊算法,过滤噪点和小目标；采用边缘算法，可以计算出色块的矩形区域；通过矩形区域的区分，可以刻画出车辆周围环境的通行空间(即可通行区域)，同时获取到三维空间内，障碍物之间的最小宽度，将所述最小宽度经过与车身数据的比对，可以判断车辆行进方向上的通行空间能否通行。
52.本技术实施例中，通过将点云信息切换至hsv颜色空间，可以更好
53.更直观地刻画出车辆周围环境的可通行区域。
54.在一些实施例中，所述行驶状态包括车辆的档位和转向角度；
55.步骤106“基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间”，包括：
56.步骤1061：获取第二控制器发送的所述车辆的档位和转向角度；
57.其中，所述第二控制器可以是车辆控制器，所述档位可以是d档(前进档)或r档(倒车档)。
58.步骤1062：基于所述车辆的档位和转向角度，确定所述车辆的预测行驶轨迹；
59.其中，可以根据接收到的车辆控制器档位信号，判断车辆的行驶方向是前进还是后退；可以结合车辆的行驶方向和转向角度，确定车辆的预测行驶轨迹；每当转向角度或档位发生变化时，预测行驶轨迹会跟随进行变化。
60.步骤1063：基于所述车辆的车身信息和所述预测行驶轨迹，确定所述车辆的预测行驶空间。
61.其中，可通过整车实际数据录入进行整车模型的构建，确认整车长度、宽度、高度。通过与图像采集组件和距离传感组件的原点标定，将整车模型输入到由图像采集组件和距离传感组件构建的环境模型中。
62.可以通过获取的整车模型，利用边缘算法获取车辆在正视图中的长宽高的边缘点；结合环境模型的坐标系，将车辆正视图的边缘点的每一个边缘点进行行驶轨迹预测，这些边缘点的预测行驶轨迹结合起来可形成所述车辆的三维的预测行驶空间。
63.本技术实施例中，通过基于车辆的方位和转向角度，确定车辆的预测行驶轨迹，在基于车辆的车身信息和预测行驶轨迹，确定车辆的预测行驶空间，从而能够更准确地预测车辆的行驶空间。
64.在一些实施例中，步骤108“基于所述可通行区域和所述预测行驶空间，确定通行性判定结果”包括：
65.步骤1081：在所述可通行区域和所述预测行驶空间不存在空间干涉的情况下，确定通行性判定结果为可通行；
66.步骤1082：在所述可通行区域和所述预测行驶空间存在空间干涉的情况下，确定通行性判定结果为不可通行；
67.其中，在预测行驶空间全部落入可通行区域的情况下，可认为所述可通行区域和所述预测行驶空间不存在空间干涉，此时车辆可以从所述可通行区域通行，通行性判定结果为可通行；在所述预测行驶空间部分或全部没有落入可通行区域的情况下，即所述预测行驶空间部分或全部落入了不可通行区域，可认为所述可通行区域和所述预测行驶空间存在空间干涉，此时车辆不可以从所述可通行区域通行，通行性判断结果为不可通行。
68.所述方法还包括：
69.步骤110：基于所述通行性判定结果，确定决策方式，所述决策方式包括提示方式。
70.其中，可利用车辆为原点建立的坐标系，结合整车模型、可通行区域、预测行驶空间计算出基于当前车辆状态的行驶行为是否全程在无障碍物区域内行驶，并将判断出能否在无障碍物区域内通行的通行性判定结果输出为可通行或不可通行，在所述通信性判定结果为不可通行的情况下，可以提示用户调整车辆的整车姿态，以通过所述可通行区域。
71.本技术实施例中，可以根据通行性判定结果，确定决策方式，从而可以针对可通行和不可通行，采用不同的处理策略提示驾驶员，使驾驶员更直观地了解到是否可通行，进而更自如地通过所述可通行区域。
72.在一些实施例中，步骤110“基于所述通行性判定结果，确定决策方式”，包括：
73.步骤1101：在所述通行性判定结果为可通行的情况下，控制所述显示组件输出第一颜色标志，以提示驾驶员基于所述行驶状态通过所述可通行区域；
74.其中，所述第一颜色标志可以是绿色标志、蓝色标志等。
75.步骤1102：在所述通行性判定结果为不可通行的情况下，控制所述显示组件输出第二颜色标志，以提示所述驾驶员调整所述行驶状态。
76.其中，所述第二颜色标志可以是红色标志、橙色标志等，可根据车辆的转向角度和档位的变化，控制显示组件实时显示预测行驶空间的变化，保持显示输出，在驾驶员调整驾驶状态后，可以基于调整后的行驶状态，继续确定通行性判定结果，并基于所述通行性判定结果，再次确定决策方式；在一个实施例中，可依据车辆行驶方向与转向预测行驶轨迹，通过颜色提示驾驶员是否可继续依据现在的转向角度继续通行行驶，在实际可通过的情况下进行绿色提示，无法通过的情况下进行红色提示。
77.本技术实施例中，可以针对可通行和不可通行，采用不同颜色的标志提示驾驶员，进一步使驾驶员更直观地了解到是否可通行，更自如地通过所述可通行区域。
78.在一些实施例中，所述方法还包括：
79.步骤1104：在所述通行性判定结果为不可通行的情况下，在所述距离变为小于第一预设距离，且大于第二预设距离时，控制所述显示组件输出第一提示信息，以提示所述驾驶员小心驾驶；
80.步骤1105：在所述距离变为小于或等于第二预设距离时，停止所述车辆的动力输
出，并控制所述显示组件输出第二提示信息，以提示所述驾驶员无法安全通行；
81.其中，其中，所述第一预设距离又称提醒距离，所述第二预设距离又称安全距离；所述第二预设距离小于所述第一预设距离，所述第二提示信息的提示强度大于所述第一提示信息的提示强度，提示信息包括声音提示、画面提示和震动提示中至少之一。
82.其中，可在车辆行驶过程中，实时显示全景影像和障碍物距离的变化在显示组件；在检测到车辆与周围障碍物之间的距离小于设定的提醒距离，且大于设定的安全距离时通过声音报警、画在检测到车辆与周围障碍物之间的距离小于或等于设定的安全距离时，停止车辆动力输出，并通过声音报警、画面提示或硬件震动提醒驾驶员距离已无法安全通行；所述提示信息还可以是颜色提示方式，不限于语音、文字标识等提示方式。
83.本技术实施例中，在车辆与障碍物之间的距离小于第一预设距离，且大于第二预设距离时，可以仅输出提示信息，在距离小于第二距离时，不仅输出提示信息，而且停止车辆的动力输出，且提示信息的提示强度也增大，从而可以进一步提高车辆行驶安全性。
84.在一些实施例中，步骤102中“显示车辆周围的全景影像”，包括：
85.在所述距离小于第三预设距离的情况下，控制显示组件显示车辆周围的全景影像，所述第三预设距离大于所述第一预设距离。
86.其中，可以在车辆与障碍物之间的距离小于第三预设距离的情况下，激发显示组件显示包含障碍物及车辆与障碍物之间距离的全景影像。
87.本技术实施例中，在距离小于第三预设距离时，再显示全景影像，从而可以在距离较远时，避免用户看到全景影像时误以为障碍物距离车辆很近而产生恐慌，还可以节约资源。
88.随着技术的发展与使用，相关技术中，全景影像只通过中控大屏显示车辆周围的画面，同时利用毫米波雷达进行距离区间的测定；两者共同进行障碍物以及距离的提示，此种方式下的全景影像无法令驾驶者针对车外的实际距离进行直观的理解；同时，此种方式利用区间进行的距离提示，提示方式简单粗暴、且不便于理解，特别在车辆较多、通行区域较窄的道路上，非但不能起到提示作用，还会使驾驶者因为短促的提示音造成紧张，导致停车无法通过能行驶的通行区域。
89.相关技术中的车辆全景影像无法精准的告知用户距离障碍物的准确距离，结合目前智能驾驶技术的发展，车载激光雷达、摄像头都可具备障碍物感知以及距离感应的功能。
90.本技术实施例提出一种基于传感器融合的全景影像系统，所述全景影像系统又可以称为道路通行性确定系统；所述全景影像系统利用车辆上摄像头的图像感知能力，辅助激光雷达的障碍物识别能力。依靠车载ecu(electroniccontrol unit，电子控制单元)的算法融合，提供一种可显示周围障碍物距离车辆壳体的全景影像，可使驾驶员能够看到周围环境的同时，也能够观察到障碍物的实际距离。
91.本技术实施例中，利用整车系统获取环境点云信息、图像信息；图像信息用于将周围的障碍物与地面进行环境的刻画，采用颜色空间转换为hsv的颜色空间，便于分离出绿色的条块，采用去噪和高斯模糊算法,过滤噪点和小目标；采用边缘算法,计算出色块的矩形区域；通过矩形区域的区分，可以刻画出车辆周围环境的通行空间，同时获取到三维空间内，障碍物之间的最小宽度；经过与车身数据的比对，判断车辆行进方向上的通行空间能否通行；结合基于激光雷达、毫米波雷达、超声波雷达的实时距离监测，可以反馈车辆实时的
最近端障碍物的距离；在实际可通过的情况下可进行绿色提示，无法通过进行红色提示。
92.图2为本技术实施例一种道路通行性确定系统的组成结构示意图，如图2所示，所述系统200包括：
93.显示组件21，用于控制显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；
94.所述显示组件21，还用于基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；
95.第一控制器22，用于基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；
96.所述第一控制器22，用于基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。
97.在一些实施例中，所述系统还包括图像采集组件23和距离传感组件24，
98.所述第一控制器22，还用于将图像采集组件23和距离传感组件24的坐标系转换为整车坐标系；获取所述距离传感组件24采集的所述车辆所处环境的点云信息；获取所述图像采集组件23采集的所述车辆周围的图像信息；基于所述点云信息，生成所述障碍物的距离网格；对所述图像信息进行识别，得到所述障碍物的识别结果；基于所述整车坐标系、所述距离网格、所述识别结果，生成所述车辆周围的全景影像。
99.在一些实施例中，所述第一控制器22，用于将所述点云信息由rgb颜色空间转换为hsv颜色空间；基于所述hsv颜色空间的点云信息，生成所述障碍物的距离网格。
100.在一些实施例中，所述行驶状态包括车辆的档位和转向角度；所述系统还包括：第二控制器25；所述第一控制器22，用于获取第二控制器25发送的所述车辆的档位和转向角度；基于所述车辆的档位和转向角度，确定所述车辆的预测行驶轨迹；基于所述车辆的车身信息和所述预测行驶轨迹，确定所述车辆的预测行驶空间。
101.在一些实施例中，所述第一控制器22，用于在所述可通行区域和所述预测行驶空间不存在空间干涉的情况下，确定通行性判定结果为可通行；在所述可通行区域和所述预测行驶空间存在空间干涉的情况下，确定通行性判定结果为不可通行；基于所述通行性判定结果，确定决策方式，所述决策方式包括提示方式。
102.在一些实施例中，所述第一控制器22，用于在所述通行性判定结果为可通行的情况下，控制所述显示组件输出第一颜色标志，以提示驾驶员基于所述行驶状态通过所述可通行区域；在所述通行性判定结果为不可通行的情况下，控制所述显示组件输出第二颜色标志，以提示所述驾驶员调整所述行驶状态后通过所述可通行区域；在所述通行性判定结果为不可通行的情况下，控制所述显示组件输出第三颜色标志，以提示所述驾驶员所述可通行区域无法通行。
103.在一些实施例中，所述第一控制器22，还用于在所述通行性判定结果为不可通行的情况下，在所述距离变为小于第一预设距离，且大于第二预设距离时，控制所述显示组件输出第一提示信息，以提示所述驾驶员小心驾驶；在所述距离变为小于或等于第二预设距离时，停止所述车辆的动力输出，并控制所述显示组件输出第二提示信息，以提示所述驾驶员无法安全通行；其中，所述第二预设距离小于所述第一预设距离，所述第二提示信息的提示强度大于所述第一提示信息的提示强度，提示信息包括声音提示、画面提示和震动提示
中至少之一。
104.在一些实施例中，所述第一控制器22，用于在所述距离小于第三预设距离的情况下，控制显示组件显示车辆周围的全景影像，所述第三预设距离大于所述第一预设距离。
105.图3为本技术实施例一种基于传感器融合的全景影像系统的示意图，如图3所示，所述全景影像系统包括融合传感器31、融合感知控制器32、全景影像显示屏33、车辆控制器34和车控系统35；其中：
106.所述融合传感器31可以包括多组图像采集组件和距离传感组件，例如可以包括位于车辆中轴前方、后方以及左右两侧的4组(摄像头+激光雷达)的融合传感器；所述融合感知控制器32又称第一控制器，所述全景影像显示屏33又称显示组件，所述车辆控制器34又称第二控制器；全景影像系统的各组件之间可以通过车载网络连接，通讯方式包括但不限于以太网通讯、can(controller area network，控制器局域网络)通讯和lin(local interconnect network，区域互连网络)通信等。
107.其信息传递包括：融合感知控制器32与全景影像显示屏33之间的显示信息：全景图像、障碍物的类别信息、障碍物的距离信息、车辆可通过性以及车辆的预测行驶轨迹；融合感知控制器32与融合传感器31之间的感知信息：摄像头图像数据、激光雷达点云数据；融合感知控制器32与车辆控制器34之间的车辆信息：车辆转向角、车速、档位等。
108.摄像头与激光雷达可通过识别特定物体进行位置标定，利用标定功能，将摄像头与激光雷达的坐标系统一在整车坐标系中。
109.车控系统35可依据设定最小距离激发全景影像利用显示障碍物图像，可利用颜色区分障碍物类别。
110.车控系统35可将距离传感组件所感知的障碍物点云拼接环视距离，形成的障碍物距离以网格分布的形式传输给融合感知传感器32。
111.车控系统35可利用摄像头对周围的视觉数据进行采集，并利用融合感知传感器32对所采集的视觉图像进行环境感知识别，其内容包括但不限于行人、动物、车辆、道路、路沿石、车道线、道路设施等。
112.融合感知传感器32可利用所采集的距离网格、视觉图像、整车标定坐标系将接收到的信息整合显示在全景影像显示屏33上，可以仅显示所识别障碍物的最近距离。
113.融合感知传感器32可结合整合信息计算除去障碍物后，车辆周围的空白区域，即车辆的可通行区域。
114.车控系统35可根据接收到的车辆控制器34的档位信号，可判断车辆的行驶方向；结合车辆的转向角度数据；依据整车的动态模型预测出，基于当前时刻的行驶轨迹；每当转向或档位发生变化时，预测行驶轨迹会跟随进行变化。
115.车控系统35可结合感知到的车辆周围环境障碍物的信息计算出基于车辆当前位置的周围无障碍物区域、有障碍区域。并在系统中区分出来，并显示在全景影像显示器33上，所提到的无障碍物区域即为可通行区域。
116.车控系统35可通过整车实际数据录入进行整车模型的构建，确认整车长度、宽度、高度；通过与传感器的原点标定，将整车模型输入到由摄像头和激光雷达构建的环境模型中。
117.车控系统35可通过获取的整车模型，利用边缘算法获取整车在正视图中的长宽高
的边缘点；结合环境模型的坐标系。将车辆正视图的边缘点的每一个边缘点进行行驶轨迹预测，这些边缘点的行驶轨迹结合起来可形成三维的行驶空间。
118.车控系统35可利用车辆为原点建立的坐标系，结合整车模型、可通行区域、预测的行驶空间计算出基于当前车辆状态的行驶行为是否全程在无障碍物区域内行驶，并将判断出能否在无障碍物区域内通行的结果输出为：可通行/不可通行。
119.车控系统35可依据车辆行驶方向与转向预测行驶轨迹，通过颜色提示驾驶员是否可继续依据现在的转向角度继续通行行驶；可通行区域预测可根据车辆的转向变化，显示内容的变化。
120.车控系统35可在车辆行驶过程中，显示障碍物距离的变化在全景影像显示器33上。在距离小于设定的提醒距离时通过声音报警、画面提示或硬件震动提醒驾驶员距离过窄，请小心驾驶。
121.车控系统35在检测到车辆与周围障碍物之间距离小于设定的安全距离时，停止车辆动力输出，并通过声音报警、画面提示或硬件震动提醒驾驶员距离已无法安全通行。
122.图4为本技术实施例一种全景影像的显示方法示意图，如图4所示，所述方法包括以下步骤：
123.步骤401：是否触发全景影像；若是，则执行步骤402，若否，则执行步骤409；
124.步骤402：显示车辆周围的全景影像及障碍物距离；
125.步骤403：车辆是否在d/r档；若是，则执行步骤404，若否，则执行步骤401；
126.步骤404：根据转向角度预测车辆行驶轨迹；
127.步骤405：显示车辆可通行区域；
128.步骤406：障碍物距离是否小于设定值；若是，则执行步骤407，若否，则执行步骤408；
129.步骤407：提醒驾驶员；
130.步骤408：实时更新距离值与图像；
131.步骤409：是否退出全景显示；若否，则执行步骤406，若是，则执行步骤410；
132.步骤410：结束。
133.基于传感器融合的全景影像系统，可提供一种可显示周围障碍物距离车辆壳体的全景影像。可使驾驶员能够看到周围环境的同时，也能够观察到障碍物的实际距离，以及利用车辆转向、挡位进行的可通行区域预测。
134.车端各控制器利用can/lin进行信息通讯，但不限于与集中式的网络通讯。
135.关于障碍物的距离感知利用激光雷达但不限于毫米波雷达、基于视觉算法识别出的障碍物距离。
136.基于整车转向、挡位预测的可通行区域，可利用颜色提醒，但不限于语音、文字标识等提醒方式。
137.图5为本技术实施例一种通行性确定方法示意图，如图5所示，所述方法包括以下步骤：
138.步骤501：获取转向角度、档位、障碍物等信息；
139.步骤502：依据转向角度、档位进行整车动态轨迹预测；
140.步骤503：依据感知信息计算无障碍区域信息；
141.步骤504：判断当前时刻是否可通行；若是，则执行步骤505；若否，则执行步骤506；
142.步骤505：全景显示可通行；
143.步骤506：全景显示不可通行；
144.步骤507：转向角度是否发生变化；若是，则执行步骤504；若否，则执行步骤508；
145.步骤508：保持显示输出。
146.图6为本技术实施例另一种通行性确定方法示意图，如图6所示，所述方法包括以下步骤：
147.步骤601：摄像头或激光雷达数据采集；
148.步骤602：构建环境模型；
149.步骤603：构建整车模型；
150.步骤604：整车模型导入环境模型；
151.步骤605：进行整车正视图边缘点计算；
152.步骤606：边缘点行驶轨迹预测；
153.步骤607：构建三维整车行驶空间预测；
154.步骤608：行驶空间与环境模型交叉比对；
155.步骤609：判断是否存在空间干涉；若否，则执行步骤610；若是，则执行步骤611；
156.步骤610：可通行；
157.步骤611：不可通行；
158.步骤612：提示用户调整整车姿态。
159.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的道路通行性确定方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、台式机、个人数字助理、导航仪、数字电话、视频电话、电视机、传感设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
160.图7为本技术实施例一种道路通行性确定装置的组成结构示意图，如图7所示，所述装置700包括：第一控制模块701、第二控制模块702、第一确定模块703和第二确定模块704，其中：
161.第一控制模块701，用于控制显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；
162.第二控制模块702，用于基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；
163.第一确定模块703，用于基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；
164.第二确定模块704，用于基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。
165.在一些实施例中，所述装置还包括：转换模块，用于将图像采集组件和距离传感组
件的坐标系转换为整车坐标系；第一获取模块，用于获取所述距离传感组件采集的所述车辆所处环境的点云信息；第二获取模块，用于获取所述图像采集组件采集的所述车辆周围的图像信息；第一生成模块，用于基于所述点云信息，生成所述障碍物的距离网格；识别模块，用于对所述图像信息进行识别，得到所述障碍物的识别结果；第二生成模块，用于基于所述整车坐标系、所述距离网格、所述识别结果，生成所述车辆周围的全景影像。
166.在一些实施例中，所述第一生成模块，包括：转换子模块，用于将所述点云信息由rgb颜色空间转换为hsv颜色空间；生成子模块，用于基于所述hsv颜色空间的点云信息，生成所述障碍物的距离网格。
167.在一些实施例中，所述行驶状态包括车辆的档位和转向角度；所述第一确定模块703，包括：获取子模块，用于获取第二控制器发送的所述车辆的档位和转向角度；第一确定子模块，用于基于所述车辆的档位和转向角度，确定所述车辆的预测行驶轨迹；第二确定子模块，用于基于所述车辆的车身信息和所述预测行驶轨迹，确定所述车辆的预测行驶空间。
168.在一些实施例中，所述第二确定模块704，包括：第三确定子模块，用于在所述可通行区域和所述预测行驶空间不存在空间干涉的情况下，确定通行性判定结果为可通行；第四确定子模块，用于在所述可通行区域和所述预测行驶空间存在空间干涉的情况下，确定通行性判定结果为不可通行；所述装置还包括：第三确定模块，用于基于所述通行性判定结果，确定决策方式，所述决策方式包括提示方式。
169.在一些实施例中，所述第三确定模块，包括：第一输出子模块，用于在所述通行性判定结果为可通行的情况下，控制所述显示组件输出第一颜色标志，以提示驾驶员基于所述行驶状态通过所述可通行区域；第二输出子模块，用于在所述通行性判定结果为不可通行的情况下，控制所述显示组件输出第二颜色标志，以提示所述驾驶员调整所述行驶状态。
170.在一些实施例中，所述第三确定模块，还包括：第四输出子模块，用于在所述通行性判定结果为不可通行的情况下，在所述距离变为小于第一预设距离，且大于第二预设距离时，控制所述显示组件输出第一提示信息，以提示所述驾驶员小心驾驶；第五输出子模块，用于在所述距离变为小于或等于第二预设距离时，停止所述车辆的动力输出，并控制所述显示组件输出第二提示信息，以提示所述驾驶员无法安全通行；其中，所述第二预设距离小于所述第一预设距离，所述第二提示信息的提示强度大于所述第一提示信息的提示强度，提示信息包括声音提示、画面提示和震动提示中至少之一。
171.在一些实施例中，所述第一控制模块701，包括：显示子模块，用于在所述距离小于第三预设距离的情况下，控制显示组件显示车辆周围的全景影像，所述第三预设距离大于所述第一预设距离。
172.以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
173.基于前述实施例，本技术实施例还提供了一种电子设备，图8为本技术实施例一种电子设备的结构示意图，如图8所示，该设备800的硬件实体包括：存储器801和处理器802，所述存储器801存储有可在处理器802上运行的计算机程序，所述处理器802执行所述程序时实现上述实施例中道路通行性确定方法中的步骤。
174.存储器801配置为存储由处理器802可执行的指令和应用，还可以缓存待处理器
802以及设备800中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
175.基于前述实施例，本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被电子设备的处理器执行时，能够实现如前任一实施例提供的道路通行性确定方法。
176.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
177.本技术所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
178.本技术所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
179.本技术所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
180.需要说明的是，上述计算机可读存储介质可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
181.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
182.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
183.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件节点的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所描述的方法。
184.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
185.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
186.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
187.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种道路通行性确定方法，其特征在于，所述方法包括：控制显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。2.根据权利要求1所述的方法，其特征在于，在所述控制显示组件显示车辆周围的全景影像之前，所述方法还包括：将图像采集组件和距离传感组件的坐标系转换为整车坐标系；获取所述距离传感组件采集的所述车辆所处环境的点云信息；获取所述图像采集组件采集的所述车辆周围的图像信息；基于所述点云信息，生成所述障碍物的距离网格；对所述图像信息进行识别，得到所述障碍物的识别结果；基于所述整车坐标系、所述距离网格、所述识别结果，生成所述车辆周围的全景影像。3.根据权利要求2所述的方法，其特征在于，所述基于所述点云信息，生成所述障碍物的距离网格，包括：将所述点云信息由rgb颜色空间转换为hsv颜色空间；基于所述hsv颜色空间的点云信息，生成所述障碍物的距离网格。4.根据权利要求1所述的方法，其特征在于，所述行驶状态包括车辆的档位和转向角度；所述基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间，包括：获取第二控制器发送的所述车辆的档位和转向角度；基于所述车辆的档位和转向角度，确定所述车辆的预测行驶轨迹；基于所述车辆的车身信息和所述预测行驶轨迹，确定所述车辆的预测行驶空间。5.根据权利要求1所述的方法，其特征在于，所述基于所述可通行区域和所述预测行驶空间，确定通行性判定结果，包括：在所述可通行区域和所述预测行驶空间不存在空间干涉的情况下，确定通行性判定结果为可通行；在所述可通行区域和所述预测行驶空间存在空间干涉的情况下，确定通行性判定结果为不可通行；所述方法还包括：基于所述通行性判定结果，确定决策方式，所述决策方式包括提示方式。6.根据权利要求5所述的方法，所述基于所述通行性判定结果，确定决策方式，包括：在所述通行性判定结果为可通行的情况下，控制所述显示组件输出第一颜色标志，以提示驾驶员基于所述行驶状态通过所述可通行区域；在所述通行性判定结果为不可通行的情况下，控制所述显示组件输出第二颜色标志，以提示所述驾驶员调整所述行驶状态。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：在所述通行性判定结果为不可通行的情况下，在所述距离变为小于第一预设距离，且
大于第二预设距离时，控制所述显示组件输出第一提示信息，以提示所述驾驶员小心驾驶；在所述距离变为小于或等于第二预设距离时，停止所述车辆的动力输出，并控制所述显示组件输出第二提示信息，以提示所述驾驶员无法安全通行；其中，所述第二预设距离小于所述第一预设距离，所述第二提示信息的提示强度大于所述第一提示信息的提示强度，提示信息包括声音提示、画面提示和震动提示中至少之一。8.根据权利要求7所述的方法，其特征在于，所述控制显示组件显示车辆周围的全景影像，包括：在所述距离小于第三预设距离的情况下，控制显示组件显示车辆周围的全景影像，所述第三预设距离大于所述第一预设距离。9.一种道路通行性确定装置，其特征在于，所述装置包括：第一控制模块，用于控制显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；第二控制模块，用于基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；第一确定模块，用于基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；第二确定模块，用于基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。10.一种道路通行性确定系统，其特征在于，所述系统包括：显示组件和第一控制器，其中，所述第一控制器，用于控制所述显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；所述第一控制器，还用于基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；所述第一控制器，还用于基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；所述第一控制器，还用于基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。

技术总结
本申请公开了一种道路通行性确定方法、装置和系统；所述方法包括：控制显示组件显示车辆周围的全景影像，所述全景影像中包括所述车辆周围的障碍物以及所述障碍物与所述车辆之间的距离；基于所述障碍物和所述距离，控制所述显示组件显示所述车辆的可通行区域；基于所述车辆的车身信息和行驶状态，确定所述车辆的预测行驶空间；基于所述可通行区域和所述预测行驶空间，确定通行性判定结果。确定通行性判定结果。确定通行性判定结果。


技术研发人员：李宇
受保护的技术使用者：阿维塔科技(重庆)有限公司
技术研发日：2023.06.21
技术公布日：2023/8/31