影像显示方法及相关装置、车辆、存储介质和程序与流程
未命名
09-08
阅读:86
评论:0

1.本技术涉及汽车安全驾驶技术领域,尤其涉及驾驶场景中基于驾驶员视野状态的影像显示方法及相关装置、车辆、存储介质和程序。
背景技术:
2.近年来,汽车与行人碰撞造成的交通事故已越来越多,这种交通事故会给行人带来极大的伤害。其中汽车a柱盲区对事故的造成有很大一部分原因,所谓a柱是左前方和右前方连接车顶和前舱的连接柱,主要起支撑挡风玻璃和车顶的作用。驾驶员在实际的驾驶过程中,a柱总是会多少挡住些驾驶者的视线,形成盲区,特别是在转弯的过程中尤甚,驾驶者需要前后左右摆动身体和头部来调整视野克服盲区,这样既不方便也不安全。
3.目前市场上为解决汽车盲区问题,大多采用反光镜或透镜,通过光线的折射或反射来获取盲区内物体信息,或是通过摄像头获取到被a柱遮挡的画面,并且在a柱上显示。
4.但是使用反光镜或透镜这类产品,由于是经过了光线折射和反射,驾驶员通过这类产品获取到的画面都比较小,有的甚至是镜像的,这无疑增加了驾驶员的反应时间,且当光线强烈时,光线反射到人眼,容易造成驾驶员目眩,影响行车安全;进一步地,使用摄像头捕捉被a柱遮挡的画面,并且投射到对应a柱上,仅仅是在车辆转弯或者车辆周围有障碍物等特定情况下才起到一定作用,其他时候若一直保持工作状态,并没有实际意义,反而会影响行车驾驶的安全,且并不能消除a柱盲区给驾驶过程中带来的安全隐患。
5.而相对智能的解决汽车盲区问题的方式,一般是通过外置摄像头等设备获取外部图像投影到屏幕上,但一般来说,在屏幕上显示的画面很大程度上直接就是摄像头所获取的画面,并未考虑到舒适性和准确性,并且通过摄像头捕捉的画面与驾驶员人眼捕捉的画面也会存在差别,从而导致驾驶员反而受到屏幕的干扰导致出现问题。
6.因此,如何安全地消除汽车两侧a柱造成的盲区给驾驶汽车带来的安全隐患是一个亟需解决的问题。
技术实现要素:
7.本技术实施例提供一种驾驶场景中基于驾驶员视野状态的影像显示方法及装置,在车辆的智能座舱的a柱影像显示场景中,相对于现有单一、固化显示固定取景范围的方案,有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性,提高车辆驾驶安全性,提高用户驾驶体验。
8.第一方面,本技术实施例提供了一种驾驶场景中基于驾驶员视野状态的影像显示方法,所述方法应用于车辆的域控制器系统的自动驾驶域控制器,所述域控制器系统包括所述自动驾驶域控制器和车身域控制器,所述自动驾驶域控制器与所述车身域控制器通信连接;所述方法包括:
9.获取所述车辆的综合状态信息,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;
10.根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;
11.根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。
12.在当前市面上,常见的车型中均设有连接前发动机舱和车顶的a柱、位于前后门之间的b柱和连接后备箱和车顶的c柱,所述a柱、所述b柱和所述c柱在驾驶员驾驶车辆的过程中均遮挡驾驶员一部分的视野,但由于一般车辆上均设有后视镜和倒车影像,因此所述b柱和所述c柱对驾驶员的在驾驶员驾驶车辆行进的过程中,一般不会存在安全隐患,但因a柱位于车辆的前方,在驾驶员驾驶车辆行进的过程中可能会有一定的安全隐患。
13.所述车辆一般为本技术实施例提供的方法所应用的主体,具体来说,本方法应用于车辆的域控制器系统的自动驾驶域控制器,所述自动驾驶域控制器为本方法的执行主体,由于域控制器系统包括所述自动驾驶域控制器和车身域控制器,所述车身域控制器一般用于控制所述车辆中的设备,所述车辆中的设备包括车辆外置设备,两种控制器分工合作,以便于所述车辆的驾驶员能够及时观测到被遮挡的区域。
14.在本方法中,需要提前强调的是,本方法属于根据驾驶员的观测视线,来确定在左侧a柱还是右侧a柱,或是两侧a柱的屏幕上进行影像显示,因此,在驾驶员驾驶车辆的过程中,若驾驶员的视线未被遮挡,所述屏幕为常灭状态。
15.上述第一方面所应用的方法,首先获取所述车辆的综合状态信息,所述综合状态信息可以是通过所述车身域控制器获取的,但获取到的信息进行处理的主体为所述自动驾驶域控制器;
16.其次,通过所述综合状态信息可以预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域分为三种情况;情况一,所述车辆左侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;情况二,所述车辆右侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;情况三,副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域。
17.基于上述三种情况,本方法的关键在于,如何判断上述三种情况的发生,以及相应的投射什么影像到屏幕上,才能使驾驶员安全驾驶,且不受到视野被遮挡的困扰。
18.具体的,所述自动驾驶域控制器根据获取的来自所述车身域控制器的综合状态信息进行预测和判断,这也就代表着,获取的所述综合状态信息可用于判断上述三种情况的发生。由此可知,所述自动驾驶域控制器通过对所述综合状态信息进行分析确定驾驶员被什么遮挡了视线。
19.当确定了驾驶员被什么遮挡了视线之后,即可确定目标区域,而所述目标区域与在屏幕上显示的影像息息相关,例如,在确定目标区域为所述车辆的左侧a柱所遮挡的且区
域边界与所述车辆之间的最远距离小于预设距离的区域情况下,通过车身域控制器获取所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域处的影像,并将所述影像进行处理后在左侧a柱的屏幕上进行显示。在本方法中,对影像进行处理的主体为所述自动驾驶域控制器。
20.由此可见,通过自动驾驶域控制器和车身域控制器的相互配合,使自动驾驶域控制器更加智能,在合适的时机确定驾驶员需观察的但被遮挡的区域,并将控制屏幕显示对应区域的画面,且在其余时间控制屏幕常灭,既能保证驾驶员的视线不被遮挡,又能保证节能环保。
21.在第一方面的又一种可能的实施方式中,所述车辆的综合状态信息包括驾驶员头部姿态和副驾驶位乘坐人员的姿态;所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,包括:
22.根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;
23.根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;
24.若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。
25.具体的,所述屏幕除了可以显示被a柱遮挡的画面之外,还可以显示其他画面;而由于驾驶员在驾驶车辆行进的过程中,经常需要观察车辆两侧的后视镜,以观察两侧或后方来车,但由于坐副驾驶位的乘客可能由于某一些动作遮挡住驾驶员观察副驾驶位一侧的后视镜的视野,虽然遮挡时间可能很短暂,但是由于车辆行进速度很快,尤其是在高速公路上,很短的时间内的误操作就可能导致危害驾驶员或乘客的事件发生,因此,在本实施方式中,所述其他画面包括副驾驶位一侧的后视镜显示的画面,所述右侧a柱的屏幕安装在副驾驶一侧的a柱上,且朝向驾驶位,当检测到所述车辆的驾驶员观看副驾驶一侧的后视镜的视线被遮挡时,则控制所述右侧a柱的屏幕显示副驾驶侧的侧边和后方的画面信息,以代替副驾驶一侧的后视镜,使驾驶员能够观测到该后视镜应显示的画面;输出第二提示信息,以便于驾驶员在忽略掉所述右侧a柱的屏幕上显示的画面时,能够及时的反应过来侧面或后面的情况需要观察。
26.在上述三种情况中的情况三中,也就是副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域的情况下,获取的所述综合状态信息至少包括驾驶员头部姿态和副驾驶位乘坐人员的姿态。
27.根据驾驶员头部姿态和副驾驶位乘坐人员的姿态来确定述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡。若被遮挡,则代表着驾驶员需观察,但被遮挡的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。所述自动驾驶域控制器根据情况的不同,用于分析的信息也就不同。
28.在第一方面的又一种可能的实施方式中,若所述目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域,则所述车辆的综合状态信息包括所述车内状态信息和所述车外状态信息,且所述车内状态信息包括驾驶员头部姿态和副驾驶位乘坐人员的姿态;所
述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,包括:
29.获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;
30.根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
31.在所述右侧a柱的右侧屏幕显示所述目标影像。
32.需要说明的是,在上述过程中,生成适配所述右侧a柱的屏幕的目标影像,是需要所述自动驾驶域控制器对所述车外摄像头获取的影像数据进行帧率、取景范围等参数进行调整,以便以能够生成适配所述右侧a柱的右侧屏幕的目标影像。
33.可选的,在生成适配所述右侧a柱的右侧屏幕的目标影像的过程中,添入符合驾驶员观察习惯的标准,以用于生成能够匹配驾驶员观察习惯的画面,所述标准可以是通过模型获取的符合当前驾驶员习惯的,也可以是生成时自设置的。
34.相对于现有单一、固化显示固定取景范围的方案,如此设置有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性。
35.在第一方面的又一种可能的实施方式中,所述根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像,包括:
36.若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
37.若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。
38.考虑到不同车型的车身域控制器所控制的设备存在差别,但也为了使所述目标影像能够适配屏幕以及驾驶员的观察习惯,因此,针对车外摄像头的数量的不同,生成所述目标影像的方式也不同,进一步提高了自动驾驶域控制器进行影像显示的全面性。
39.在第一方面的又一种可能的实施方式中,所述综合状态至少包括方向盘角度或驾驶员头部姿态中的至少一种,所述驾驶员头部姿态包括驾驶员的头部朝向;所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,包括:
40.根据所述综合状态信息,确定所述驾驶员的预观测方向;
41.若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;
42.若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆
的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
43.上述的过程是体现所述自动驾驶域控制器智能化的关键,为了驾驶员的驾驶舒适性考虑,位于左侧a柱和右侧a柱上的屏幕一般是常灭的状态,但在确定目标区域后,所述屏幕上回显示相应的影像,但想要确定目标区域,则需确定驾驶员的预观测方向,而所述驾驶员的预观测方向为根据所述方向盘角度和/或驾驶员头部姿态确定的,例如,若驾驶员的方向盘角度发生变化,则代表着所述车辆的轨迹会发生变化,那么此时驾驶员自然地进行观测,这也就代表着,方向盘的角度可以代表着驾驶员的观测方向。
44.在第一方面的又一种可能的实施方式中,若所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域,或,所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域,则所述车辆的综合状态信息包括所述车内状态信息和所述车外状态信息,且所述车内状态信息包括驾驶员头部姿态和方向盘角度;所述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,包括:
45.根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;
46.根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;
47.若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;
48.若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;
49.若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息;
50.若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。
51.进一步的,由于汽车在直行或转弯时,给驾驶员观察、思考和操作的时间不同,设置的与所述目标对象之间的安全距离也就是不同的,所以首先确定所述车辆的行驶状态,所述行驶状态包括直行或转弯,在其他实施方式中,所述行驶状态也可能包括其他的情况,如掉头、刹车等。
52.更进一步的,若靠近所述车辆的目标对象为行人时,会因车辆不同的行驶状态设置不同的安全距离,当车辆在直行时,车速一般较快,转弯时,车速一般较慢,因此,为了给驾驶员相对多的时间去操控车辆,避免危险发生,设置的所述第二距离小于所述第一距离;
同理,所述第四距离小于第三距离。综上,设置不同的安全距离来应对车辆驾驶过程中的复杂情形,更合理化和人性化。
53.在第一方面的又一种可能的实施方式中,所述根据所述车外状态信息确定目标对象的状态信息之前,所述方法还包括:
54.获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;
55.根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;
56.将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。
57.具体的,上述的安全距离可以是动态的,根据车辆行驶过程中的实际情况去确定安全距离,在本实施方式中的安全距离包括所述第一距离、所述第二距离、所述第三距离和所述第四距离,因此,在上述的确定车辆的行驶状态之前,确定每一个目标对象的安全距离,以用于后续操作。
58.进一步的,所述安全距离与所述车辆和所述目标对象的实际行驶/行走状态相关,因此,首先获取所述车辆的相关数据,即获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,用于表征所述车辆的某个时间点到当前的运行状态,所述行驶状态至少包括直行或转弯;其次,根据上述的视频信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,用于表征在当前时间点或时间段所述行人的运动状态,就是所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息,用于表征所述其他车辆在当前时间点或时间段的运行状态。
59.更进一步的,将将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据,所述安全距离预测模型应用的模型、应用的逻辑是多样的,如通过将所述车辆和所述目标对象的相关数据分别整合成行驶轨迹,将所述车辆和所述目标对象的行驶轨迹进行拟合,以得到碰撞判断结果,根据所述碰撞判断结果和所述目标对象的相关数据去确定合适的安全距离。
60.可选的,所述行人数据集还包括:第一权重和第二权重;所述第一权重用于约束所述行人形态信息对相应的安全距离结果的影响程度;所述第二权重用于约束所述第一速度信息对相应的安全距离结果的影响程度。
61.可选的,所述车辆数据集还包括:第三权重、第四权重和第五权重;所述第三权重用于约束所述车辆行驶状态信息对相应的安全距离结果的影响程度;所述第四权重用于约
束所述车辆轨迹信息对相应的安全距离结果的影响程度;所述第五权重用于约束所述第三速度信息对相应的安全距离结果的影响程度;
62.通过上述方式,可以更灵活的调整安全距离,应对更复杂路况时更有针对性。
63.在第一方面的又一种可能的实施方式中,所述根据所述车外状态信息确定目标对象的状态信息之后,所述方法还包括:
64.若所述目标对象包括行人和其他车辆,当所述车辆的行驶状态为直行,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第一距离与所述第三距离中的较大值时,在所述屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;
65.若所述目标对象包括行人和其他车辆,当所述车辆的行驶状态为转弯,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第二距离与所述第四距离中的较大值时,在屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息。
66.具体的,在一些人车不分流或狭窄的道路上,很容易出现目标对象既包括行人,又包括其他车辆的情况,而面对这种复杂情形,频繁的提示会给驾驶员造成干扰,因此,当所述车辆的行驶状态为直行,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第一距离与所述第三距离中的较大值时,在所述a柱上靠近所述驾驶位的一侧的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息;当所述车辆的行驶状态为转弯,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第二距离与所述第四距离中的较大值时,在所述a柱上靠近所述驾驶位的一侧的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息。可选的,在输出所述第一提示信息的期间,再次发生了上述任一情况,需要再次输出提示信息时,可选择不输出提示信息,仅延长所述屏幕显示被所述a柱遮挡的区域的画面,避免频繁的提示对驾驶员造成干扰,从而导致意外发生。
67.在第一方面的又一种可能的实施方式中,所述第三距离与所述第四距离的数值为根据所述其他车辆的车型确定的,所述其他车辆的车型至少包括自行车、电动自行车、轿车、载货汽车、客车、挂车、非完整车辆、摩托车、牵引汽车或特殊车辆,所述特殊车辆包括救护车、警车或消防车。
68.由于在目前道路上行驶的车辆车型众多,但不同城市、不同道路上常见的车辆情况不同,有的城市的道路上行驶的电动自行车偏多,有的轿车偏多,又有的道路上载货汽车偏多,因此针对不同的车型,与所述目标对象中的其他车辆相关的第三距离和第四距离会根据车型的变化而变化;值得说明的是,车型为特殊车辆的其他车辆与车辆之间的安全距离是最大的,可选的,当识别到所述其他车辆为特殊车辆时,对驾驶员输出特殊的提示信息,既符合交通法规,且能体现人文情怀。
69.在第一方面的又一种可能的实施方式中,所述屏幕包括设于副驾驶一侧的a柱上的右侧a柱的屏幕,且所述右侧a柱的屏幕朝向驾驶位,当所述目标对象与所述车辆之间的距离小于或等于预设距离时,在所述a柱上靠近所述驾驶位的一侧的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息之后,所述方法还包括:
70.若检测到所述车辆的驾驶员观看副驾驶一侧的后视镜的视线被遮挡,则控制所述右侧a柱的屏幕显示副驾驶侧的侧边和后方的画面信息,并输出第二提示信息,所述第二提示信息用于指示所述车辆的驾驶员观测所述车辆的副驾驶侧的侧边和后方的路况画面。
71.在第一方面的又一种可能的实施方式中,在当所述目标对象与所述车辆之间的距离小于或等于预设距离时,在所述a柱上屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息之后,所述方法还包括:
72.输出第三提示信息,所述第三提示信息用于提示所述车辆与所述目标对象之间的距离数值。
73.具体的,所述第三提示信息可以是通过所述屏幕进行显示,也可以是通过语音播报输出的,以便于驾驶员能够根据实际距离进行适合的操作。
74.在第一方面的又一种可能的实施方式中,所述车辆包括位于拍摄记录车辆正前方画面的行车记录仪,在所述当所述目标对象与所述车辆之间的距离小于或等于预设距离时,在所述a柱的屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息之后,所述方法还包括:
75.调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面。
76.一般来说,行车记录仪仅能够拍摄所述车辆的正前方的画面,在实际场景中,由于驾驶员无法观测到a柱盲区而导致的事故也时有发生,但有时行车记录仪由于角度原因无法记录到此类事故的实际情况。因此,所述车辆为了应对此类安全事故发生时,没有视频记录的情况,在所述当所述目标对象与所述车辆之间的距离小于或等于预设距离之后,调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面,可选的,所述调整所述行车记录仪的拍摄方向的角度为10
°
,使所述行车记录仪既能拍摄到所述目标对象相关的画面,又能拍摄到所述车辆正前方大部分的画面。
77.在一种可选的实施方式中,根据所述目标对象和所述车辆之间的碰撞预测结果,调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面;
78.具体的,获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;
79.根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;
80.将所述目标对象数据集和所述车辆数据集输入至碰撞预测模型中,得到所述目标对象与所述车辆的碰撞预测结果,所述碰撞预测结果包括完全碰撞、可能碰撞或不可能碰撞,所述完全碰撞为确定所述车辆和所述目标对象一定会碰撞,所述可能碰撞为假如驾驶员不做出适当操作,所述车辆和所述目标对象会碰撞,所述不碰撞为驾驶员不做出任何改变自身行驶状态和速度的操作时,所述车辆和所述目标对象一定不会碰撞,所述碰撞预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的碰撞预测结果训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述碰撞预测结果属于标签数据。
81.若所述碰撞预测结果为完全碰撞或可能碰撞时,调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面。
82.通过上述方式,使行车记录仪能够根据某一个或多个实施方式提供的方法做出适应性的调整,提升驾驶员的体验感。
83.第二方面,本技术实施例提供一种驾驶场景中基于驾驶员视野状态的影像显示装置,所述装置至少包括获取单元、预测单元和显示单元。该驾驶场景中基于驾驶员视野状态的影像显示装置用于实现第一方面任一项实施方式所描述方法,其中获取单元、预测单元和显示单元的介绍如下:
84.获取单元,用于获取所述车辆的综合状态信息,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;
85.预测单元,用于根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;
86.显示单元,用于根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。
87.在当前市面上,常见的车型中均设有连接前发动机舱和车顶的a柱、位于前后门之间的b柱和连接后备箱和车顶的c柱,所述a柱、所述b柱和所述c柱在驾驶员驾驶车辆的过程中均遮挡驾驶员一部分的视野,但由于一般车辆上均设有后视镜和倒车影像,因此所述b柱和所述c柱对驾驶员的在驾驶员驾驶车辆行进的过程中,一般不会存在安全隐患,但因a柱位于车辆的前方,在驾驶员驾驶车辆行进的过程中可能会有一定的安全隐患。
88.所述车辆一般为本技术实施例提供的方法所应用的主体,具体来说,本方法应用于车辆的域控制器系统的自动驾驶域控制器,所述自动驾驶域控制器为本方法的执行主体,由于域控制器系统包括所述自动驾驶域控制器和车身域控制器,所述车身域控制器一般用于控制所述车辆中的设备,所述车辆中的设备包括车辆外置设备,两种控制器分工合作,以便于所述车辆的驾驶员能够及时观测到被遮挡的区域。
89.在本方法中,需要提前强调的是,本方法属于根据驾驶员的观测视线,来确定在左侧a柱还是右侧a柱,或是两侧a柱的屏幕上进行影像显示,因此,在驾驶员驾驶车辆的过程中,若驾驶员的视线未被遮挡,所述屏幕为常灭状态。
90.上述第一方面所应用的方法,首先获取所述车辆的综合状态信息,所述综合状态信息可以是通过所述车身域控制器获取的,但获取到的信息进行处理的主体为所述自动驾驶域控制器;
91.其次,通过所述综合状态信息可以预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域分为三种情况;情况一,所述车辆左侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;情况二,所述车辆右侧a柱遮挡了驾驶员的视野,那么所述目标区域即为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于
预设距离的区域;情况三,副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域。
92.基于上述三种情况,本方法的关键在于,如何判断上述三种情况的发生,以及相应的投射什么影像到屏幕上,才能使驾驶员安全驾驶,且不受到视野被遮挡的困扰。
93.具体的,所述自动驾驶域控制器根据获取的来自所述车身域控制器的综合状态信息进行预测和判断,这也就代表着,获取的所述综合状态信息可用于判断上述三种情况的发生。由此可知,所述自动驾驶域控制器通过对所述综合状态信息进行分析确定驾驶员被什么遮挡了视线。
94.当确定了驾驶员被什么遮挡了视线之后,即可确定目标区域,而所述目标区域与在屏幕上显示的影像息息相关,例如,在确定目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域情况下,通过车身域控制器获取所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域处的影像,并将所述影像进行处理后在左侧a柱的屏幕上进行显示。在本方法中,对影像进行处理的主体为所述自动驾驶域控制器。
95.由此可见,通过自动驾驶域控制器和车身域控制器的相互配合,使自动驾驶域控制器更加智能,在合适的时机确定驾驶员需观察的但被遮挡的区域,并将控制屏幕显示对应区域的画面,且在其余时间控制屏幕常灭,既能保证驾驶员的视线不被遮挡,又能保证节能环保。
96.在第二方面的又一种可能的实施方式中,所述预测单元具体用于:
97.根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;
98.根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;
99.若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。
100.具体的,所述屏幕除了可以显示被a柱遮挡的画面之外,还可以显示其他画面;而由于驾驶员在驾驶车辆行进的过程中,经常需要观察车辆两侧的后视镜,以观察两侧或后方来车,但由于坐副驾驶位的乘客可能由于某一些动作遮挡住驾驶员观察副驾驶位一侧的后视镜的视野,虽然遮挡时间可能很短暂,但是由于车辆行进速度很快,尤其是在高速公路上,很短的时间内的误操作就可能导致危害驾驶员或乘客的事件发生,因此,在本实施方式中,所述其他画面包括副驾驶位一侧的后视镜显示的画面,所述右侧a柱的屏幕安装在副驾驶一侧的a柱上,且朝向驾驶位,当检测到所述车辆的驾驶员观看副驾驶一侧的后视镜的视线被遮挡时,则控制所述右侧a柱的屏幕显示副驾驶侧的侧边和后方的画面信息,以代替副驾驶一侧的后视镜,使驾驶员能够观测到该后视镜应显示的画面;输出第二提示信息,以便于驾驶员在忽略掉所述右侧a柱的屏幕上显示的画面时,能够及时的反应过来侧面或后面的情况需要观察。
101.在上述三种情况中的情况三中,也就是副驾驶位的乘客遮挡了驾驶员观测右侧后视镜的视野,那么所述目标区域即为所述车辆的右侧后视镜所显示影像对应的景象区域的
情况下,获取的所述综合状态信息至少包括驾驶员头部姿态和副驾驶位乘坐人员的姿态。
102.根据驾驶员头部姿态和副驾驶位乘坐人员的姿态来确定述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡。若被遮挡,则代表着驾驶员需观察,但被遮挡的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。所述自动驾驶域控制器根据情况的不同,用于分析的信息也就不同。
103.在第二方面的又一种可能的实施方式中,所述显示单元具体用于:
104.获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;
105.根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
106.在所述右侧a柱的右侧屏幕显示所述目标影像。
107.需要说明的是,在上述过程中,生成适配所述右侧a柱的屏幕的目标影像,是需要所述自动驾驶域控制器对所述车外摄像头获取的影像数据进行帧率、取景范围等参数进行调整,以便以能够生成适配所述右侧a柱的右侧屏幕的目标影像。
108.可选的,在生成适配所述右侧a柱的右侧屏幕的目标影像的过程中,添入符合驾驶员观察习惯的标准,以用于生成能够匹配驾驶员观察习惯的画面,所述标准可以是通过模型获取的符合当前驾驶员习惯的,也可以是生成时自设置的。
109.相对于现有单一、固化显示固定取景范围的方案,如此设置有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性。
110.在第二方面的又一种可能的实施方式中,在根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像方面,所述显示单元还用于:
111.若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
112.若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。
113.考虑到不同车型的车身域控制器所控制的设备存在差别,但也为了使所述目标影像能够适配屏幕以及驾驶员的观察习惯,因此,针对车外摄像头的数量的不同,生成所述目标影像的方式也不同,进一步提高了自动驾驶域控制器进行影像显示的全面性。
114.在第二方面的又一种可能的实施方式中,所述预测单元具体用于:
115.根据所述综合状态信息,确定所述驾驶员的预观测方向;
116.若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;
117.若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车
辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
118.上述的过程是体现所述自动驾驶域控制器智能化的关键,为了驾驶员的驾驶舒适性考虑,位于左侧a柱和右侧a柱上的屏幕一般是常灭的状态,但在确定目标区域后,所述屏幕上回显示相应的影像,但想要确定目标区域,则需确定驾驶员的预观测方向,而所述驾驶员的预观测方向为根据所述方向盘角度和/或驾驶员头部姿态确定的,例如,若驾驶员的方向盘角度发生变化,则代表着所述车辆的轨迹会发生变化,那么此时驾驶员自然地进行观测,这也就代表着,方向盘的角度可以代表着驾驶员的观测方向。
119.在第二方面的又一种可能的实施方式中,所述显示单元具体用于:
120.根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;
121.根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;
122.若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;
123.若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;
124.若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息;
125.若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。
126.进一步的,由于汽车在直行或转弯时,给驾驶员观察、思考和操作的时间不同,设置的与所述目标对象之间的安全距离也就是不同的,所以首先确定所述车辆的行驶状态,所述行驶状态包括直行或转弯,在其他实施方式中,所述行驶状态也可能包括其他的情况,如掉头、刹车等。
127.更进一步的,若靠近所述车辆的目标对象为行人时,会因车辆不同的行驶状态设置不同的安全距离,当车辆在直行时,车速一般较快,转弯时,车速一般较慢,因此,为了给驾驶员相对多的时间去操控车辆,避免危险发生,设置的所述第二距离小于所述第一距离;同理,所述第四距离小于第三距离。综上,设置不同的安全距离来应对车辆驾驶过程中的复杂情形,更合理化和人性化。
128.在第二方面的又一种可能的实施方式中,所述显示单元还用于:
129.获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;
130.根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;
131.将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。
132.具体的,上述的安全距离可以是动态的,根据车辆行驶过程中的实际情况去确定安全距离,在本实施方式中的安全距离包括所述第一距离、所述第二距离、所述第三距离和所述第四距离,因此,在上述的确定车辆的行驶状态之前,确定每一个目标对象的安全距离,以用于后续操作。
133.进一步的,所述安全距离与所述车辆和所述目标对象的实际行驶/行走状态相关,因此,首先获取所述车辆的相关数据,即获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,用于表征所述车辆的某个时间点到当前的运行状态,所述行驶状态至少包括直行或转弯;其次,根据上述的视频信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,用于表征在当前时间点或时间段所述行人的运动状态,就是所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息,用于表征所述其他车辆在当前时间点或时间段的运行状态。
134.更进一步的,将将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据,所述安全距离预测模型应用的模型、应用的逻辑是多样的,如通过将所述车辆和所述目标对象的相关数据分别整合成行驶轨迹,将所述车辆和所述目标对象的行驶轨迹进行拟合,以得到碰撞判断结果,根据所述碰撞判断结果和所述目标对象的相关数据去确定合适的安全距离。
135.可选的,所述行人数据集还包括:第一权重和第二权重;所述第一权重用于约束所述行人形态信息对相应的安全距离结果的影响程度;所述第二权重用于约束所述第一速度信息对相应的安全距离结果的影响程度。
136.可选的,所述车辆数据集还包括:第三权重、第四权重和第五权重;所述第三权重用于约束所述车辆行驶状态信息对相应的安全距离结果的影响程度;所述第四权重用于约束所述车辆轨迹信息对相应的安全距离结果的影响程度;所述第五权重用于约束所述第三速度信息对相应的安全距离结果的影响程度;
137.通过上述方式,可以更灵活的调整安全距离,应对更复杂路况时更有针对性。
138.第三方面,本技术实施例提供一种车辆,该车辆包括自动驾驶域控制器、存储器及
存储在所述存储器上并能够在所述自动驾驶域控制器上运行的计算机程序;自动驾驶域控制器执行计算机程序时,该车辆可执行前述第一方面或者第一方面的任一种可能的实现方式所描述的方法。
139.需要说明的是,上述第三方面所描述的车辆所包含的自动驾驶域控制器,可以是专门用于执行这些方法的自动驾驶域控制器(便于区别称为专用自动驾驶域控制器),也可以是通过调用计算机程序来执行这些方法的自动驾驶域控制器,例如通用自动驾驶域控制器。可选的,至少一个自动驾驶域控制器还可以既包括专用自动驾驶域控制器也包括通用自动驾驶域控制器。
140.可选的,上述计算机程序可以存在存储器中。示例性的,存储器可以为非瞬时性(non-transitory)存储器,例如只读存储器(read only memory,rom),其可以与自动驾驶域控制器集成在同一块器件上,也可以分别设置在不同的器件上,本技术实施例对存储器的类型以及存储器与自动驾驶域控制器的设置方式不做限定。
141.在一种可能的实施方式中,上述至少一个存储器位于上述车辆之外。
142.在又一种可能的实施方式中,上述至少一个存储器位于上述车辆之内。
143.在又一种可能的实施方式之中,上述至少一个存储器的部分存储器位于上述车辆之内,另一部分存储器位于上述车辆之外。
144.本技术中,自动驾驶域控制器和存储器还可能集成于一个器件中,即自动驾驶域控制器和存储器还可以被集成在一起。
145.第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储计算机程序,当所述指令在至少一个自动驾驶域控制器上运行时,实现前述第一方面或者第一方面的任一种可选的方案所描述的方法。
146.第五方面,本技术提供了一种计算机程序产品,计算机程序产品包括计算机程序,当所述程序在至少一个自动驾驶域控制器上运行时,实现前述第一方面或者第一方面的任一种可选的方案所描述的方法中。
147.可选的,该计算机程序产品可以为一个软件安装包,在需要使用前述方法的情况下,可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
148.本技术第三至第五方面所提供的技术方案,其有益效果可以参考第一方面和第二方面的技术方案的有益效果,此处不再赘述。
附图说明
149.下面将对实施例描述中所需要使用的附图作简单的介绍。
150.图1是本技术实施例提供的一种车辆的场景示意图;
151.图2是本技术实施例提供的一种车辆的域控制器系统的结构示意图;
152.图3是本技术实施例提供的一种驾驶场景中基于驾驶员视野状态的影像显示方法的流程示意图;
153.图4是本技术实施例提供的一种驾驶场景中基于驾驶员视野状态的影像显示装置的结构示意图;
154.图5是本技术实施例提供的一种车辆的结构示意图。
具体实施方式
155.下面结合附图对本技术实施例进行详细介绍。
156.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选的还包括没有列出的步骤或单元,或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
157.下面对本技术实施例应用的系统架构进行介绍。需要说明的是,本技术描述的系统架构及业务场景是为了更加清楚的说明本技术的技术方案,并不构成对于本技术提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本技术提供的技术方案对于类似的技术问题,同样适用。
158.请参见图1,图1是本技术实施例提供的一种车辆的场景示意图,其中:
159.车辆10可以为车载设备,也可以为例如,汽车、载货汽车、客车、挂车、非完整车辆等车辆本身。车辆10上可设有摄像头、工业相机等图像获取装置,可选的,所述图像获取装置安装在车辆10两侧a柱上,且朝向车外,车辆10通过所述图像获取装置获取被a柱遮挡的区域的影像信息,相应的,该车辆10至少包括左侧a柱的左侧屏幕101和右侧a柱的右侧屏幕102,车辆10通过左侧a柱的左侧屏幕101和右侧a柱的右侧屏幕102显示被a柱遮挡的区域的画面,左侧屏幕101位于车辆的驾驶位一侧的a柱上,右侧屏幕102位于车辆的副驾驶位一侧的a柱上。可选的,右侧a柱的右侧屏幕102可以显示其他区域的画面,如所述图像获取装置也可以安装在后视镜上,以使右侧a柱的右侧屏幕102显示车辆10侧方和后方的画面即右侧后视镜所显示的相应画面;车辆10上设有车载雷达、红外传感器、速度传感器、距离传感器等信息捕捉设备;通过上述信息捕捉设备,车辆10可获取到目标对象/车辆10自身的相关信息,所述目标对象包括行人或其他车辆;可选的,车辆10中设有音响设备,该音响设备可以是安装在左侧a柱的左侧屏幕101和右侧a柱的右侧屏幕102内的,也可以是安装在左侧a柱的左侧屏幕101和右侧a柱的右侧屏幕102之外,车辆10之内的,在某些场景中用于播放提示信息。
160.请参见图2,图2为本技术实施例提供的一种车辆的域控制器系统的结构示意图,所述车辆的域控制器系统包括自动驾驶域控制器201与车身域控制器202本技术实施例提供的问答召回方法的执行主体为具备信息处理能力的自动驾驶域控制器201;所述自动驾驶域控制器201与车身域控制器202建立通信连接,所述车身域控制器202用于控制所述车辆中的设备,如车内摄像头、车外摄像头或屏幕。
161.自动驾驶域控制器201包括:第一交互层2011、处理层2012和第二交互层2013。第一交互层2011主要用于与车身域控制器202进行信息交互,例如,发送某些需要的信息请求,接受某些需要的信息,该信息包括车辆的综合状态信息、摄像头获取的影像数据等信息。所述处理层2012主要用于处理所述综合状态信息或影像数据等信息数据,比如,处理层2012通过处理所述综合状态信息,从而预测目标区域;通过处理影像数据以及其他数据,从而得到目标影像。第二交互层2013主要用于向车身域控制器202发送屏幕控制请求,以控制屏幕显示目标影像。
162.上述的自动驾驶域控制器201和车身域控制器202可以集成在车辆中,也可以集成
在车辆外,还可以一个设置在车辆中、一个设置在车辆外,本技术实施例对此不做限定。
163.请参见图3,图3是本技术实施例提供的一种驾驶场景中基于驾驶员视野状态的影像显示方法的流程示意图,应用于车辆的域控制器系统的自动驾驶域控制器,所述域控制器系统包括所述自动驾驶域控制器和车身域控制器,所述自动驾驶域控制器与所述车身域控制器通信连接,该方法可以基于图2所示的系统架构示意图实现,也可以基于其他架构实现,该方法包括但不限于如下步骤:
164.步骤s301:获取车辆的综合状态信息。
165.所述综合状态信息为通过所述车身域控制器获取,例如,所述自动驾驶域控制器向所述车身域控制器发送综合状态信息的获取请求,然后接受来自所述车身域控制器发送的所述综合状态信息。所述综合状态信息用于预测所述车辆的驾驶员的人眼需要观测、且处于被遮挡状态的目标区域。
166.所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态。
167.在一种可选的实施方式中,在车辆在道路上正常行驶的途中,所述综合状态信息仅包括方向盘角度,通过所述方向盘角度确定所述车辆是否处于转弯或掉头的状态,以此预测驾驶员的人眼需要观测的区域。
168.在另一种可选的实施方式中,所述综合状态信息仅包括驾驶员头部姿态,通过所述驾驶员头部姿态来确定所述驾驶员的人眼需要观测的方向或区域,以及确定所述驾驶员需要观测的区域是否被遮挡。
169.在另一种可选的实施方式中,所述综合状态信息包括驾驶员头部姿态、副驾驶位乘坐人员的姿态,通过所述驾驶员头部姿态、副驾驶位乘坐人员的姿态来确定所述驾驶员观测右侧后视镜的视线是否被副驾驶位乘坐人员遮挡。
170.在另一种可选的实施方式中,由于上述情况无法预知,故获取的所述综合状态信息包括方向盘角度、驾驶员头部姿态和副驾驶位乘坐人员的姿态,首先通过方向盘角度确定车辆的行驶路线是否已经偏移,若偏移则根据偏移的方向确定需要观测的区域是否被遮挡;若未偏移,则根据驾驶员的头部姿态确定驾驶员是否准备对车辆两侧进行观测;若发现所述驾驶员的头部姿态正在偏移,则确定驾驶员准备对车辆两侧进行观测,且可确定观测的方向;若驾驶员的头部姿态为向右偏移,则根据副驾驶位乘坐人员的姿态确定驾驶员的人眼需要观测、且处于被遮挡状态的目标区域是否为车辆右侧后视镜。
171.步骤s302:根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域。
172.所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域。
173.在本实施例中,所述目标区域包括以下三种情况:
174.情况一:所述目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。
175.在情况一中,所述综合状态信息至少包括所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态。
176.根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;所述驾驶员头部姿态可根据车辆内部的摄像头获取。
177.根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;所述副驾驶位乘坐人员的姿态可根据车辆内部的摄像头获取;具体的,根据所述驾驶员头部姿态确定所述驾驶员的视线方向,若所述驾驶员的视线方向为观测右侧后视镜的方向,那么确定所述副驾驶位乘坐人员的姿态是否遮挡所述驾驶员观测右侧后视镜。
178.若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。
179.在情况一中,在右侧屏幕上显示被遮挡的所述车辆的右侧后视镜所显示影像对应的相应景象。
180.情况二:所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
181.所述综合状态至少包括方向盘角度或驾驶员头部姿态中的至少一种,所述驾驶员头部姿态包括驾驶员的头部朝向;
182.根据所述综合状态信息,确定所述驾驶员的预观测方向,所述预观测方向为所述驾驶员准备观测的方向,例如,所述驾驶员的头部朝向正在向右偏移,那么所述驾驶员的预观测方向为右侧;
183.若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
184.需要说明的是,所述预设距离为根据所述影像数据确定的,可选的,所述预设距离为根据所述影像数据中其他车辆或行人确定的,可选的,所述预设距离为根据所述影像数据中其他车辆或行人的行驶姿态和/或速度确定的。
185.情况三:所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
186.若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
187.在一种可选的实施方式中,若所述驾驶员的预观测方向为所述车辆的左侧/右侧,则直接确定所述目标区域为所述车辆的左侧/右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域,所述预设距离为预先设置的。
188.步骤s303:根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示。
189.所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a
柱上的屏幕。
190.在进行影像显示之前,通过车外摄像头获取相应目标区域的影像数据,以上述情况一为例,在一种可选的实施方式中,获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;
191.根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;可选的,右侧屏幕为竖直扁长的形态,那么结合右侧后视镜的边长宽窄的成像特征,在右侧屏幕上显示以右侧后视镜的边长宽窄的成像特征为标准的影像,在这种状况中,右侧屏幕的上和/或下会有部分黑边;为了给驾驶员呈现更大的车辆右侧后方的景象,可选的,根据所述影像数据直接生成适配右侧屏幕竖直扁长的形态的目标影像,在这种状况中,右侧屏幕不会存在黑边。可选的,输出第二提示信息,所述第二提示信息用于指示所述车辆的驾驶员观测所述车辆的副驾驶侧的侧边和后方的路况画面。
192.若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;可选的,该车外摄像头安装在右侧后视镜上。
193.若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。可选的,所述车外摄像头包括安装在a柱外侧的摄像头,安装在a柱外侧的摄像头获取图像的方向与坐在驾驶位的驾驶员观测a柱时的视线方向为同一条线,使获取到的遮挡区域的画面能正好补齐驾驶员的视野盲区。
194.在一种可选的实施方式中,若所述车辆的左侧a柱或右侧a柱所遮挡的区域存在行人或其他车辆,那么及时驾驶员未对该方向进行观察,也在与行人或其他车辆同侧的屏幕上显示对应的影像,具体如下所述:
195.根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;则所述车辆的综合状态信息包括所述车内状态信息和所述车外状态信息,且所述车内状态信息包括驾驶员头部姿态和方向盘角度。
196.根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;
197.若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;在一种可选的实施方式中,输出第三提示信息,所述第三提示信息用于提示所述车辆与所述目标对象之间的距离数值,在本实施例中,在所述屏幕上显示所述目标对象与所述车辆之间的实时距离数值,以便于所述车辆的驾驶员能够根据实际距离,做出合适的操作。
198.进一步的,所述预设距离为预设的安全距离,所述安全距离代表着当所述目标对
象与所述车辆之间的距离在达到该距离数值时,车辆的驾驶员已需及时操作。
199.若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;
200.若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息;
201.若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。
202.不可避免的是,在一些路况复杂的路段,所述目标对象既可能包括行人,又可能包括其他车辆,因此,在一种可选的实施方式中,若所述目标对象包括行人和其他车辆,当所述车辆的行驶状态为直行,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第一距离与所述第三距离中的较大值时,在对应屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息;
203.若所述目标对象包括行人和其他车辆,当所述车辆的行驶状态为转弯,且所述行人和所述其他车辆中的任意一个对象与所述车辆之间的距离,小于或等于所述第二距离与所述第四距离中的较大值时,在对应屏幕上显示被所述a柱遮挡的区域的画面,并输出第一提示信息。
204.在一种可选的实施方式中,所述目标对象与所述车辆之间的预设距离为根据所述目标对象的状态实时生成的,所述预设距离即为安全距离,具体如下所述:
205.获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;
206.根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;所述行人形态信息用于分析所述行人的行进轨迹,所述行人的朝向可根据所述行人的面部朝向和身体特征的朝向获取;所述车辆行驶状态信息为与所述目标对象中的其他车辆对应的行驶状态信息,包括直行或转弯,可选的,所述行驶状态信息还包括掉头或停止;所述车辆轨迹信息可根据所述车辆行驶状态信息和所述第三速度信息计算得出,用于模拟所述其他车辆的行进路线,以判断所述其他车辆和所述车辆是否在预计轨迹中有重合,可选的,若有重合,则代表着所述其他车辆与所述车辆有碰撞的可能,与之对应的安全距离会相对增加。
207.可选的,所述行人数据集还包括:第一权重和第二权重;所述第一权重用于约束所述行人形态信息对相应的安全距离结果的影响程度;所述第二权重用于约束所述第一速度信息对相应的安全距离结果的影响程度。
208.可选的,所述车辆数据集还包括:第三权重、第四权重和第五权重;所述第三权重用于约束所述车辆行驶状态信息对相应的安全距离结果的影响程度;所述第四权重用于约
束所述车辆轨迹信息对相应的安全距离结果的影响程度;所述第五权重用于约束所述第三速度信息对相应的安全距离结果的影响程度。
209.将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。
210.需要说明的是,所述安全距离预测模型可以是预先安装在车辆内部的,得到所述安全距离的过程发生在所述车辆内,所述安全距离预测模型也可以是安装在车辆外部的服务器中的,所述车辆通过与所述服务器建立通信连接,将所述目标对象数据集和所述车辆数据集发送至所述服务器,所述服务器将所述目标对象数据集和所述车辆数据集输入至预先训练好的所述安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,所述车辆再接受来自所述服务器发送的所述安全距离。
211.当确定所述目标对象的安全距离后,根据所述车辆的行驶状态确定是否在屏幕上显示相应画面和提示驾驶员。
212.所述第三距离和所述第四距离除了根据相关数据集分析得出之外,也可能根据其他算法得出,在一种可选的实施方式中,所述第三距离与所述第四距离的数值为根据所述其他车辆的车型确定的,所述其他车辆的车型至少包括自行车、电动自行车、轿车、载货汽车、客车、挂车、非完整车辆、摩托车、牵引汽车或特殊车辆,所述特殊车辆包括救护车、警车或消防车。值得说明的是,车型为特殊车辆的其他车辆与车辆之间的安全距离是最大的,可选的,当识别到所述其他车辆为特殊车辆时,对驾驶员输出特殊的提示信息,以使驾驶员能够及时避让所述特殊车辆。
213.经过上述的过程,已可很好的避免因a柱遮挡驾驶员视线而导致的安全事故的发生,但车辆的其他器件,也可根据本方法做出适应性的调整,在一种可选的实施方式中,调整所述行车记录仪的拍摄方向,以使所述行车记录仪拍摄所述目标对象相关的画面,以用于应对与所述目标对象相关的安全事故发生时,没有视频记录的情况,具体的,在所述当所述目标对象与所述车辆之间的距离小于或等于预设距离之后,向目标对象所在方向调整所述行车记录仪的拍摄角度10
°
,使所述行车记录仪既能拍摄到所述目标对象相关的画面,又能拍摄到所述车辆正前方大部分的画面。
214.综上,本实施例提供的方法对于现有单一、固化显示固定取景范围的方案,有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性,提高车辆驾驶安全性,提高用户驾驶体验。
215.且通过设置安全距离给车辆驾驶员足够的反应时间,在屏幕上显示相应的被a柱遮挡的画面,告知驾驶员被遮挡区域的实际情况,输出提示信息,避免驾驶员因驾驶习惯或其他因素忽略被a柱遮挡的区域,以此形成一套完备的逻辑去告知车辆驾驶员,被a柱遮挡的区域存在安全隐患,避免因a柱遮挡驾驶员视野而导致的安全事故的发生。
216.上述详细阐述了本技术实施例的方法,下面提供了本技术实施例的装置。
217.请参见图4,图4是本技术实施例提供一种驾驶场景中基于驾驶员视野状态的影像显示装置40的结构示意图,该驾驶场景中基于驾驶员视野状态的影像显示装置40可以为前
面提及的车辆中的器件,该驾驶场景中基于驾驶员视野状态的影像显示装置40可以包括获取单元401、预测单元402和显示单元403,其中,各个单元的详细描述如下。
218.获取单元401,用于获取所述车辆的综合状态信息,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;
219.预测单元402,用于根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;
220.显示单元403,用于根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。
221.在一种可能的实施方式中,所述预测单元402具体用于:
222.根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;
223.根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;
224.若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。
225.在又一种可能的实施方式中,所述显示单元403具体用于:
226.获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;
227.根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
228.在所述右侧a柱的右侧屏幕显示所述目标影像。
229.在又一种可能的实施方式中,在根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像方面,所述显示单元403还用于:
230.若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
231.若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。
232.在又一种可能的实施方式中,所述预测单元402具体用于:
233.根据所述综合状态信息,确定所述驾驶员的预观测方向;
234.若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像
头中取景区域包括被所述车辆左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;
235.若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
236.在又一种可能的实施方式中,所述显示单元403具体用于:
237.根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;
238.根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;
239.若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;
240.若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;
241.若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息;
242.若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。
243.在又一种可能的实施方式中,所述显示单元403还用于:
244.获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;
245.根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;
246.将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。
247.请参见图5,图5是本技术实施例提供的一种车辆50的结构示意图,所述车辆50包括:自动驾驶域控制器501和存储器502。自动驾驶域控制器501及存储器502可通过总线或其他方式连接,本技术实施例以通过总线连接为例。
248.其中,自动驾驶域控制器501是车辆50的计算核心以及控制核心,其可以解析车辆50内的各类指令以及车辆50的各类数据,例如:该自动驾驶域控制器501可为中央自动驾驶域控制器(central processing unit,cpu),可以在车辆50内部结构之间传输各类交互数据,等等。存储器502是所述车辆50中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器502既可以包括所述车辆50的内置存储器,当然也可以包括所述车辆50所支持的扩展存储器。存储器502提供存储空间,该存储空间存储了所述车辆50的操作系统,该存储空间还存储了自动驾驶域控制器执行相应操作所需的程序代码或指令,可选的,该存储空间还可以存储该自动驾驶域控制器执行该相应操作后产生的相关数据。
249.在本技术实施例中,所述车辆50还包括车身域控制器,所述车身域控制器用于控制所述车辆内和/或车辆外的设备。
250.在本技术实施例中,自动驾驶域控制器501运行存储器502中的可执行程序代码,用于执行如下操作:
251.获取所述车辆的综合状态信息,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;
252.根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;
253.根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。
254.在一种可选方案中,在所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域方面,所述自动驾驶域控制器501具体用于:
255.确根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;
256.根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;
257.若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。
258.在一种可选方案中,在所述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示方面,所述自动驾驶域控制器501具体用于:
259.获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;
260.根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及
所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
261.在所述右侧a柱的右侧屏幕显示所述目标影像。
262.在一种可选方案中,在所述根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像方面,所述自动驾驶域控制器501具体用于:
263.若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;
264.若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。
265.在一种可选方案中,在所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域方面,所述自动驾驶域控制器501具体用于:
266.根据所述综合状态信息,确定所述驾驶员的预观测方向;
267.若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;
268.若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。
269.在一种可选方案中,在所述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示方面,所述自动驾驶域控制器501具体用于:
270.根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;
271.根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;
272.若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;
273.若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;
274.若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述
其他车辆对应的目标区域的画面,并输出第一提示信息;
275.若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。
276.在一种可选方案中,所述根据所述车外状态信息确定目标对象的状态信息之前,所述自动驾驶域控制器501还用于:
277.获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;
278.根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;
279.将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。
280.需要说明的是,各个操作的实现还可以对应参照图3中所示的方法实施例的相应描述。
281.本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述计算机程序当被自动驾驶域控制器执行时使所述自动驾驶域控制器实现所述实施例所执行的操作。
282.本技术实施例还提供一种计算机程序产品,当所述计算机程序产品在自动驾驶域控制器上运行时,实现所述实施例所执行的操作。
283.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过程序来指令相关的硬件来完成,该的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可存储程序代码的介质。
技术特征:
1.一种驾驶场景中基于驾驶员视野状态的影像显示方法,其特征在于,所述方法应用于车辆的域控制器系统的自动驾驶域控制器,其中,所述方法包括:获取所述车辆的综合状态信息,其中,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。2.根据权利要求1所述的方法,其特征在于,所述车辆的综合状态信息包括驾驶员头部姿态和副驾驶位乘坐人员的姿态;所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,包括:根据所述驾驶员头部姿态,确定所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧后视镜;根据所述驾驶员头部姿态和所述副驾驶位乘坐人员的姿态,确定所述驾驶员观测所述车辆的右侧后视镜的视线是否被所述副驾驶位乘坐人员遮挡;若所述驾驶员观测所述车辆的右侧后视镜的视线被所述副驾驶位乘坐人员遮挡,则确定所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域。3.根据权利要求1或2所述的方法,其特征在于,若所述目标区域为所述车辆的右侧后视镜所显示影像对应的景象区域,则所述车辆的综合状态信息包括车内状态信息和车外状态信息,且所述车内状态信息包括驾驶员头部姿态和副驾驶位乘坐人员的姿态;所述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,包括:获取所述车辆的多个车外摄像头中取景区域包括所述右侧后视镜所显示影像对应的景象区域的至少一个车外摄像头的影像数据;根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;在所述右侧a柱的右侧屏幕显示所述目标影像。4.根据权利要求3所述的方法,其特征在于,所述根据所述至少一个车外摄像头的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像,包括:若所述至少一个车外摄像头为单个,则根据所述车外摄像头获取的包括所述右侧后视镜所显示的影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像;若所述至少一个车外摄像头为多个,则根据所述车外摄像头获取的多个影像数据,融
合生成与所述右侧后视镜所显示影像对应的目标影像数据;根据所述目标影像数据、所述右侧a柱的右侧屏幕的尺寸以及所述右侧后视镜的成像特征,生成适配所述右侧a柱的右侧屏幕的目标影像。5.根据权利要求1至4任意一项所述的方法,其特征在于,所述综合状态至少包括方向盘角度或驾驶员头部姿态中的至少一种,所述驾驶员头部姿态包括驾驶员的头部朝向;所述根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,包括:根据所述综合状态信息,确定所述驾驶员的预观测方向;若所述驾驶员的预观测方向为所述车辆的左侧,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆的左侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域;若所述驾驶员的预观测方向为所述车辆的右侧,且所述驾驶员的头部朝向所述车辆的右侧a柱,则根据所述车辆的多个车外摄像头中取景区域包括被所述车辆的右侧a柱遮挡的景象区域的至少一个车外摄像头的影像数据,确定目标区域,所述目标区域为所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域。6.根据权利要求1-5任一项所述的方法,其特征在于,若所述目标区域为所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域,或,所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域,则所述车辆的综合状态信息包括所述车内状态信息和所述车外状态信息,且所述车内状态信息包括驾驶员头部姿态和方向盘角度;所述根据所述目标区域控制所述车辆的所述左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,包括:根据所述车辆的综合状态信息确定所述车辆的行驶状态,所述行驶状态至少包括直行或转弯;根据所述车外状态信息确定目标对象的状态信息,所述车外状态信息为通过至少一个车外摄像头获取的所述车辆外的影像数据,所述目标对象包括行人和/或其他车辆,所述目标对象的状态信息包括所述目标对象与所述车辆之间的距离;若所述目标对象为行人,当所述车辆的行驶状态为直行,且所述行人与所述车辆之间的距离小于或等于第一距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,所述第一提示信息用于提示所述驾驶员观测与目标区域对应的屏幕;若所述目标对象为行人,当所述车辆的行驶状态为转弯,且所述行人与所述车辆之间的距离小于或等于第二距离时,在与所述行人同侧的屏幕上显示与所述行人对应的目标区域的目标影像,并输出第一提示信息,其中,所述第二距离小于所述第一距离;若所述目标对象为其他车辆,当所述车辆的行驶状态为直行,且所述其他车辆与所述车辆之间的距离小于或等于第三距离时,在与所述其他车辆同侧的屏幕上显示与所述其他车辆对应的目标区域的画面,并输出第一提示信息;若所述目标对象为其他车辆,当所述车辆的行驶状态为转弯,且所述其他车辆与所述车辆之间的距离小于或等于第四距离时,在与所述其他车辆同侧的屏幕上显示与所述其他
车辆对应的目标区域的画面,并输出第一提示信息,其中,所述第四距离小于第三距离。7.根据权利要求6所述的方法,其特征在于,所述根据所述车外状态信息确定目标对象的状态信息之前,所述方法还包括:获取车辆数据集,所述车辆数据集包括所述车辆历史的行驶状态和第一速度信息,所述行驶状态至少包括直行或转弯;根据所述车外状态状态信息生成所述目标对象数据集,所述目标对象数据集包括行人数据集和/或车辆数据集,所述行人数据集包括行人形态信息和第二速度信息,所述行人形态信息包括身高和朝向,所述车辆数据集包括:车辆行驶状态信息、车辆轨迹信息和第三速度信息;将所述目标对象数据集和所述车辆数据集输入至安全距离预测模型中,得到所述目标对象和所述车辆之间的安全距离,其中所述安全距离包括所述第一距离、所述第二距离、所述第三距离或所述第四距离,所述安全距离预测模型为根据多个目标对象数据集样本、对应的车辆数据集样本和对应的安全距离训练得到的模型,所述目标对象数据集和所述车辆数据集属于特征数据,所述安全距离属于标签数据。8.一种驾驶场景中基于驾驶员视野状态的影像显示装置,其特征在于,所述装置包括:获取单元,用于获取车辆的综合状态信息,所述综合状态信息包括以下至少一种:方向盘角度、驾驶员头部姿态、副驾驶位乘坐人员的姿态;预测单元,用于根据所述综合状态信息预测所述驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,所述目标区域包括以下至少一种:所述车辆的左侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧a柱所遮挡的且区域边界与所述车辆之间的最远距离小于预设距离的区域、所述车辆的右侧后视镜所显示影像对应的景象区域;显示单元,用于根据所述目标区域控制所述车辆的左侧a柱的左侧屏幕和/或右侧a柱的右侧屏幕进行影像显示,所述左侧屏幕为设置在所述左侧a柱上的屏幕,所述右侧屏幕为设置在所述右侧a柱上的屏幕。9.一种车辆,其特征在于,包括:自动驾驶域控制器、存储器及存储在所述存储器上并能够在所述自动驾驶域控制器上运行的计算机程序,所述计算机程序被所述自动驾驶域控制器执行时实现如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质或计算机程序,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在自动驾驶域控制器上运行时,实现如权利要求1-7任一项所述的方法。
技术总结
本申请实施例提供一种影像显示方法及相关装置、车辆、存储介质和程序。该方法包括:获取所述车辆的综合状态信息;根据综合状态信息预测驾驶员的人眼需要观测、且处于被遮挡状态的目标区域,根据目标区域控制车辆的左侧A柱的左侧屏幕和/或右侧A柱的右侧屏幕进行影像显示,采用本申请实施例,在车辆的智能座舱的A柱影像显示场景中,相对于现有单一、固化显示固定取景范围的方案,有利于提高自动驾驶域控制器进行影像显示的灵活性准确度和全面性,提高车辆驾驶安全性,提高用户驾驶体验。提高用户驾驶体验。提高用户驾驶体验。
技术研发人员:王源 黄志文
受保护的技术使用者:深圳曦华科技有限公司
技术研发日:2022.12.30
技术公布日:2023/9/5
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/