驾驶状态分析方法、装置、设备、存储介质及车辆与流程
未命名
10-18
阅读:73
评论:0

1.本公开涉及计算机技术领域,尤其涉及一种驾驶状态分析方法、装置、设备、存储介质及车辆。
背景技术:
2.随着时代的进步,用户借助车辆出行的频率越来越高,车辆的行驶安全性一直是用户重点关注的问题。
3.在车辆行驶过程中,随着用户驾驶时间的延长以及周边环境的变化,用户无法始终保持注意力集中状态来驾驶车辆。因此,在用户驾驶车辆的过程中,对用户的驾驶状态进行分析,以提醒用户集中注意力驾驶车辆,进而保证车辆行驶安全性,是目前亟需解决的技术问题。
技术实现要素:
4.为了解决上述技术问题,本公开提供了一种驾驶状态分析方法、装置、设备、存储介质及车辆。
5.第一方面,本公开提供了一种驾驶状态分析方法,该方法包括:
6.获取当前驾驶用户的实时三维数据;
7.基于实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据;
8.将偏转数据和预设偏转数据阈值进行比较,得到比较结果;
9.根据比较结果,从多个驾驶状态中选择出当前驾驶用户的目标驾驶状态。
10.第二方面,本公开提供了一种驾驶状态分析装置,该装置包括:
11.实时三维数据获取模块,用于获取当前驾驶用户的实时三维数据;
12.偏转数据计算模块,用于基于实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据;
13.比较模块,用于将所述偏转数据和预设偏转数据阈值,得到比较结果;
14.目标驾驶状态确定模块,用于根据比较结果,从多个驾驶状态中选择出当前驾驶用户的目标驾驶状态。
15.第三方面,本公开实施例还提供了一种驾驶状态分析设备,该设备包括:
16.一个或多个处理器;
17.存储装置,用于存储一个或多个程序,
18.当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面所提供的驾驶状态分析方法。
19.第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面所提供的驾驶状态分析方法。
20.第五方面,本公开实施例还提供了一种车辆,该车辆包括以下至少一种:
21.如第二方面所描述的驾驶状态分析装置;
22.如第三方面所描述的驾驶状态分析设备;
23.如第四方面所描述的计算机可读存储介质。
24.本公开实施例提供的技术方案与现有技术相比具有如下优点:
25.本公开实施例的一种驾驶状态分析方法、装置、设备、存储介质及车辆,在获取到当前驾驶用户的实时三维数据之后,能够根据实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据,然后,将偏转数据和预设偏转数据阈值,得到比较结果,最后,根据比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态。由此,根据向量与平面之间的几何关系,能够准确的分析出偏转数据进而确定驾驶用户的驾驶状态,使得精准掌握用户的驾驶状态,进一步根据用户的驾驶状态来提醒用户保持集中状态去驾驶车辆,最终提高了车辆行驶安全性。
附图说明
26.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
27.为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
28.图1为本开实施例提供的一种驾驶状态分析系统的架构图;
29.图2为本公开实施例提供的一种驾驶状态分析方法的流程示意图;
30.图3为本公开实施例提供的一种实时三维数据对应的平面示意图;
31.图4为本公开实施例提供的另一种驾驶状态分析方法的流程示意图;
32.图5为本公开实施例提供的又一种驾驶状态分析方法的流程示意图;
33.图6为本公开实施例提供的一种驾驶状态分析装置的结构示意图;
34.图7为本公开实施例提供的一种驾驶状态分析设备的结构示意图。
具体实施方式
35.为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
36.在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
37.在用户驾驶车辆的过程中,为了保证车辆行驶安全性,本公开实施例提供了能够准确分析出驾驶状态的一种驾驶状态分析方法、装置、设备及存储介质。
38.图1示出了本公开实施例提供的一种驾驶状态分析系统的架构图。
39.如图1所示,该架构图可以包括车辆101和服务器102。车辆101可以通过网络协议如超文本传输安全协议(hyper text transfer protocol over secure socket layer,https)与服务器102建立连接并进行信息交互。服务器102可以是云服务器或者服务器集群
等具有存储及计算功能的设备。
40.基于上述架构,在一些实施例中,车辆101上可以包括相机,服务器102可以对当前驾驶用户进行驾驶状态分析。
41.具体的,利用服务器102对当前驾驶用户进行驾驶状态分析,具体可以包括以下步骤:首先,服务器102获取预先确定的目标参照平面;然后,服务器102获取车辆101发送的当前驾驶用户的实时三维数据;接着,服务器102基于实时三维数据确定对应的实时三维向量,并基于实时三维向量以及目标参照平面,计算当前驾驶用户的偏转数据;最后,服务器102根据偏转数据和预设偏转数据阈值,确定当前驾驶用户的目标驾驶状态。
42.基于上述架构,在另一些实施例中,车辆101上可以包括相机和电子设备,车辆101上的电子设备可以对当前驾驶用户进行驾驶状态分析。其中,电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端等具有通信功能的设备。
43.具体的,利用车辆101上电子设备对当前驾驶用户进行驾驶状态分析,具体可以包括以下步骤:首先,电子设备可以获取服务器102预先确定的目标参照平面;然后,电子设备可以获取当前驾驶用户的实时三维数据并确定实时三维数据确定对应的实时三维向量,以及基于实时三维向量和目标参照平面,计算当前驾驶用户的偏转数据;最后,电子设备根据偏转数据和预设偏转数据阈值,确定当前驾驶用户的目标驾驶状态。
44.基于上述架构,在又一些实施例中,车辆101上可以包括相机,车辆101的控制器可以对当前驾驶用户进行驾驶状态分析。
45.具体的,利用车辆101的控制器对当前驾驶用户进行驾驶状态分析,具体可以包括以下步骤:首先,车辆101的控制器可以获取服务器102预先确定的目标参照平面;然后,车辆101的控制器可以获取当前驾驶用户的实时三维数据并确定实时三维数据确定对应的实时三维向量,以及基于实时三维向量和目标参照平面,计算当前驾驶用户的偏转数据;最后,车辆101的控制器根据偏转数据和预设偏转数据阈值,确定当前驾驶用户的目标驾驶状态。
46.由此,基于上述架构,根据向量与平面之间的几何关系,能够准确的分析出驾驶用户的驾驶状态,使得精准掌握用户的驾驶状态,进一步根据用户的驾驶状态来提醒用户保持集中状态去驾驶车辆,最终提高了车辆行驶安全性。
47.根据上述架构,下面结合图2至图6对本公开实施例提供的驾驶状态分析方法进行说明。在本公开实施例中,该驾驶状态分析方法可以由车辆上的电子设备、与车辆通信的服务器以及车辆上的控制器执行。在本实施例中,该电子设备可以是图1所示的车辆101上的电子设备,该服务器可以是图1所示的服务器102。其中,电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端等具有通信功能的设备。
48.需要说明的是,以下实施例以服务器作为执行主体进行具体的解释。
49.图2示出了本公开实施例提供的一种驾驶状态分析方法的流程示意图。
50.如图2所示,该驾驶状态分析方法可以包括如下步骤。
51.s210、获取当前驾驶用户的实时三维数据。
52.在本公开实施例中,在进行驾驶状态分析时,服务器可以获取车辆上的图像采集设备采集的当前驾驶用户的面部数据、除了面部数据之外的头部数据以及上躯干数据等数据中的至少一种,并根据面部数据、头部数据以及上躯干数据确定当前驾驶用户的实时三
维数据。
53.在本公开实施例中,当前驾驶用户可以是正在驾驶车辆行驶且需要分析驾驶状态的任一用户。
54.在本公开实施例中,实时三维数据可以是三维点云数据。当实时三维数据基于当前驾驶用户的面部数据确定时,实时三维数据具体可以包括当前驾驶用户的面部关键点的点云数据。
55.可选的,面部关键点可以包括面部轮廓关键点、眼部关键点、鼻子关键点以及嘴巴关键点等。
56.在一些实施例中,可以通过平面图像采集设备采集当前驾驶用户的二维图像数据。具体的,服务器可以将二维图像数据转换成三维数据,得到实时三维数据。
57.可选的,平面图像采集设备可以是摄像头、单目相机、图像传感器中的任意一种。
58.在另一些实施例中,可以通过车辆上的立体图像采集设备采集当前驾驶用户的点云数据,并根据点云数据确定实时三维数据。
59.可选的,立体图像采集设备可以是结构立体相机、立体视觉传感器中的任意一种。
60.为了便于理解实时三维数据,以根据面部数据确定实时三维数据为例,图3示出了本公开实施例提供的一种实时三维数据对应的平面示意图。
61.如图3所示,该实时三维数据由面部关键点构成。面部关键点包括面部轮廓关键点、眼部关键点、鼻子关键点以及嘴巴关键点,共68个关键点。上述关键点是二维图像数据,在确定上述关键点之后,可以将上述二维图像数据转换成三维数据,得到实时三维数据。
62.s220、基于实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据。
63.在本公开实施例中,在计算当前驾驶用户的偏转数据之前,服务器可以获取目标参照平面,将目标参照平面作为标准平面,并确定实时三维数据对应的实时三维向量。在计算当前驾驶用户的偏转数据时,可以计算实时三维向量与目标参照平面的几何关系,得到当前驾驶用户的偏转数据。
64.在本公开实施例中,实时三维向量可以是由实时三维数据对应的坐标确定的向量。
65.在本公开实施例中,目标参照平面可以是由参考驾驶用户的标准三维数据确定的二维平面,也可以是根据相机的标准拍摄位置确定的二维平面。
66.在一些实施例中,实时三维向量和目标参照平面可以位于同一个坐标系,该坐标系可以是世界坐标系或相机坐标系。
67.若实时三维向量和目标参照平面位于同一个坐标系,可以直接计算实时三维向量与目标参照平面的几何关系,得到当前驾驶用户的偏转数据。
68.在另一些实施例中,实时三维向量和目标参照平面可以位于不同的坐标系。具体的,实时三维向量位于世界坐标系,目标参照平面可以位于相机坐标系。需要说明的是,若实时三维向量和目标参照平面位于不同的坐标系,可以将实时三维向量转换至目标参照平面所在的坐标系,使得在同一个坐标系下,计算转化后的三维向量与目标参照平面的几何关系,得到当前驾驶用户的偏转数据。
69.由此,在本公开实施例中,根据向量与平面之间的几何关系,能够准确的确定出用
于分析驾驶用户的驾驶状态的偏转数据,使得后续根据偏转数据确定驾驶用户的驾驶状态。
70.s230、将偏转数据和预设偏转数据阈值进行比较,得到比较结果。
71.在本公开实施例中,在得到偏转数据之后,服务器可以将偏转数据与预设偏转数据阈值进行比较,从而得到偏转数据和预设偏转数据阈值的比较结果。
72.在本公开实施例中,预设偏转数据阈值可以是预先确定的用于分析驾驶状态的偏转数据。
73.在一些实施例中,偏转数据可以包括:上下偏转角度、上下偏转角度对应的持续时间,相应的,预设偏转数据阈值可以包括第一预设角度阈值和第一预设时间阈值,则比较结果可以包括以下任意一种:上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间大于第一预设时间阈值、上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值、上下偏转角度小于或等于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值。
74.在另一些实施例中,偏转数据可以包括:左右偏转角度、左右偏转角度对应的持续时间,相应的,预设偏转数据阈值可以包括第二预设角度阈值和第二预设时间阈值,则比较结果可以包括以下任意一种:左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间大于第二预设时间阈值、左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于第二预设时间阈值、左右偏转角度小于或等于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于第二预设时间阈值。
75.在又一些实施例中,偏转数据可以包括:上下偏转角度、上下偏转角度对应的持续时间、左右偏转角度、左右偏转角度对应的持续时间,相应的,预设偏转数据阈值可以包括第一预设角度阈值、第一预设时间阈值、第二预设角度阈值和第二预设时间阈值,则比较结果可以包括以下任意一种:上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间大于第一预设时间阈值、上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值、上下偏转角度小于或等于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值、左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间大于第二预设时间阈值、左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于第二预设时间阈值、左右偏转角度小于或等于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于第二预设时间阈值。
76.s240、根据比较结果,从多个驾驶状态中选择出当前驾驶用户的目标驾驶状态。
77.在本公开实施例中,服务器可以预先获取多个驾驶状态,在对偏转数据和预设偏转数据阈值进行比较且得到比较结果之后,从多个驾驶状态中选择出与比较结果对应的驾驶状态,作为当前驾驶用户的目标驾驶状态。
78.在本公开实施例中,多个驾驶状态可以包括正常驾驶状态、疲劳瞌睡状态以及分心状态等。
79.具体的,服务器预先确定每个比较结果对应的驾驶状态,在确定比较结果之后,可以直接选择出与该比较结果对应的驾驶状态,作为当前驾驶用户的目标驾驶状态。
80.在一些实施例中,若上下偏转角度大于第一预设角度阈值且上下偏转角度对应的
持续时间大于第一预设时间阈值,则该比较结果对应的驾驶状态为疲劳瞌睡状态,则将疲劳瞌睡状态作为当前驾驶用户的目标驾驶状态;
81.在另一些实施例中,若左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间大于第二预设时间阈值,则该比较结果对应的驾驶状态为分心状态,则将分心状状态作为当前驾驶用户的目标驾驶状态。
82.在本公开实施例中,在获取到当前驾驶用户的实时三维数据之后,能够根据实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据,然后,将偏转数据和预设偏转数据阈值,得到比较结果,最后,根据比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态。由此,根据向量与平面之间的几何关系,能够准确的分析出偏转数据进而确定驾驶用户的驾驶状态,使得精准掌握用户的驾驶状态,进一步根据用户的驾驶状态来提醒用户保持集中状态去驾驶车辆,最终提高了车辆行驶安全性。
83.在本公开另一种实施方式中,若实时三维数据位于世界坐标系,目标参照平面位于相机坐标系,则可以先确定世界坐标系与相机坐标系之间的转换关系,使得在同一个坐标系下,根据实时三维向量和目标参照平面,计算当前驾驶用户的偏转数据。
84.图4示出了本公开实施例提供的另一种驾驶状态分析方法的流程示意图。
85.如图4所示,该驾驶状态分析方法可以包括如下步骤。
86.s410、计算实时三维数据所在的世界坐标系与目标参照平面所在的相机坐标系之间的转换关系。
87.在本公开实施例中,在分析当前驾驶用户的驾驶状态之前,服务器可以根据在世界坐标系和相机坐标系下采集到的数据,计算该转换关系。
88.在本公开实施例中,世界坐标系是客观三维世界的绝对坐标系,可以用于描述物体的绝对位置。
89.在本公开实施例中,相机坐标系是以相机光点为中心,以平行于图像的两条边作为x轴和y轴,以光轴为z轴建立的坐标系。
90.在本公开实施例中,转换关系可以是坐标系之间的刚体变换关系。具体的,世界坐标系中的某一点可以通过刚体变换,即通过旋转和平移转换到相机坐标系下。
91.在本公开实施例中,可选的,s410具体可以包括如下步骤:
92.s4101、获取多个参考驾驶用户的参考图像数据和参考三维数据;
93.s4102、根据参考三维数据,构建世界坐标系;
94.s4103、根据参考图像数据、参考三维数据以及相机标定参数,计算世界坐标系与相机坐标系之间的转换关系。
95.具体的,在分析当前驾驶用户的驾驶状态之前,由于相机坐标系可以直接根据相机的中心以及图像直接构建,因此,在相机位置固定后,服务器可以直接确定相机坐标系。但是,由于驾驶状态不同会导致面部关键点的坐标不同,使得世界坐标系可能不固定。为了计算转换关系,服务器可以先根据获取到的数据构建世界坐标系,然后根据获取到的参考图像数据、参考三维数据、相机标定参数以及构建的世界坐标系,计算该转换关系。
96.其中,参考驾驶用户可以是历史驾驶用户。
97.其中,参考三维数据可以是世界坐标系下的稀疏点云,可以是通过立体相机采集
得到的三维点云数据,也可以是将获取到的参考图像数据输入预先训练好的转换模型得到的三维点云数据。具体的,可以对多个参考驾驶用户的同一部位的参考三维数据求平均,得到新的参考三维数据;然后,根据新的参考三维数据中多个关键点的三维坐标,构建世界坐标系。
98.再次参见图3,得到新的参考数据之后,可以连接关键点36与关键点45对应的新的参考数据,将得到的连线作为x轴,以关键点33对应的新的参考三维数据向x轴作垂线,将垂线作为y轴,然后,根据x轴和y轴建立右手三维坐标系,由此可以确定z轴,得到世界坐标系。
99.其中,参考图像数据可以是图像采集装置采集得到的图像坐标系下的二维平面数据,也可以是将参考三维数据输入预先训练好的转换模型,得到的图像坐标系下的二维平面数据。
100.其中,相机标定数据可以包括相机内参、相机畸变参数等。
101.在本公开实施例中,可选的,s4103具体可以包括如下步骤:
102.s41031、根据各个参考图像数据、参考图像数据对应的参考三维数据,以及相机畸变参数中的相机内参和畸变矩阵,计算世界坐标系与相机坐标系之间的旋转矩阵和平移矩阵;
103.s41032、将旋转矩阵和平移矩阵,作为转换关系。
104.具体的,服务器可以根据预先编写的opencv的函数solvepnp(*),进行刚体变换,得到刚体变换关系,将刚体变换关系作为转换关系。其中,该函数的原理是:针对图像坐标系下的每个参考图像数据,在世界坐标系下均能找到对应的参考三维数据,使得将参考图像数据与参考三维数据对应,然后,根据参考图像数据、参考三维数据,以及相机畸变参数中的相机内参和畸变矩阵,计算旋转矩阵r和平移矩阵t,由这两个矩阵构成的转换关系。
105.需要说明的是,上述转换关系可以是由世界坐标系转换到相机坐标系的转换关系,也可以是由相机坐标系转换到世界坐标系的转换关系。
106.由此,在本公开实施例中,可以根据采集到的参考图像数据和参考三维数据,以及相机标定参数,计算世界坐标系与相机坐标系之间的转换关系,使得基于该转换关系,将不同坐标系下的数据转换到同一个坐标系下,使得在同一个坐标系下进行数据处理。
107.s420、获取当前驾驶用户的标准三维数据。
108.在本公开实施例中,在分析当前驾驶用户的驾驶状态之前,服务器可以获取用户在标准驾驶姿态下驾驶车辆的点云数据,作为当前驾驶用户的标准三维数据。需要说明的是,标准驾驶姿态是注意力高度集中的驾驶姿态。
109.在本公开实施例中,标准姿态数据是位于世界坐标系下的点云数据。
110.在一些实施例中,标准三维数据可以是预先规定的固定的点云数据。需要说明的是,标准三维数据对于任意性别,任意体型的人群均使用。
111.在另一些实施例中,在历史时间段内,服务器可以采集当前驾驶用户处于注意力高度集中时的点云数据,对这些点云数据进行分析,得到标准三维数据。
112.s430、基于转换关系,将标准三维数据在世界坐标系下的初始参照平面转换到相机坐标系,得到目标参照平面。
113.在本公开实施例中,服务器可以先根据标准三维数据在世界坐标系下的三维坐标,将标准三维数据映射到世界坐标系的预设平面上,得到初始参照平面,然后,根据转换
关系将初始参照平面由世界坐标系转换到相机坐标系,得到目标参照平面。
114.在一些实施例中,预设平面可以是世界坐标系的xoz平面。
115.在另一些实施例中,预设平面可以是世界坐标系的yoz平面。
116.s440、获取当前驾驶用户的实时三维数据。
117.其中,s440与s210相似,在此不做赘述。
118.s450、基于转换关系,将实时三维数据对应的实时三维向量由世界坐标系转换到相机坐标系,得到目标转换向量。
119.在本公开实施例中,服务器可以根据实时三维数据,计算在世界坐标系下对应的实时三维向量,然后,根据转换关系,将实时三维向量转换到相机坐标系,得到目标转换向量。
120.可选的,实时三维向量可以是实时三维数据映射到世界坐标系的任意一个坐标轴上的向量,也可以是由实时三维数据构成的三维图形中的向量。
121.由此,在本公开实施例中,根据转换关系,可以将实时三维向量转换到相机坐标系下,使得转换后的目标转换向量与目标参照平面位于同一个坐标系,便于在同一个坐标系中进行数据处理。
122.s460、在相机坐标系下,根据目标转换向量与目标参照平面,计算当前驾驶用户的偏转数据。
123.在本公开实施例中,服务器可以在相机坐标系下,对目标转换向量与目标参照平面进行几何运算,使得在同一个坐标系下计算偏转数据。
124.s470、将偏转数据和预设偏转数据阈值进行比较,得到比较结果。
125.s480、根据比较结果,从多个驾驶状态中选择出当前驾驶用户的目标驾驶状态。
126.其中,s470~s480与s230~s240相似,在此不做限制。
127.在本公开又一种实施方式中,若实时三维数据对应的实时三维向量以及目标参照平面均位于世界坐标系,则可以直接在世界坐标系下,根据实时三维数据对应的实时三维向量和目标参照平面,计算当前驾驶用户的偏转数据。
128.图5示出了本公开实施例提供的又一种驾驶状态分析方法的流程示意图。
129.如图5所示,该驾驶状态分析方法可以包括如下步骤。
130.s510、获取当前驾驶用户的实时三维数据。
131.其中,s510与s210相似,在此不做赘述。
132.s520、在实时三维向量以及目标参照平面所对应的世界坐标系下,根据实时转换向量与目标参照平面,计算当前驾驶用户的偏转数据。
133.在本公开实施例中,服务器可以先获取当前驾驶用户的标准三维数据,然后,在世界坐标系下,将标准三维数据映射到世界坐标系的预设平面上,得到位于世界坐标系下的目标参照平面,最后,根据实时转换向量与目标参照平面,计算当前驾驶用户的偏转数据。
134.在一些实施例中,预设平面可以是世界坐标系的xoz平面。
135.在另一些实施例中,预设平面可以是世界坐标系的yoz平面。
136.s530、将偏转数据和预设偏转数据阈值进行比较。
137.s540、根据比较结果,从多个驾驶状态中选择出当前驾驶用户的目标驾驶状态。
138.其中,s530~s540与s230~s240相似,在此不做限制。
139.由此,在本公开实施例中,可以获取世界坐标系下的实时三维向量以及目标参照平面,使得在世界坐标系下,计算当前驾驶用户的偏转数据,并根据偏转数据进一步确定当前驾驶用户的目标驾驶状态,这种分析方式简单,因此,适用性较好。
140.在本公开再一种实施方式中,可以根据目标转换向量与目标参照平面,计算当前驾驶用户的上下偏转角度或者左右偏转角度,使得根据上下偏转角度或者左右偏转角度,分析当前驾驶用户的目标驾驶状态。
141.在本公开一些实施例中,偏转数据可以包括上下偏转角度和上下偏转角度的第一持续时间,目标参照平面可以包括第一目标参照平面,预设偏转数据阈值包括第一预设角度阈值和第一预设时间阈值。
142.在本公开实施例中,可选地,s460具体可以包括如下步骤:
143.s4601、计算目标转换向量与第一目标参照平面之间的第一夹角;
144.s4602、将第一夹角作为上下偏转角度。
145.具体的,服务器可以在相机坐标系下,对目标转换向量与第一目标参照平面进行几何运算,得到第一夹角,并将第一夹角作为上下偏转角度。
146.其中,上下偏转角度可以是当前驾驶用户的抬头角度或者低头角度。
147.可选的,实时三维向量可以是将实时三维数据映射到世界坐标系的z轴的向量,可以将实时三维向量记为l,相应的,目标三维向量记为l。
148.其中,第一目标参照平面可以是将标准三维数据在世界坐标系下的初始参照平面映射到xoz平面之后,再转换到相机坐标系后得到的平面,可以将第一目标参照平面记为m1,由此,可以计算目标三维向量l与第一目标参照平面m1之间的第一夹角a,作为上下偏转角度。
149.在本公开实施例中,可选地,s470具体可以包括如下步骤:
150.s4701、将上下偏转角度和第一预设角度阈值进行比较,以及将第一持续时间和第一预设时间阈值进行比较,得到比较结果。
151.与s230的比较结果类似的,该比较结果可以包括以下任意一种:上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间大于第一预设时间阈值、上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值、上下偏转角度小于或等于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值。
152.在本公开实施例中,可选地,s480具体可以包括如下步骤:
153.若比较结果为上下偏转角度大于第一预设角度阈值,且第一持续时间大于第一预设时间阈值,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态。
154.具体的,服务器可以判断上下偏转角度是否大于第一预设角度阈值,以及判断第一持续时间是否大于第一预设时间阈值,若是,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的疲劳瞌睡状态,否则,继续分析下一时刻的目标驾驶状态。
155.由此,在本公开实施例中,在根据目标转换向量与目标参照平面,计算当前驾驶用户的上下偏转角度的情况下,可以根据上下偏转角度和上下偏转角度持续的时间,确定出当前驾驶用户的目标驾驶状态为疲劳瞌睡状态。
156.在本公开实施例中,可选地,在s440之后,该方法还包括如下步骤:
157.从实时三维数据中,提取当前驾驶用户的眼部轮廓的三维数据。
158.基于眼部轮廓的三维数据,计算当前驾驶用户的上下眼角距离。
159.其中,眼部轮廓的三维数据可以是眼球周围的点云数据。
160.具体的,服务器可以以眼球中心向上下眼角做垂线,从眼部轮廓的三维数据中选择出上下眼皮的数据,得到当前驾驶用户的上下眼角距离。
161.相应的,s480具体可以包括如下步骤:
162.若比较结果为上下偏转角度大于第一预设角度阈值,且第一持续时间大于第一预设时间阈值,且上下眼角距离小于预设距离阈值,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态。
163.具体的,服务器可以将上下眼角距离由世界坐标系转换到相机坐标系下,并在相机坐标系下判断上下偏转角度是否大于第一预设角度阈值,并判断第一持续时间是否大于第一预设时间阈值,以及判断上下眼角距离是否小于预设距离阈值,若是,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态,否则,继续分析下一时刻的目标驾驶状态。
164.由此,在本公开实施例中,在根据目标转换向量与目标参照平面,计算当前驾驶用户的上下偏转角度的情况下,可以结合上下偏转角度上下偏转角度持续的时间以及上下眼角距离,确定出当前驾驶用户的目标驾驶状态为疲劳瞌睡状态。
165.在本公开另一些实施例中,偏转数据可以包括左右偏转角度和左右偏转角度的第二持续时间,目标参照平面可以包括第二目标参照平面,预设偏转数据阈值可以包括第二预设角度阈值和第二预设时间阈值。
166.在本公开实施例中,可选地,s460具体可以包括如下步骤:
167.s4603、计算目标转换向量与第二目标参照平面之间的第二夹角;
168.s4604、将第二夹角作为左右偏转角度。
169.具体的,服务器可以在相机坐标系下,对目标转换向量与第二目标参照平面进行几何运算,得到第二夹角,并将第一夹角作为左右偏转角度。
170.其中,左右偏转角度可以是当前驾驶用户的左转头角度或者右转头角度。
171.其中,将实时三维向量记为l,相应的,目标三维向量记为l。
172.其中,第二目标参照平面可以是将标准三维数据在世界坐标系下的初始参照平面映射到yoz平面之后,再转换到相机坐标系后得到的平面,可以将第二目标参照平面记为m2,由此,可以计算目标三维向量l与第二目标参照平面m2之间的第二夹角b,作为左右偏转角度。
173.在本公开实施例中,可选地,s470具体可以包括如下步骤:
174.s4702、将左右偏转角度和第二预设角度阈值进行比较,以及将第二持续时间和第二预设时间阈值进行比较,得到比较结果。
175.与s230的比较结果类似的,该比较结果可以包括以下任意一种:左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间大于第二预设时间阈值、左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于第二预设时间阈值、左右偏转角度小于或等于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于
第二预设时间阈值。
176.在本公开实施例中,可选地,s480具体可以包括如下步骤:
177.若比较结果为左右偏转角度大于第二预设角度阈值,且第二持续时间大于第二预设时间阈值,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态。
178.具体的,服务器可以判断左右偏转角度是否大于第二预设角度阈值,以及判断第二持续时间是否大于第二预设时间阈值,若是,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态,否则,继续分析下一时刻的目标驾驶状态。
179.需要说明的是,第二预设角度阈值与第一预设角度阈值可以相等也可以不相等。第二预设时间阈值与第一预设时间阈值可以相等也可以不相等。
180.由此,在本公开实施例中,在根据目标转换向量与目标参照平面,计算当前驾驶用户的左右偏转角度的情况下,可以根据左右偏转角度和左右偏转角度持续的时间,确定出当前驾驶用户的目标驾驶状态为分心状态。
181.在本公开实施例中,可选地,在s440之后,该方法还包括如下步骤:
182.从实时三维数据中,提取当前驾驶用户的眼部轮廓的三维数据。
183.基于眼部轮廓的三维数据,计算当前驾驶用户的眼球中心的三维坐标。
184.具体的,服务器可以根据至少两组眼部轮廓的三维数据,确定出眼球中心的三维坐标。
185.相应的,s480具体可以包括如下步骤:
186.若比较结果为左右偏转角度大于第二预设角度阈值,且第二持续时间大于第二预设时间阈值,且眼球中心的三维坐标不等于预设眼球中心坐标,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态。
187.其中,预设眼球中心坐标可以是驾驶员在标准驾驶姿态下的眼球中心点坐标。
188.具体的,服务器可以将上下眼角距离由世界坐标系转换到相机坐标系下,并在相机坐标系下判断左右偏转角度是否大于第二预设角度阈值,并判断第二持续时间是否大于第二预设时间阈值,以及判断眼球中心的三维坐标是否不等于预设眼球中心坐标,若是,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态,否则,继续分析下一时刻的目标驾驶状态。
189.由此,在本公开实施例中,在根据目标转换向量与目标参照平面,计算当前驾驶用户的左右偏转角度的情况下,可以结合左右偏转角度左右转角度持续的时间以及眼球中心的三维坐标,确定出当前驾驶用户的目标驾驶状态为分心状态。
190.综上,在本公开实施例中,在根据目标转换向量与目标参照平面,计算当前驾驶用户的上下偏转角度和左右偏转角度的情况下,可以采用不同的方式确定出当前驾驶用户的目标驾驶状态为疲劳瞌睡状态或者分心状态,提高了目标驾驶状态分析的准确性和多样性。
191.在本公开再一种实施方式中,可以根据实时三维向量与目标参照平面,计算当前驾驶用户的上下偏转角度或者左右偏转角度,使得根据上下偏转角度或者左右偏转角度,分析当前驾驶用户的目标驾驶状态。
192.在本公开一些实施例中,偏转数据可以包括上下偏转角度和上下偏转角度的第一持续时间,目标参照平面可以包括第一目标参照平面,预设偏转数据阈值包括第一预设角
度阈值和第一预设时间阈值。
193.在本公开实施例中,可选地,s520具体可以包括如下步骤:
194.s5201、计算实时三维向量与第一目标参照平面之间的第三夹角;
195.s5202、将第三夹角作为上下偏转角度。
196.其中,第三夹角的计算方式与第一夹角的计算方式相似,在此不做赘述。
197.在本公开实施例中,可选地,s530具体可以包括如下步骤:
198.s5301、将上下偏转角度和第一预设角度阈值进行比较,以及将第一持续时间和第一预设时间阈值进行比较,得到比较结果。
199.与s230的比较结果类似的,该比较结果可以包括以下任意一种:上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间大于第一预设时间阈值、上下偏转角度大于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值、上下偏转角度小于或等于第一预设角度阈值且上下偏转角度对应的持续时间小于或等于第一预设时间阈值。
200.在本公开实施例中,可选地,s540具体可以包括如下步骤:
201.若比较结果为上下偏转角度大于第一预设角度阈值,且第一持续时间大于第一预设时间阈值,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态。
202.其中,s540与s480的具体实现方式一致,在此不做赘述。
203.由此,在本公开实施例中,在根据实时三维向量与目标参照平面,计算当前驾驶用户的上下偏转角度的情况下,可以根据上下偏转角度和上下偏转角度持续的时间,确定出当前驾驶用户的目标驾驶状态为疲劳瞌睡状态。
204.在本公开实施例中,可选地,在s510之后,该方法还包括如下步骤:
205.从实时三维数据中,提取当前驾驶用户的眼部轮廓的三维数据。
206.基于眼部轮廓的三维数据,计算当前驾驶用户的上下眼角距离。
207.相应的,s540具体可以包括如下步骤:
208.若比较结果为上下偏转角度大于第一预设角度阈值,且第一持续时间大于第一预设时间阈值,且上下眼角距离小于预设距离阈值,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态。
209.具体的,服务器可以在世界坐标系转换到相机坐标系下,判断上下偏转角度是否大于第一预设角度阈值,并判断第一持续时间是否大于第一预设时间阈值,以及判断上下眼角距离是否小于预设距离阈值,若是,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态,否则,继续分析下一时刻的目标驾驶状态。
210.由此,在本公开实施例中,在根据实时三维向量与目标参照平面,计算当前驾驶用户的上下偏转角度的情况下,可以结合上下偏转角度上下偏转角度持续的时间以及上下眼角距离,确定出当前驾驶用户的目标驾驶状态为疲劳瞌睡状态。
211.在本公开另一些实施例中,偏转数据可以包括左右偏转角度和左右偏转角度的第二持续时间,目标参照平面可以包括第二目标参照平面,预设偏转数据阈值可以包括第二预设角度阈值和第二预设时间阈值。
212.在本公开实施例中,可选地,s520具体可以包括如下步骤:
213.s5203、计算实时三维向量与第二目标参照平面之间的第四夹角;
214.s5204、将第四夹角作为左右偏转角度。
215.其中,第四夹角的计算方式与第二夹角的计算方式相似,在此不做赘述。
216.在本公开实施例中,可选地,s530具体可以包括如下步骤:
217.s5302、将左右偏转角度和第二预设角度阈值进行比较,以及将第二持续时间和第二预设时间阈值进行比较,得到比较结果。
218.与s230的比较结果类似的,该比较结果可以包括以下任意一种:左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间大于第二预设时间阈值、左右偏转角度大于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于第二预设时间阈值、左右偏转角度小于或等于第二预设角度阈值且左右偏转角度对应的持续时间小于或等于第二预设时间阈值。
219.在本公开实施例中,可选地,s540具体可以包括如下步骤:
220.若比较结果为左右偏转角度大于第二预设角度阈值,且第二持续时间大于第二预设时间阈值,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态。
221.其中,s540与s480的具体实现方式一致,在此不做赘述。
222.由此,在本公开实施例中,在根据实时三维向量与目标参照平面,计算当前驾驶用户的左右偏转角度的情况下,可以根据左右偏转角度和左右偏转角度持续的时间,确定出当前驾驶用户的目标驾驶状态为分心状态。
223.在本公开实施例中,可选地,在s510之后,该方法还包括如下步骤:
224.从实时三维数据中,提取当前驾驶用户的眼部轮廓的三维数据。
225.基于眼部轮廓的三维数据,计算当前驾驶用户的眼球中心的三维坐标。
226.相应的,s540具体可以包括如下步骤:
227.若比较结果为左右偏转角度大于第二预设角度阈值,且第二持续时间大于第二预设时间阈值,且眼球中心的三维坐标不等于预设眼球中心坐标,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态。
228.具体的,服务器可以在世界坐标系转换到相机坐标系下,判断左右偏转角度是否大于第二预设角度阈值,并判断第二持续时间是否大于第二预设时间阈值,以及判断眼球中心的三维坐标是否不等于预设眼球中心坐标,若是,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态,否则,继续分析下一时刻的目标驾驶状态。
229.由此,在本公开实施例中,在根据实时三维向量与目标参照平面,计算当前驾驶用户的左右偏转角度的情况下,可以结合左右偏转角度左右转角度持续的时间以及眼球中心的三维坐标,确定出当前驾驶用户的目标驾驶状态为分心状态。
230.综上,在本公开实施例中,在根据实时三维向量与目标参照平面,计算当前驾驶用户的上下偏转角度和左右偏转角度的情况下,可以采用不同的方式确定出当前驾驶用户的目标驾驶状态为疲劳瞌睡状态或者分心状态,提高了目标驾驶状态分析的准确性和多样性。
231.本公开实施例还提供了一种用于实现上述的驾驶状态分析方法的驾驶状态分析装置,下面结合图6进行说明。在本公开实施例中,该驾驶状态分析装置可以为是服务器或者车辆上的电子设备。其中,服务器可以是云服务器或者服务器集群等具有存储及计算功
能的设备。电子设备可以包括移动电话、平板电脑、台式计算机、笔记本电脑、车载终端等具有通信功能的设备。
232.图6示出了本公开实施例提供的一种驾驶状态分析装置的结构示意图。
233.如图6所示,驾驶状态分析装置600可以包括:实时三维数据获取模块610、偏转数据计算模块620、比较模块630和目标驾驶状态确定模块640。
234.实时三维数据获取模块610,可以用于获取当前驾驶用户的实时三维数据;
235.偏转数据计算模块620,可以用于基于实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据;
236.比较模块630,用于将偏转数据和预设偏转数据阈值,得到比较结果;
237.目标驾驶状态确定模块640,用于根据比较结果,从多个驾驶状态中选择出当前驾驶用户的目标驾驶状态。
238.在本公开实施例中,在获取到当前驾驶用户的实时三维数据之后,能够根据实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据,然后,将偏转数据和预设偏转数据阈值,得到比较结果,最后,根据比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态。由此,根据向量与平面之间的几何关系,能够准确的分析出偏转数据进而确定驾驶用户的驾驶状态,使得精准掌握用户的驾驶状态,进一步根据用户的驾驶状态来提醒用户保持集中状态去驾驶车辆,最终提高了车辆行驶安全性。
239.在一些可选的实施例中,该装置还可以包括:
240.转换关系计算模块,可以用于计算实时三维数据所在的世界坐标系与目标参照平面所在的相机坐标系之间的转换关系;
241.相应的,偏转数据计算模块620,可以包括:
242.目标转换向量确定单元,可以用于基于转换关系,将实时三维数据对应的实时三维向量由世界坐标系转换到相机坐标系,得到目标转换向量;
243.偏转数据计算单元,可以用于在相机坐标系下,根据目标转换向量与目标参照平面,计算当前驾驶用户的偏转数据。
244.在一些可选的实施例中,转换关系计算模块,可以包括:
245.数据获取单元,可以用于获取多个参考驾驶用户的参考图像数据和参考三维数据;
246.世界坐标系构建单元,可以用于根据参考三维数据,构建世界坐标系;
247.转换关系计算单元,可以用于根据参考图像数据、参考三维数据以及相机标定参数,计算世界坐标系与相机坐标系之间的转换关系。
248.在一些可选的实施例中,该装置还可以包括:
249.标准三维数据模块,可以用于获取当前驾驶用户的标准三维数据;
250.目标参照平面确定模块,可以用于基于转换关系,将标准三维数据在世界坐标系下的初始参照平面转换到相机坐标系,得到目标参照平面。
251.在一些可选的实施例中,偏转数据包括上下偏转角度,目标参照平面包括第一目标参照平面;
252.相应的,偏转数据计算单元具体可以用于,计算目标转换向量与第一目标参照平
面之间的第一夹角;
253.将第一夹角作为上下偏转角度。
254.在一些可选的实施例中,偏转数据还包括上下偏转角度的第一持续时间,预设偏转数据阈值包括第一预设角度阈值和第一预设时间阈值;
255.相应的,目标驾驶状态确定模块640具体可以用于,若比较结果为上下偏转角度大于第一预设角度阈值,且第一持续时间大于第一预设时间阈值,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态。
256.在一些可选的实施例中,该装置还可以包括:
257.眼部轮廓的三维数据提取模块,可以用于从实时三维数据中,提取当前驾驶用户的眼部轮廓的三维数据;
258.上下眼角距离计算模块,可以用于基于眼部轮廓的三维数据,计算当前驾驶用户的上下眼角距离;
259.相应的,目标驾驶状态确定模块640具体可以用于,若比较结果为上下偏转角度大于第一预设角度阈值,且第一持续时间大于第一预设时间阈值,且上下眼角距离小于预设距离阈值,则从多个驾驶状态中选择出疲劳瞌睡状态,作为当前驾驶用户的目标驾驶状态。
260.在一些可选的实施例中,偏转数据包括左右偏转角度,目标参照平面包括第二目标参照平面;
261.相应的,偏转数据计算单元具体可以用于,计算目标转换向量与第二目标参照平面之间的第二夹角;
262.将第二夹角作为左右偏转角度。
263.在一些可选的实施例中,偏转数据还包括左右偏转角度的第二持续时间,预设偏转数据阈值包括第二预设角度阈值和第二预设时间阈值;
264.相应的,目标驾驶状态确定模块640具体可以用于,若比较结果为左右偏转角度大于第二预设角度阈值,且第二持续时间大于第二预设时间阈值,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态。
265.在一些可选的实施例中,该装置还可以包括:
266.眼部轮廓的三维数据提取模块,可以用于从实时三维数据中,提取当前驾驶用户的眼部轮廓的三维数据;
267.眼球中心的三维坐标计算模块,可以用于基于眼部轮廓的三维数据,计算当前驾驶用户的眼球中心的三维坐标;
268.相应的,目标驾驶状态确定模块640具体可以用于,若比较结果为左右偏转角度大于第二预设角度阈值,且第二持续时间大于第二预设时间阈值,且眼球中心的三维坐标不等于预设眼球中心坐标,则从多个驾驶状态中选择出分心状态,作为当前驾驶用户的目标驾驶状态。
269.需要说明的是,图6所示的驾驶状态分析装置600可以执行图2至图5所示的方法实施例中的各个步骤,并且实现图2至图5所示的方法实施例中的各个过程和效果,在此不做赘述。
270.图7示出了本公开实施例提供的一种驾驶状态分析设备的结构示意图。
271.如图7所示,该驾驶状态分析设备可以包括处理器701以及存储有计算机程序指令
的存储器702。需要说明的是,图7的驾驶状态分析设备700可以是服务器,也可以是车辆上的电子设备。
272.具体地,上述处理器701可以包括中央处理器(cpu),或者特定集成电路(application specific integrated circuit,asic),或者可以被配置成实施本技术实施例的一个或多个集成电路。
273.存储器702可以包括用于信息或指令的大容量存储器。举例来说而非限制,存储器702可以包括硬盘驱动器(hard disk drive,hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus,usb)驱动器或者两个及其以上这些的组合。在合适的情况下,存储器702可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器702可在综合网关设备的内部或外部。在特定实施例中,存储器702是非易失性固态存储器。在特定实施例中,存储器702包括只读存储器(read-only memory,rom)。在合适的情况下,该rom可以是掩模编程的rom、可编程rom(programmable rom,prom)、可擦除prom(electrical programmable rom,eprom)、电可擦除prom(electrically erasable programmable rom,eeprom)、电可改写rom(electrically alterable rom,earom)或闪存,或者两个或及其以上这些的组合。
274.处理器701通过读取并执行存储器702中存储的计算机程序指令,以执行本公开实施例所提供的驾驶状态分析方法的步骤。
275.在一个示例中,该驾驶状态分析设备还可包括收发器703和总线704。其中,如图7所示,处理器701、存储器702和收发器703通过总线704连接并完成相互间的通信。
276.总线704包括硬件、软件或两者。举例来说而非限制,总线可包括加速图形端口(accelerated graphics port,agp)或其他图形总线、增强工业标准架构(extended industry standard architecture,eisa)总线、前端总线(front side bus,fsb)、超传输(hyper transport,ht)互连、工业标准架构(industrial standard architecture,isa)总线、无限带宽互连、低引脚数(low pin count,lpc)总线、存储器总线、微信道架构(micro channel architecture,mca)总线、外围控件互连(peripheral component interconnect,pci)总线、pci-express(pci-x)总线、串行高级技术附件(serial advanced technology attachment,sata)总线、视频电子标准协会局部(video electronics standards association local bus,vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线704可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线,但本技术考虑任何合适的总线或互连。
277.以下是本公开实施例提供的计算机可读存储介质的实施例,该计算机可读存储介质与上述各实施例的驾驶状态分析方法属于同一个发明构思,在计算机可读存储介质的实施例中未详尽描述的细节内容,可以参考上述驾驶状态分析方法的实施例。
278.本实施例提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种驾驶状态分析方法,该方法包括:
279.获取当前驾驶用户的实时三维数据;
280.基于实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据;
281.将偏转数据和预设偏转数据阈值进行比较,得到比较结果;
282.根据比较结果,从多个驾驶状态中选择出当前驾驶用户的目标驾驶状态。
283.当然,本公开实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本公开任意实施例所提供的驾驶状态分析方法中的相关操作。
284.通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本公开可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机云平台(可以是个人计算机,服务器,或者网络云平台等)执行本公开各个实施例所提供的驾驶状态分析方法。
285.以下是本公开实施例提供的车辆的实施例,车辆可以包括上述实施例中的驾驶状态分析装置、驾驶状态分析设备以及计算机可读存储介质中的至少一种。其中,该车辆与上述各实施例的驾驶状态分析方法属于同一个发明构思,在车辆的实施例中未详尽描述的细节内容,可以参考上述驾驶状态分析方法的实施例。
286.注意,上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解,本公开不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此,虽然通过以上实施例对本公开进行了较为详细的说明,但是本公开不仅仅限于以上实施例,在不脱离本公开构思的情况下,还可以包括更多其他等效实施例,而本公开的范围由所附的权利要求范围决定。
技术特征:
1.一种驾驶状态分析方法,其特征在于,包括:获取当前驾驶用户的实时三维数据;基于所述实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算所述当前驾驶用户的偏转数据;将所述偏转数据和预设偏转数据阈值进行比较;根据比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态。2.根据权利要求1所述的方法,其特征在于,在所述基于所述实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算所述当前驾驶用户的偏转数据之前,所述方法还包括:计算所述实时三维数据所在的世界坐标系与所述目标参照平面所在的相机坐标系之间的转换关系;其中,所述基于所述实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算所述当前驾驶用户的偏转数据,包括:基于所述转换关系,将所述实时三维数据对应的实时三维向量由所述世界坐标系转换到所述相机坐标系,得到目标转换向量;在所述相机坐标系下,根据所述目标转换向量与所述目标参照平面,计算所述当前驾驶用户的偏转数据。3.根据权利要求2所述的方法,其特征在于,所述计算所述实时三维数据所在的世界坐标系与所述目标参照平面所在的相机坐标系之间的转换关系,包括:获取多个参考驾驶用户的参考图像数据和参考三维数据;根据所述参考三维数据,构建所述世界坐标系;根据所述参考图像数据、所述参考三维数据以及相机标定参数,计算所述世界坐标系与所述相机坐标系之间的转换关系。4.根据权利要求2所述的方法,其特征在于,在所述基于所述实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算所述当前驾驶用户的偏转数据之前,所述方法还包括:获取所述当前驾驶用户的标准三维数据;基于所述转换关系,将所述标准三维数据在所述世界坐标系下的初始参照平面转换到所述相机坐标系,得到所述目标参照平面。5.根据权利要求2所述的方法,其特征在于,所述偏转数据包括上下偏转角度,所述目标参照平面包括第一目标参照平面;其中,所述根据所述目标转换向量与所述目标参照平面,计算所述当前驾驶用户的偏转数据,包括:计算所述目标转换向量与所述第一目标参照平面之间的第一夹角;将所述第一夹角作为所述上下偏转角度。6.根据权利要求5所述的方法,其特征在于,所述偏转数据还包括所述上下偏转角度的第一持续时间,所述预设偏转数据阈值包括第一预设角度阈值和第一预设时间阈值;其中,所述根据所述比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态,包括:
若所述比较结果为所述上下偏转角度大于所述第一预设角度阈值,且所述第一持续时间大于所述第一预设时间阈值,则从所述多个驾驶状态中选择出疲劳瞌睡状态,作为所述当前驾驶用户的目标驾驶状态。7.根据权利要求6所述的方法,其特征在于,在所述获取当前驾驶用户的实时三维数据之后,所述方法还包括:从所述实时三维数据中,提取所述当前驾驶用户的眼部轮廓的三维数据;基于所述眼部轮廓的三维数据,计算所述当前驾驶用户的上下眼角距离;其中,所述根据所述比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态,包括:若所述比较结果为所述上下偏转角度大于所述第一预设角度阈值,且所述第一持续时间大于所述第一预设时间阈值,且所述上下眼角距离小于预设距离阈值,则从所述多个驾驶状态中选择出疲劳瞌睡状态,作为所述当前驾驶用户的目标驾驶状态。8.根据权利要求2所述的方法,其特征在于,所述偏转数据包括左右偏转角度,所述目标参照平面包括第二目标参照平面;其中,所述根据所述目标转换向量与所述目标参照平面,计算所述当前驾驶用户的偏转数据,包括:计算所述目标转换向量与所述第二目标参照平面之间的第二夹角;将所述第二夹角作为所述左右偏转角度。9.根据权利要求8所述的方法,其特征在于,所述偏转数据还包括所述左右偏转角度的第二持续时间,所述预设偏转数据阈值包括第二预设角度阈值和第二预设时间阈值;其中,所述根据所述比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态,包括:若所述比较结果为所述左右偏转角度大于所述第二预设角度阈值,且所述第二持续时间大于所述第二预设时间阈值,则从所述多个驾驶状态中选择出分心状态,作为所述当前驾驶用户的目标驾驶状态。10.根据权利要求9所述的方法,其特征在于,在所述获取当前驾驶用户的实时三维数据之后,所述方法还包括:从所述实时三维数据中,提取所述当前驾驶用户的眼部轮廓的三维数据;基于所述眼部轮廓的三维数据,计算所述当前驾驶用户的眼球中心的三维坐标;其中,所述根据所述比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态,包括:若所述比较结果为所述左右偏转角度大于所述第二预设角度阈值,且所述第二持续时间大于所述第二预设时间阈值,且所述眼球中心的三维坐标不等于预设眼球中心坐标,则从所述多个驾驶状态中选择出分心状态,作为所述当前驾驶用户的目标驾驶状态。11.一种驾驶状态分析装置,其特征在于,包括:实时三维数据获取模块,用于获取当前驾驶用户的实时三维数据;偏转数据计算模块,用于基于所述实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算所述当前驾驶用户的偏转数据;比较模块,用于将所述偏转数据和预设偏转数据阈值,得到比较结果;
目标驾驶状态确定模块,用于根据所述比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态。12.一种驾驶状态分析设备,其特征在于,包括:处理器;存储器,用于存储可执行指令;其中,所述处理器用于从所述存储器中读取所述可执行指令,并执行所述可执行指令以实现上述权利要求1-10中任一项所述的驾驶状态分析方法。13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述存储介质存储有计算机程序,当所述计算机程序被处理器执行时,使得处理器实现上述权利要求1-10中任一项所述的驾驶状态分析方法。14.一种车辆,其特征在于,包括以下至少一种:如权利要求11所述的驾驶状态分析装置;如权利要求12所述的驾驶状态分析设备;如权利要求13所述的计算机可读存储介质。
技术总结
本公开涉及一种驾驶状态分析方法、装置、设备、存储介质及车辆。该方法包括:获取当前驾驶用户的实时三维数据;基于实时三维数据对应的实时三维向量以及预先确定的目标参照平面,计算当前驾驶用户的偏转数据;将偏转数据和预设偏转数据阈值,得到比较结果;根据比较结果,从多个驾驶状态中选择出所述当前驾驶用户的目标驾驶状态。根据本公开实施例,根据向量与平面之间的几何关系,能够准确的分析出偏转数据进而确定驾驶用户的驾驶状态,使得精准掌握用户的驾驶状态,进一步根据用户的驾驶状态来提醒用户保持集中状态去驾驶车辆,最终提高了车辆行驶安全性。车辆行驶安全性。车辆行驶安全性。
技术研发人员:刘锋 勾晓菲 李涛
受保护的技术使用者:北京罗克维尔斯科技有限公司
技术研发日:2022.03.28
技术公布日:2023/10/11
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/