车辆疲劳驾驶的预警方法、装置、设备及可读存储介质与流程

1.本发明涉及汽车安全预警技术领域，具体而言，涉及车辆疲劳驾驶的预警方法、装置、设备及可读存储介质。


背景技术：

2.随着生活水平的提高，汽车的普及率越来越高，汽车的驾驶体验，舒适度及安全性、智能驾驶辅助功能越来越受重视。随着汽车数量的增加，车辆事故发生率也在逐步增加，而事故发生往往与驾驶员的疲劳驾驶存在较大关联。
3.随着速度的提高或持续高速行车，驾驶人会出现不同程度的驾驶疲劳现象。驾驶过程中因为疲劳而产生的困倦是大多数驾乘者都深有体会的，尤其是经常行驶在高速公路上的司机对于这样的感受更加深刻，在高速公路上行驶，道路环境单一，交通干扰少，速度稳定，行车中的噪声和振动频率小，易使驾驶人产生单调感而困倦瞌睡，由疲劳驾驶产生的交通事故危害是巨大的，因此疲劳驾驶是造成大多数交通事故的主要元凶之一，检测车内驾驶员的状态以防止疲劳驾驶的需求与日俱增。


技术实现要素：

4.本发明的目的在于提供车辆疲劳驾驶的预警方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
5.第一方面，本技术提供了车辆疲劳驾驶的预警方法，包括：
6.基于第一视频信息，确定驾驶人员面部图像信息；所述第一视频信息包括驾驶人员面部15s的视频录像；
7.获取车道线图像信息和方向盘转角信息；所述车道线图像信息包括车道行驶轨迹呈现出“s”形的图像，所述方向盘转角信息包括方向盘操作修正频度减少或瞬间大幅度修正交替出现的图像；
8.基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数；
9.判断所述危险系数达到第一预设阈值时，生成预警信号。
10.优选地，所述基于第一视频信息，确定驾驶人员面部图像信息，包括：
11.对所述第一视频信息提取关键帧图像，并基于提取到的所述关键帧图像进行异常检测，若异常检测结果为正常，则确定所述关键帧图像为所述驾驶人员面部图像信息，其中，所述关键帧图像包括驾驶人员在进入疲劳状态后眼睛出现闭合时间增长或闭合次数增加的图像；
12.其中，对所述关键帧图像进行异常检测的过程包括：提取所述关键帧图像前后预设时间段内的视频内容并对所述视频内容内的视频片段进行标记，并将标记好的视频按照采集的时间前后进行排序，得到排序后的视频片段；
13.将排序后的所述视频片段进行遍历，判断排序后的所述视频片段是否与预设的驾
驶人员的视频片段序列相同，若不同则将排序后的所述视频片段对应的所述关键帧图像标记为异常，若相同则将排序后的所述视频片段对应的所述关键帧图像标记为正常。
14.优选地，所述对所述第一视频信息提取关键帧图像，包括：
15.采用中值滤波对所述第一视频信息中的面部图像进行预处理，得到预处理后的第一图像；
16.利用最大类间方差阈值分割法对所述第一图像进行人脸检测定位到驾驶员的具体面部图像；
17.基于所述具体面部图像，建立驾驶员眼睛的感兴趣区域，采用形态学滤波和连通区域标记算法，对眼睛的轮廓进行提取和计算，得到瞳孔特征；
18.采用卡尔曼滤波方法对所述瞳孔特征进行跟踪，通过瞳孔检测眨眼频率，进而判断驾驶员是否进入疲劳状态；
19.将驾驶员进入疲劳状态之后的图像，确定为所述关键帧图像。
20.优选地，所述利用最大类间方差阈值分割法对所述第一图像进行人脸检测定位到驾驶员的具体面部图像，包括：
21.基于最大类间方差阈值分割法对第一图像进行灰度差度量选取阈值；
22.基于所述阈值对所述第一图像进行二值化处理，得到公式如下：
23.pi＝ni/n，i＝0，1，2，
…
，l-1
[0024][0025]
其中，n为图像像素数，灰度范围[0，t-1]，对应灰度级i的像素数为ni；
[0026]
采用最大类间方差阈值分割法的计算公式为：
[0027]
σ
2b
＝w0(u
0-u
t
)2+w1(u
1-u
t
)2＝w1w0(u
0-u1)2[0028]
其中，w0与w1分别为类c0和类c1发生的概率，均值为u
t
，c0的均值为u0，c1的均值为u1；t在[0，t-1]范围依次取值，使得σ
2b
最大的t值即为最大类间方差阈值分割法的最佳阈值。
[0029]
优选地，所述基于所述具体面部图像，建立驾驶员眼睛的感兴趣区域，采用形态学滤波和连通区域标记算法，对眼睛的轮廓进行提取和计算，得到瞳孔特征；采用卡尔曼滤波方法对所述瞳孔特征进行跟踪，通过瞳孔检测眨眼频率，进而判断驾驶员是否进入疲劳状态，包括：
[0030]
利用canny边缘检测算法对所述瞳孔特征进行检测，得到瞳孔区域边缘；
[0031]
基于最小二乘的椭圆拟合，对所述瞳孔区域边缘进行操作，确定瞳孔的最优参数解向量，得到驾驶员视线内所处的状态；
[0032]
基于所述驾驶员视线内所处的状态，判断驾驶员眼睛睁闭状态的阈值th为：
[0033][0034]
其中，hb是历史训练学习获得的驾驶员闭眼时上、下眼睑的高度，h2是经过学习得到的睁眼时上、下眼睑的高度，wb是经过学习得到的闭眼时内外眼角点间的宽度，w2是经过学习得到的睁眼时内外眼角间的宽度，w是当前检测到内外眼角点间的宽度，h是当前检测
到的上、下眼睑的高度；
[0035]
根据h和th，判断驾驶员是否进入疲劳状态。
[0036]
优选地，所述基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数，包括：
[0037]
对所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息进行预处理，确定预处理结果；
[0038]
采集车辆当前的行驶状态信息，根据所述行驶状态信息和所述预处理结果，确定车辆行驶的危险系数。
[0039]
优选地，所述判断所述危险系数达到第一预设阈值时，生成预警信号，包括：
[0040]
判断所述危险系数达到第一预设阈值时，获取所有车型的历史危险系数；所述历史危险系数包括在当前路段范围内预警次数、事故发生次数、发生预警的路段与当前路段的距离；
[0041]
将所有车型的所述历史危险系数进行加权求和，得到加权求和的结果，判断所述结果是否大于第二预设阈值，若所述结果大于所述第二预设阈值，则生成预警信号。
[0042]
第二方面，本技术还提供了一种车辆疲劳驾驶的预警装置，包括驾驶人员面部图像信息确定模块、获取模块、危险系数确定模块和预警信号生成模块，其中：
[0043]
驾驶人员面部图像信息确定模块：用于基于第一视频信息，确定驾驶人员面部图像信息；所述第一视频信息包括驾驶人员面部15s的视频录像；
[0044]
获取模块：用于获取车道线图像信息和方向盘转角信息；所述车道线图像信息包括车道行驶轨迹呈现出“s”形的图像，所述方向盘转角信息包括方向盘操作修正频度减少或瞬间大幅度修正交替出现的图像；
[0045]
危险系数确定模块：用于基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数；
[0046]
预警信号生成模块：用于判断所述危险系数达到第一预设阈值时，生成预警信号。
[0047]
第三方面，本技术还提供了一种车辆疲劳驾驶的预警设备，包括：
[0048]
存储器，用于存储计算机程序；
[0049]
处理器，用于执行所述计算机程序时实现所述车辆疲劳驾驶的预警方法的步骤。
[0050]
第四方面，本技术还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于车辆疲劳驾驶的预警方法的步骤。
[0051]
本发明的有益效果为：
[0052]
本发明利用图像传感器获取驾驶员面部图像信息、车道线图像信息、利用转角传感器获取方向盘信息，提取特征向量，并且将数据有效性判断和多源信息融合在一起，深度挖掘信息源数据和各个信息源之间的互补校验，实现对驾驶人员状态的可靠识别，当系统判断驾驶人员进入疲劳状态时，会自动根据驾驶人员目前的疲劳程度，从各个方面对驾驶人员进行预警。
[0053]
本发明采用最大类间方差阈值分割法对图像进行灰度差度量选取阈值，简单并且处理速度快，提高了对图像处理的效率。
[0054]
本发明利用人脸面部五官的位置分布关系，建立驾驶员眼睛的感兴趣区域进行运算。通过连通区域标记算法标记眼睛感兴趣区域内的各个区域，利用约束条件得到眼睛定
位，提取眼睛轮廓进行椭圆拟合，为驾驶人员视线估计和精神分散及疲劳检测提供了很好的依据。
[0055]
本发明利用canny边缘检测算法对所述瞳孔特征进行检测，得到瞳孔区域边缘提取后得到的图像中瞳孔区域轮廓更加明显，并有效去除了干扰，方便后续瞳孔中心定位。
[0056]
本发明根据驾驶人员面部图像信息、车道线图像信息和方向盘转角信息判断其危险系数，从而对驾驶员进行车速预警，有效避免因司机疲劳或注意力不集中导致的超速行为发生，进而提高汽车驾驶安全等级以及驾驶体验感，避免或减少道路交通事故的发生，降低意外发生率。
[0057]
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0058]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0059]
图1为本发明实施例中所述的车辆疲劳驾驶的预警方法流程示意图；
[0060]
图2为本发明实施例中所述的车辆疲劳驾驶的预警装置结构示意图；
[0061]
图3为本发明实施例中所述的车辆疲劳驾驶的预警设备结构示意图。
具体实施方式
[0062]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0063]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0064]
实施例1：
[0065]
本实施例提供了车辆疲劳驾驶的预警方法。
[0066]
参见图1，图中示出了本方法包括步骤s100、步骤s200、步骤s300和步骤s400。
[0067]
s100、基于第一视频信息，确定驾驶人员面部图像信息；所述第一视频信息包括驾驶人员面部15s的视频录像。
[0068]
可以理解的是，在本s100步骤中包括s101、s102和s103，其中：
[0069]
s101、对所述第一视频信息提取关键帧图像，并基于提取到的所述关键帧图像进
行异常检测，若异常检测结果为正常，则确定所述关键帧图像为所述驾驶人员面部图像信息，其中，所述关键帧图像包括驾驶人员在进入疲劳状态后眼睛出现闭合时间增长或闭合次数增加的图像；
[0070]
需要说明的是，为了考察疲劳检测算法的检测精度，是通过面部视频的方法进行评定的，会将驾驶人面部视频进行视频分割，形成系列为15s的视频片段，会根据视频录像进行节选，并对面部进行打分。
[0071]
进一步地，关键帧图像实际上是基于眼睛状态的疲劳特征进行提取、基于方向盘的疲劳特征进行提取和基于车辆行驶轨迹的疲劳特征进行提取。其中，在驾驶人员面部视频统计分析的基础上可以采用perclos和最长闭眼时间mcd作为疲劳的判别标准，随着驾驶人员疲劳等级的升高，perclos和mcd均呈现增大的趋势。
[0072]
本步骤利用图像传感器获取驾驶员面部图像信息、车道线图像信息、利用转角传感器获取方向盘信息，提取特征向量，并且将数据有效性判断和多源信息融合在一起，深度挖掘信息源数据和各个信息源之间的互补校验，实现对驾驶人员状态的可靠识别，当系统判断驾驶人员进入疲劳状态时，会自动根据驾驶人员目前的疲劳程度，从各个方面对驾驶人员进行预警。
[0073]
s102、其中，对所述关键帧图像进行异常检测的过程包括：提取所述关键帧图像前后预设时间段内的视频内容并对所述视频内容内的视频片段进行标记，并将标记好的视频按照采集的时间前后进行排序，得到排序后的视频片段；
[0074]
s103、将排序后的所述视频片段进行遍历，判断排序后的所述视频片段是否与预设的驾驶人员的视频片段序列相同，若不同则将排序后的所述视频片段对应的所述关键帧图像标记为异常，若相同则将排序后的所述视频片段对应的所述关键帧图像标记为正常。
[0075]
需要说明的是，通过对每个视频片段进行排序，这样可以确定驾驶人员具体在哪个时间段内发生了疲劳驾驶，进而可以判断疲劳驾驶的时间段内是否有其他因素的产生而导致疲劳，比如长期在一个车道内或者正午太阳照射容易困乏等，将不同时间段内的面部疲劳程度进行划分等级，并且可以根据不同的等级做出不同的预警反应。
[0076]
在本实施例中，驾驶员的面部疲劳程度可以分为第一度、第二度、第三度和第四度四个等级，第一度为驾驶员面部未出现疲劳特征，第二度为驾驶员面部出现轻微的疲劳特征，第三度为驾驶员驾驶不专心，视线偏离路面过久等，第四度为驾驶员出现明显疲劳特征。若第一视频信息和所述关键帧图像标记对比不符合则标记为异常，若符合，则标记为正常，并为将标记为正常的所述视频片段对应的所述第一视频信息发送至之后的处理步骤，为之后建立疲劳模型的数据做准备。
[0077]
需要说明的是，步骤s101中包括步骤s1011、步骤s1012、步骤s1013和步骤s1014，其中：
[0078]
s1011、采用中值滤波对所述第一视频信息中的面部图像进行预处理，得到预处理后的第一图像；
[0079]
在本实施例中，考虑到驾驶人员会在夜间或者白天进行驾驶，所以在光线不足的情况下，是不能够采集到图像的，所以可以采用红外成像技术，采集到的人脸图像不可避免会有噪音干扰，必须在图像处理之前进行预处理，对其进行噪音消除，最大限度地减少噪音带来的影响，可以采用平滑滤波的方法对图像进行预处理。滤波的目的有两个，一个是平滑
图像的非边缘区域，另一个是保护图像的边缘。
[0080]
s1012、利用最大类间方差阈值分割法对所述第一图像进行人脸检测定位到驾驶员的具体面部图像；
[0081]
需要说明的是，步骤s1012包括步骤s10121、步骤s10122和步骤s10123，其中：
[0082]
s10121、基于最大类间方差阈值分割法对第一图像进行灰度差度量选取阈值；
[0083]
s10122、基于所述阈值对所述第一图像进行二值化处理，得到公式如下：pi＝ni/n，i＝0，1，2，
…
，l-1
[0084][0085][0086]
其中，n为图像像素数，灰度范围[0，t-1]，对应灰度级i的像素数为ni；
[0087]
采用此方法对图像进行二值化处理，得到一个概率分布。
[0088]
s10123、采用最大类间方差阈值分割法的计算公式为：
[0089]
σ
2b
＝w0(u
0-u
t
)2+w1(u
1-u
t
)2＝w1w0(u
0-u1)2[0090]
其中，w0与w1分别为类c0和类c1发生的概率，均值为u
t
，c0的均值为u0，c1的均值为u1；t在[0，t-1]范围依次取值，使得σ
2b
最大的t值即为最大类间方差阈值分割法的最佳阈值。
[0091]
需要说明的是，采用最大类间方差阈值分割法对图像进行灰度差度量选取阈值，简单并且处理速度快，提高了对图像处理的效率。
[0092]
s1013、基于所述具体面部图像，建立驾驶员眼睛的感兴趣区域，采用形态学滤波和连通区域标记算法，对眼睛的轮廓进行提取和计算，得到瞳孔特征；采用卡尔曼滤波方法对所述瞳孔特征进行跟踪，通过瞳孔检测眨眼频率，进而判断驾驶员是否进入疲劳状态；
[0093]
需要说明的是，监测驾驶人员的眼睛在状态是检测驾驶员发生疲劳、瞌睡和注意力分散的主要途径，需要利用人脸面部五官的位置分布关系，建立驾驶员眼睛的感兴趣区域进行运算。通过连通区域标记算法标记眼睛感兴趣区域内的各个区域，利用约束条件得到眼睛定位，提取眼睛轮廓进行椭圆拟合，为驾驶人员视线估计和精神分散及疲劳检测提供了很好的依据。
[0094]
本实施例中，将人脸高度设为h,感兴趣区域高度可设为人脸高度的一半h/2，宽度为w。采用形态学滤波是具有一定形态的结构元素去量度和提取图像中对应的形状以达到对图像分析和识别的目的。包括但是不限于采用形态学运算中的腐蚀和膨胀。
[0095]
腐蚀的计算公式如下：
[0096][0097]
其中，s为结构元素，b为原二值图像，e为腐蚀后所产生的图像所组成(x，y)的集合，s包含于b中。腐蚀是消除物体所有边界点，对从一幅分割图像中除去小于结构元素的物体，通过选取不同大小的结构元素，可以去掉图像中大小不同的物体。
[0098]
膨胀的计算公式如下：
[0099]
[0100]
其中，s为结构元素，b为原二值图像，d为膨胀后所产生的图像所组成(x，y)的集合，如果s的原点位移到点(x，y)，那么它与b的交集非空。膨胀是将与某物体接触的所有背景点合并到该物体的过程。
[0101]
在本步骤中，采用连通区域标记算法将二值化图像的白色像素区域按照连通性分为几个独立的区域。例如连通区域标记算法通过分析图像中元素之间的连接情况，判断哪些元素是同一个对象，将其组成一个连通区域，然后以种子元素为中心，搜索它连接的元素，将这些元素标记出来，形成一个连通区域。
[0102]
采用卡尔曼滤波方法对所述瞳孔特征进行跟踪，通过瞳孔检测眨眼频率，进而判断驾驶员是否进入疲劳状态；
[0103]
需要说明的是，假设(x
t
，y
t
)代表在t时刻图像面部区域中心点的像素位置，(u
x
，vy)分别代表面部和眼睛区域中心点在t时刻图像中x和y方向的速度，在t时刻图像的面部和眼睛状态向量可以表示为：
[0104]
x
t
＝(x
t
，y
t
，u
t
，v
t
)
t
[0105]
根据卡尔曼滤波理论，在t+1时刻图像的面部状态向量x
t+1
，线性相关于当前状态x
t
，系统方程如下式：
[0106]
x
t+1
＝a
t
x
t
+w
t
[0107]
式中，a
t
是状态转移矩阵，w
t
代表观测矩阵，零均值高斯分布w
t
∝
n(0，q)，w
t
的协方差矩阵记为q。
[0108]
需要说明的是，步骤s1013还包括步骤s10131、步骤s10132、步骤s10133和步骤s10134，其中：
[0109]
s10131、利用canny边缘检测算法对所述瞳孔特征进行检测，得到瞳孔区域边缘；
[0110]
需要说明的是，先对所述瞳孔进行高斯平滑处理，再通过一阶微分的极大值来确定图像边缘，计算公式如下：
[0111][0112]
式中，σ为高斯滤波的宽度，σ的取值越大，平滑效果越好。
[0113]
计算所述瞳孔特征图像在x、y轴两个方向上的偏导向量(g
x
(x，y)，gy(x，y))，梯度大小和梯度方向；将边缘方向分为0度、45度、90度和135度，找到该像素点沿这四个边缘方向的所有邻接像素点，过滤掉非边缘点。采用双阈值算法确定并连接图像的边缘点。如果该像素所有相邻像素中有灰度值大于高阈值的像素点，则认为该像素一定是图像边缘点，否则不是。
[0114]
s10132、基于最小二乘的椭圆拟合，对所述瞳孔区域边缘进行操作，确定瞳孔的最优参数解向量，得到驾驶员视线内所处的状态；
[0115]
本步骤中采用最小二乘的椭圆拟合在图像中提取一个以瞳孔中心为中心且大小为40*40的子区域，视为初始区域，并进行二值化处理，采取迭代方法滤除非普尔钦光斑区域。普尔钦光斑区域其形状近似于圆形，因此该区域最小外接矩形的长宽比l/w近似于1，对瞳孔区域边缘进行处理，得到最优解向量，椭圆短轴即为所需的上、下眼睑高度。因此，本步骤中利用canny边缘检测算法、最小二乘的椭圆拟合对所述瞳孔特征进行检测，得到瞳孔区域边缘提取后得到的图像中瞳孔区域轮廓更加明显，并有效去除了干扰，方便后续瞳孔中
心定位。
[0116]
s10133、基于所述驾驶员视线内所处的状态，判断驾驶员眼睛睁闭状态的阈值th为：
[0117][0118]
其中，hb是历史训练学习获得的驾驶员闭眼时上、下眼睑的高度，h2是经过学习得到的睁眼时上、下眼睑的高度，wb是经过学习得到的闭眼时内外眼角点间的宽度，w2是经过学习得到的睁眼时内外眼角间的宽度，w是当前检测到内外眼角点间的宽度，h是当前检测到的上、下眼睑的高度；
[0119]
如果h小于等于th，则认为眼睛此时是闭合状态，否则，则认为眼睛是睁开状态。据此，可以判断驾驶人员在视频或者在图像中的每一帧中是否闭眼的情况，然后获得其在驾驶的一段时间内眼睛持续闭合的时间。在历史经验中，驾驶人员在清醒状态下，眼睛的持续闭合时间一般不会超过0.5秒，若检测到眼睛持续闭合时间超过阈值，则驾驶人员有可能产生疲劳。
[0120]
s10134、根据h和th，判断驾驶员是否进入疲劳状态。
[0121]
s1015、将驾驶员进入疲劳状态之后的图像，确定为所述关键帧图像。
[0122]
进一步地，将驾驶人员进入疲劳状态后的图像锁定为关键帧图像，为了后续更方便对关键帧图像进行提取和处理。
[0123]
s200、获取车道线图像信息和方向盘转角信息；所述车道线图像信息包括车道行驶轨迹呈现出“s”形的图像，所述方向盘转角信息包括方向盘操作修正频度减少或瞬间大幅度修正交替出现的图像。
[0124]
需要说明的是，其他安装在车辆上的传感器包括但是不限于测量车辆与障碍物的距离、车速、加速度、仰俯角和航向角等，其中所述车道线图像信息包括车道行驶轨迹呈现出“s”形的图像，所述方向盘转角信息包括方向盘操作修正频度减少或瞬间大幅度修正交替出现的图像。“瞬间大幅度修正”是指在3秒的时间内方向盘单次修正幅度大于5度。
[0125]
需要说明的是，当驾驶人员处理清醒状态时，驾驶人员会通过频繁地小幅度修正方向盘来把控车辆，但是当进入疲劳状态时，在方向盘的操作上修正频度减少或瞬间大幅度修正交替出现的现象特征。
[0126]
本实施例中，选取中午1-2点或者晚上11点-凌晨1点两个时间段内，驾驶人员比较容易犯困疲劳的时间窗内，方向盘角速度小于设定阈值的时间比例，反映了方向盘修正频度减少的现象，角度标准差则反映了时间窗内角度波动的大小，采用零速百分比指实现“清醒”和“疲劳”的状态判别；当驾驶人员进入疲劳状态时，对车辆的控制能力下降，进而会出现车道行驶轨迹呈现“s”形的情况，采用车辆横向位置的标准差可以反映一段时间内车辆行驶轨迹沿横向的波动程度，进而可以区分出“清醒”和“疲劳”的状态。
[0127]
s300、基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数。
[0128]
需要说明的是，步骤s300包括s301和s302，其中：
[0129]
对所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息进行预处理，确定预处理结果；
[0130]
进一步地，对所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息进行预处理过程其中包括对上述确定的关键帧图像、车道行驶轨迹呈现出“s”形的图像以及方向盘操作修正频度减少或瞬间大幅度修正交替出现的图像进行图像增强、图像锐化、图像平滑和去噪等预处理，消除图像中无关的信息，滤除干扰、噪音，恢复有用的真实信息，增强有关信息的可检测性和真实度，最大限度地简化数据，从而改进特征抽取的可靠性，不仅在视觉上更加清晰图像，而且使图像更利于处理和识别。
[0131]
采集车辆当前的行驶状态信息，根据所述行驶状态信息和所述预处理结果，确定车辆行驶的危险系数。
[0132]
需要说明的是，车辆当前的行驶状态信息包括当前状态下，与车辆行驶有关的信息。例如，车辆的当前地理环境信息、天气气象信息和驾驶员的连续驾驶时长等；其中地理环境信息包括当前车辆的海拔高度、车辆的道路类型以及道路的中心线曲率半径等，驾驶员的连续驾驶时长是否超过四个小时并至少休息二十分钟以上，是否换驾驶人员轮流开车等；天气气象信息包括当前车辆行驶状态下的天气的降水量、风速以及是否有极端灾害性天气等。对所述行驶状态信息按照预设的标准进行打分，确定危险系数等级，并基于预处理结果，综合判定车辆行驶的危险系数。例如，地理环境信息中的海拔高度为0-500米的危险系数为1,500-3000米的危险系数为2，对行驶车辆进行危险系数打分并综合评定结果。
[0133]
s400、判断所述危险系数达到第一预设阈值时，生成预警信号。
[0134]
需要说明的是，步骤s400包括s401和s402，其中：
[0135]
s401、判断所述危险系数达到第一预设阈值时，获取所有车型的历史危险系数；所述历史危险系数包括在当前路段范围内预警次数、事故发生次数、发生预警的路段与当前路段的距离；
[0136]
需要说明的是，历史危险系数为任意一种或者多种，即在当前路段范围内疲劳预警次数、事故发生次数和发生疲劳预警的路段与当前路段发生的距离，周期可以为一年也可以为一个月，不做限定。所有车型包括大货车、班车、油罐车等在这个周期内发生的历史事故、疲劳警告、发生疲劳预警的次数，事故越多，历史危险系数就会越大。
[0137]
s402、将所有车型的所述历史危险系数进行加权求和，得到加权求和的结果，判断所述结果是否大于第二预设阈值，若所述结果大于所述第二预设阈值，则生成预警信号。
[0138]
需要说明的是，根据权重比求和，依据各个数据的重要性系数(即权重)进行相乘后再相加求和，加权和与所有权重之和的比等于加权算术平均数。若结果是否大于第二预设阈值，当危险系数达到了既定的预设的阈值时，根据驾驶系数、驾驶状况会提供相应的语音提示或者车辆控制，也会随着危险系数的增加而改变相应的其语音提醒，危险系数越大则语音提醒的频率间隔时间就越短，直至持续播放。在本实施例中，语音提示如下：“为了行车安全，请勿压线”、“您可能需要休息”、“为了您安全，请专心开车”、“危险，危险”，控制方案如下：车辆以每秒5km/h的速度减速，直至速度减为20km/h，车辆以每秒15km/h的速度减速，直至速度减为20km/h等。
[0139]
实施例2：
[0140]
本实施例提供了一种车辆疲劳驾驶的预警装置，参见图2所述装置包括驾驶人员面部图像信息确定模块701、获取模块702、危险系数确定模块703和预警信号生成模块704，其中：
[0141]
驾驶人员面部图像信息确定模块701：用于基于第一视频信息，确定驾驶人员面部图像信息；所述第一视频信息包括驾驶人员面部15s的视频录像；
[0142]
获取模块702：用于获取车道线图像信息和方向盘转角信息；所述车道线图像信息包括车道行驶轨迹呈现出“s”形的图像，所述方向盘转角信息包括方向盘操作修正频度减少或瞬间大幅度修正交替出现的图像；
[0143]
危险系数确定模块703：用于基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数；
[0144]
预警信号生成模块704：用于判断所述危险系数达到第一预设阈值时，生成预警信号。
[0145]
实施例3：
[0146]
对应于上面的方法实施例，本实施例中还提供了一种车辆疲劳驾驶的预警设备，下文描述的一种车辆疲劳驾驶的预警设备与上文描述的车辆疲劳驾驶的预警方法可相互对应参照。
[0147]
图3是根据示例性实施例示出的一种车辆疲劳驾驶的预警设备800的框图。如图3所示，该车辆疲劳驾驶的预警设备800包括：处理器801和存储器802。该车辆疲劳驾驶的预警设备800还包括多媒体组件803，i/o接口804，以及通信组件805中的一者或多者。
[0148]
其中，处理器801用于控制该车辆疲劳驾驶的预警设备800的整体操作，以完成上述的车辆疲劳驾驶的预警方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该车辆疲劳驾驶的预警设备800的操作，这些数据例如可以包括用于在该车辆疲劳驾驶的预警设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘、鼠标或按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该车辆疲劳驾驶的预警设备800与其他设备之间进行有线或无线通信。无线通信，例如wi-fi、蓝牙、近场通信(near fieldcommunication，简称nfc)、2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：wi-fi模块、蓝牙模块或nfc模块。
[0149]
在一示例性实施例中，车辆疲劳驾驶的预警设备800可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digitalsignal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程
门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的车辆疲劳驾驶的预警方法。
[0150]
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的车辆疲劳驾驶的预警方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由车辆疲劳驾驶的预警设备800的处理器801执行以完成上述的车辆疲劳驾驶的预警方法。
[0151]
实施例4：
[0152]
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的车辆疲劳驾驶的预警方法可相互对应参照。
[0153]
可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的车辆疲劳驾驶的预警方法的步骤。
[0154]
该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
[0155]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0156]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.车辆疲劳驾驶的预警方法，其特征在于，包括：基于第一视频信息，确定驾驶人员面部图像信息；所述第一视频信息包括驾驶人员面部15s的视频录像；获取车道线图像信息和方向盘转角信息；所述车道线图像信息包括车道行驶轨迹呈现出“s”形的图像，所述方向盘转角信息包括方向盘操作修正频度减少或瞬间大幅度修正交替出现的图像；基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数；判断所述危险系数达到第一预设阈值时，生成预警信号。2.根据权利要求1所述的车辆疲劳驾驶的预警方法，其特征在于,所述基于第一视频信息，确定驾驶人员面部图像信息，包括：对所述第一视频信息提取关键帧图像，并基于提取到的所述关键帧图像进行异常检测，若异常检测结果为正常，则确定所述关键帧图像为所述驾驶人员面部图像信息，其中，所述关键帧图像包括驾驶人员在进入疲劳状态后眼睛出现闭合时间增长或闭合次数增加的图像；其中，对所述关键帧图像进行异常检测的过程包括：提取所述关键帧图像前后预设时间段内的视频内容并对所述视频内容内的视频片段进行标记，并将标记好的视频按照采集的时间前后进行排序，得到排序后的视频片段；将排序后的所述视频片段进行遍历，判断排序后的所述视频片段是否与预设的驾驶人员的视频片段序列相同，若不同则将排序后的所述视频片段对应的所述关键帧图像标记为异常，若相同则将排序后的所述视频片段对应的所述关键帧图像标记为正常。3.根据权利要求2所述的车辆疲劳驾驶的预警方法，其特征在于,在所述对所述第一视频信息提取关键帧图像，包括：采用中值滤波对所述第一视频信息中的面部图像进行预处理，得到预处理后的第一图像；利用最大类间方差阈值分割法对所述第一图像进行人脸检测定位到驾驶员的具体面部图像；基于所述具体面部图像，建立驾驶员眼睛的感兴趣区域，采用形态学滤波和连通区域标记算法，对眼睛的轮廓进行提取和计算，得到瞳孔特征；采用卡尔曼滤波方法对所述瞳孔特征进行跟踪，通过瞳孔检测眨眼频率，进而判断驾驶员是否进入疲劳状态；将驾驶员进入疲劳状态之后的图像，确定为所述关键帧图像。4.根据权利要求3所述的车辆疲劳驾驶的预警方法，其特征在于,所述利用最大类间方差阈值分割法对所述第一图像进行人脸检测定位到驾驶员的具体面部图像，包括：基于最大类间方差阈值分割法对第一图像进行灰度差度量选取阈值；基于所述阈值对所述第一图像进行二值化处理，得到公式如下：p
i
＝n
i
/n，i＝0，1，2，
…
，l-1
其中，n为图像像素数，灰度范围[0，t-1]，对应灰度级i的像素数为n
i
；采用最大类间方差阈值分割法的计算公式为：σ
2b
＝w0(u
0-u
t
)2+w1(u
1-u
t
)2＝w1w0(u
0-u
l
)2其中，w0与w1分别为类c0和类c1发生的概率，均值为u
t
，c0的均值为u0，c1的均值为u1；t在[0，t-1]范围依次取值，使得σ
2b
最大的t值即为最大类间方差阈值分割法的最佳阈值。5.根据权利要求3所述的车辆疲劳驾驶的预警方法，其特征在于,所述基于所述具体面部图像，建立驾驶员眼睛的感兴趣区域，采用形态学滤波和连通区域标记算法，对眼睛的轮廓进行提取和计算，得到瞳孔特征；采用卡尔曼滤波方法对所述瞳孔特征进行跟踪，通过瞳孔检测眨眼频率，进而判断驾驶员是否进入疲劳状态，包括：利用canny边缘检测算法对所述瞳孔特征进行检测，得到瞳孔区域边缘；基于最小二乘的椭圆拟合，对所述瞳孔区域边缘进行操作，确定瞳孔的最优参数解向量，得到驾驶员视线内所处的状态；基于所述驾驶员视线内所处的状态，判断驾驶员眼睛睁闭状态的阈值t
h
为：其中，h
b
是历史训练学习获得的驾驶员闭眼时上、下眼睑的高度，h2是经过学习得到的睁眼时上、下眼睑的高度，w
b
是经过学习得到的闭眼时内外眼角点间的宽度，w2是经过学习得到的睁眼时内外眼角间的宽度，w是当前检测到内外眼角点间的宽度，h是当前检测到的上、下眼睑的高度；根据h和t
h
，判断驾驶员是否进入疲劳状态。6.根据权利要求1所述的车辆疲劳驾驶的预警方法，其特征在于,所述基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数，包括：对所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息进行预处理，确定预处理结果；采集车辆当前的行驶状态信息，根据所述行驶状态信息和所述预处理结果，确定车辆行驶的危险系数。7.根据权利要求1所述的车辆疲劳驾驶的预警方法，其特征在于,所述判断所述危险系数达到第一预设阈值时，生成预警信号，包括：判断所述危险系数达到第一预设阈值时，获取所有车型的历史危险系数；所述历史危险系数包括在当前路段范围内预警次数、事故发生次数、发生预警的路段与当前路段的距离；将所有车型的所述历史危险系数进行加权求和，得到加权求和的结果，判断所述结果是否大于第二预设阈值，若所述结果大于所述第二预设阈值，则生成预警信号。8.一种车辆疲劳驾驶的预警装置，其特征在于，包括：驾驶人员面部图像信息确定模块：用于基于第一视频信息，确定驾驶人员面部图像信息；所述第一视频信息包括驾驶人员面部15s的视频录像；获取模块：用于获取车道线图像信息和方向盘转角信息；所述车道线图像信息包括车道行驶轨迹呈现出“s”形的图像，所述方向盘转角信息包括方向盘操作修正频度减少或瞬
间大幅度修正交替出现的图像；危险系数确定模块：用于基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数；预警信号生成模块：用于判断所述危险系数达到第一预设阈值时，生成预警信号。9.一种车辆疲劳驾驶的预警设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述车辆疲劳驾驶的预警方法的步骤。10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车辆疲劳驾驶的预警方法的步骤。

技术总结
本发明提供了车辆疲劳驾驶的预警方法、装置、设备及可读存储介质，涉及汽车安全预警技术领域，包括基于第一视频信息，确定驾驶人员面部图像信息；获取车道线图像信息和方向盘转角信息；基于所述驾驶人员面部图像信息、所述车道线图像信息和所述方向盘转角信息，确定行驶车辆的危险系数；判断所述危险系数达到第一预设阈值时，生成预警信号。本发明的有益效果为根据驾驶人员面部图像信息、车道线图像信息和方向盘转角信息判断安全系数，从而对驾驶员进行车速预警，有效避免因司机疲劳或注意力不集中导致的超速行为发生，进而提高汽车驾驶安全等级以及驾驶体验感，避免或减少道路交通事故的发生，降低意外发生率。降低意外发生率。降低意外发生率。


技术研发人员：刘贤杰 许林
受保护的技术使用者：重庆赛力斯新能源汽车设计院有限公司
技术研发日：2023.03.22
技术公布日：2023/6/26