矿用车辆辅助驾驶方法及装置与流程

1.本发明涉及车辆安全驾驶技术领域，具体而言，涉及矿用车辆辅助驾驶方法及装置。


背景技术：

2.为了提高矿区运输能力、提升工作效率，矿区的运输主要由大型矿区运输车辆进行，矿区车辆运行环境较为恶劣，能见度低，露天矿区运输车辆视野盲区与一般车辆相比较大，矿用车司机极易产生交通事故。
3.目前大量事故的产生都是由于操作不当所引起的，其中驾驶员在驾驶过程中的危险动作、疲劳驾驶、故意遮挡都是引起交通事故的主要原因，一旦出现突发情况，驾驶员无法及时做出反应，从而造成人员伤亡，对矿区及矿区工作人员均会带来较大的损失。


技术实现要素：

4.本发明解决的问题是提高矿用车辆驾驶的安全性。
5.为解决上述问题，本发明提供一种矿用车辆辅助驾驶方法及装置，包括：
6.通过设置在矿用车辆上的红外摄像头，获取驾驶员特征；
7.根据所述驾驶员特征判断所述驾驶员状态，其中，所述驾驶员状态包括重度疲劳状态和危险动作状态；
8.当所述驾驶员状态为所述重度疲劳状态时，判断所述矿用车辆是否偏离车道，根据判断的结果生成第一类提醒；
9.当所述驾驶员状态为所述危险动作状态时，生成第二类提醒，且当所述第二类提醒的持续时间大于预设时间时，生成第三类提醒。
10.可选地，所述驾驶员特征包括眼部纵横比、嘴部纵横比、头部姿态和驾驶员骨干特征，所述驾驶员状态还包括轻度疲劳状态；
11.所述根据所述驾驶员特征判断所述驾驶员状态，包括：
12.根据所述眼部纵横比和所述嘴部纵横比判断所述驾驶员状态是否为所述轻度疲劳状态；
13.在根据所述驾驶员特征判断所述驾驶员状态之后，所述矿用车辆辅助驾驶方法还包括：
14.当所述驾驶员状态为所述轻度疲劳状态时，生成第四类提醒，所述第四类提醒用于报警器报警。
15.可选地，所述根据所述眼部纵横比和所述嘴部纵横比判断所述驾驶员状态是否为所述轻度疲劳状态，包括：
16.获取所述眼部纵横比和所述嘴部纵横比；
17.比较所述眼部纵横比和预设长宽比值，根据所述眼部纵横比和所述预设长宽比值的比较结果判断眼部闭合状态，利用所述眼部闭合状态获取眨眼频率和眼部闭合时间；
18.根据所述嘴部纵横比获取嘴巴横向比值和嘴部张开程度，利用所述嘴巴横向比值和所述嘴部张开程度计算哈欠帧数；
19.比较所述眨眼频率和眨眼频率阀值，当所述眨眼频率小于所述眨眼频率阀值，判断所述驾驶员状态为所述轻度疲劳状态；
20.比较所述眼部闭合时间和闭合时间阀值，当所述眼部闭合时间大于所述闭合时间阀值，判断所述驾驶员状态为所述轻度疲劳状态；
21.比较所述哈欠帧数占据单位时间的比值和哈欠帧数阀值，当所述哈欠帧数占据单位时间的比值大于所述哈欠帧数阀值，判断所述驾驶员状态为所述轻度疲劳状态。
22.可选地，所述根据所述驾驶员特征判断所述驾驶员状态，还包括：
23.获取所述头部姿态，根据所述头部姿态获取单位时间低头频率和连续低头时长；
24.比较所述单位时间低头频率和低头频率阀值，比较所述连续低头时长和低头时长阀值；
25.当所述单位时间低头频率大于所述低头频率阀值时，或所述连续低头时长大于所述低头时长阀值时，判断所述驾驶员状态为所述轻度疲劳状态。
26.可选地，所述根据所述驾驶员特征判断所述驾驶员状态，还包括：
27.根据所述眼部纵横比、所述嘴部纵横比和所述头部姿态，利用多特征融合疲劳算法判断所述驾驶员是否为所述重度疲劳状态；
28.根据所述驾驶员骨干特征判断所述驾驶员是否为所述危险动作状态，所述危险动作状态包括识别预设的危险动作、所述驾驶员故意遮挡和离开驾驶位。
29.可选地，所述通过设置在矿用车辆上的红外摄像头，获取驾驶员特征，包括：
30.利用设置在矿用车辆上的红外摄像头获取初始图像；
31.根据所述初始图像通过人脸识别算法获取面部图像；
32.利用人脸关键点检测算法提取所述面部图像的关键点坐标；
33.将所述关键点坐标转换为数组保存；
34.根据所述数组获取所述驾驶员特征。
35.可选地，所述判断所述矿用车辆是否偏离车道，包括：
36.识别方向盘转动角度，比较所述转动角度和角度预设值；
37.利用图像识别获取所述矿用车辆及车道标线的位置参数，比较所述位置参数和位置参数预设值；
38.当所述转动角度大于所述角度预设值，且所述位置参数小于所述位置参数预设值时，判断所述矿用车辆偏离车道。
39.可选地，还包括：通过无线信号将处理结果发送至后台终端，并同步控制线控模块，其中，所述后台终端用于接收所述处理结果并进行绩效考核，所述线控模块用于灯光和减速制动。
40.可选地，所述第一类提醒包括播报语音提示，所述第一类提醒用于提醒所述驾驶员休息，所述第二类提醒包括开启黄灯提示，所述第三类提醒包括开启红灯提示和减速制动。
41.本发明所述的矿区车辆辅助驾驶方法，通过红外摄像头获取驾驶员特征后，根据驾驶员特征判断驾驶员状态，其中驾驶员状态包括重度疲劳状态、危险动作状态，根据驾驶
员的不同的状态进行不同的判断，使判断结果更加精确。当驾驶员状态处于重度疲劳状态时，判断矿用车辆是否偏离车道，根据判断结果生成第一类提醒，当驾驶员状态处于危险动作状态时，生成第二类提醒，当第二类提醒的开启持续时间大于预设时间时，生成第三类提醒。根据驾驶员和矿用车辆不同的行为状态响应不同的辅助功能提醒，使提醒更加精确，进而提高驾驶员驾驶矿用车辆的安全性。
42.本发明还提供一种矿区车辆辅助驾驶装置，包括：
43.获取单元，所述获取单元用于通过设置在矿用车辆上的红外摄像头，获取驾驶员特征；判断单元，所述判断单元用于根据所述驾驶员特征判断所述驾驶员状态，其中，所述驾驶员状态包括重度疲劳状态和危险动作状态；第一生成单元，所述第一生成单元用于当所述驾驶员状态为所述重度疲劳状态时，判断所述矿用车辆是否偏离车道，根据判断的结果生成第一类提醒；第二生成单元，所述第二生成单元用于当所述驾驶员状态为所述危险动作状态时，生成第二类提醒，且当所述第二类提醒的持续时间大于预设时间时，生成第三类提醒。
44.本发明所述的矿用车辆辅助驾驶装置与所述矿用车辆辅助驾驶方法相对于现有技术的优势相同，在此不再赘述。
附图说明
45.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
47.图1为本发明实施例中矿用车辆辅助驾驶方法的应用环境图；
48.图2为本发明实施例中矿用车辆辅助驾驶方法的流程示意图；
49.图3为本发明实施例中眼部纵横比和嘴部横纵比特征判断的流程示意图；
50.图4为本发明实施例中头部姿态特征判断的流程示意图；
51.图5为本发明实施例中偏离车道判断的流程示意图；
52.图6为本发明实施例中矿用车辆辅助驾驶装置的示意图。
具体实施方式
53.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.图1为本发明实施例中矿用车辆辅助驾驶方法的应用环境图。结合图1所示，该矿用车辆辅助驾驶方法应用于矿用车辆辅助驾驶系统。该矿用车辆辅助驾驶系统包括控制模块110、通信模块120、后台终端130、数据采集模块140、报警提醒模块150和线控模块160。控制模块110可以执行任一项矿用车辆辅助驾驶方法，控制模块110具体可以是组合逻辑控制器或微程序控制器。通信模块120和后台终端130通过无线连接。后台终端130具体可以是台
式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。数据采集模块140包括红外摄像头，报警提醒模块150包括蜂鸣器、灯光报警模块和语音报警模块。控制模块110通过线控模块160实现方向控制和减速制动，线控模块160通过制动系统、转向系统、发动机线控系统、行车警示系统和驱动系统实现方向控制、灯光控制和减速制动。其中，所述矿用车辆辅助驾驶系统的系统模块均进行防爆处理。
55.结合图2所示，本实施例提供一种矿用车辆辅助驾驶方法，包括：
56.步骤210，通过设置在矿用车辆上的红外摄像头，获取驾驶员特征；
57.步骤220，根据所述驾驶员特征判断所述驾驶员状态，其中，所述驾驶员状态包括重度疲劳状态和危险动作状态；
58.步骤230，当所述驾驶员状态为所述重度疲劳状态时，判断所述矿用车辆是否偏离车道，根据判断的结果生成第一类提醒；
59.步骤240，当所述驾驶员状态为所述危险动作状态时，生成第二类提醒，且当所述第二类提醒的持续时间大于预设时间时，生成第三类提醒。
60.具体地，通过设置在矿用车辆上的红外摄像头采集红外图像数据，根据所述红外图像数据对所有关键点进行跟踪标注获取驾驶员特征，通过所述驾驶员特征判断所述驾驶员处于重度疲劳状态或危险动作状态，当处于重度疲劳状态时对矿用车辆是否偏离车道进行判断，根据判断的结果生成第一类提醒，当处于危险动作状态时，生成第二类提醒，当第二类提醒的持续时间大于预设时间时，生成第三类提醒。
61.本实施例所述的矿区车辆辅助驾驶方法，通过红外摄像头获取驾驶员特征后，根据驾驶员特征判断驾驶员状态，其中驾驶员状态包括重度疲劳状态、危险动作状态，根据驾驶员的不同的状态进行不同的判断，使判断结果更加精确。当驾驶员状态处于重度疲劳状态时，判断矿用车辆是否偏离车道，根据判断结果生成第一类提醒，当驾驶员状态处于危险动作状态时，生成第二类提醒，当第二类提醒的开启持续时间大于预设时间时，生成第三类提醒。根据驾驶员和矿用车辆不同的行为状态响应不同的辅助功能提醒，使提醒更加精确，进而提高驾驶员驾驶矿用车辆的安全性。
62.本发明实施例中，所述驾驶员特征包括眼部纵横比、嘴部纵横比、头部姿态和驾驶员骨干特征，所述驾驶员状态还包括轻度疲劳状态；
63.所述根据所述驾驶员特征判断所述驾驶员状态，包括：
64.根据所述眼部纵横比和所述嘴部纵横比判断所述驾驶员状态是否为所述轻度疲劳状态；
65.在根据所述驾驶员特征判断所述驾驶员状态之后，所述矿用车辆辅助驾驶方法还包括：
66.当所述驾驶员状态为所述轻度疲劳状态时，生成第四类提醒，所述第四类提醒用于报警器报警。
67.具体地，分别根据驾驶员眼部纵横比、所述嘴部纵横比和所述头部姿态对驾驶员状态进行判断，若判断驾驶员状态为轻度疲劳状态，发送预警信号控制蜂鸣器预警作为第四类提醒，其中，轻度疲劳状态包括瞌睡、打哈欠和间歇性闭眼。眼睛的纵横比表示眼睛的睁开程度，即眼睛宽度与眼睛长度的比例。在睁眼状态下，人眼的宽度与长度的比值是一个相对固定的数值，当眼睛闭合时，人眼的宽度将急剧变小，此时眼睛的纵横比就会发生变
化。嘴部纵横比表示嘴部的张开程度，即嘴部高度与嘴部宽度的比例。当打哈欠时，嘴部将急剧变大，此时嘴部的纵横比就会发生变化。以上是能够观察到的面部行为，可以根据面部行为特征来判断被检测者是否处于疲劳状态，但是有的时候可能并不能检测到面部特征，根据实际场景加入对头部姿态的识别。头部姿态由三个欧拉角来表示，分别为俯仰角、偏航角和滚转角，通过三个欧拉角构建3d模型，对驾驶员状态进行判断。
68.本实施例的矿用车辆辅助驾驶方法分别通过驾驶员不同的特征对驾驶员状态进行分别判断，提醒驾驶员目前处于疲劳情况。对眼睛和嘴部面部特征进行识别的同时，加入对头部姿态的识别，针对不同特征的判断最大程度上避免了由于驾驶员疲劳驾驶导致事故的发生。
69.本发明实施例中，所述根据所述眼部纵横比和所述嘴部纵横比判断所述驾驶员状态是否为所述轻度疲劳状态，包括：
70.获取所述眼部纵横比和所述嘴部纵横比；
71.比较所述眼部纵横比和预设长宽比值，根据所述眼部纵横比和所述预设长宽比值的比较结果判断眼部闭合状态，利用所述眼部闭合状态获取眨眼频率和眼部闭合时间；
72.根据所述嘴部纵横比获取嘴巴横向比值和嘴部张开程度，利用所述嘴巴横向比值和所述嘴部张开程度计算哈欠帧数；
73.比较所述眨眼频率和眨眼频率阀值，当所述眨眼频率小于所述眨眼频率阀值，判断所述驾驶员状态为所述轻度疲劳状态；
74.比较所述眼部闭合时间和闭合时间阀值，当所述眼部闭合时间大于所述闭合时间阀值，判断所述驾驶员状态为所述轻度疲劳状态；
75.比较所述哈欠帧数占据单位时间的比值和哈欠帧数阀值，当所述哈欠帧数占据单位时间的比值大于所述哈欠帧数阀值，判断所述驾驶员状态为所述轻度疲劳状态。
76.具体地，结合图3所示，本发明实施例还包括：
77.步骤310，获取所述眼部纵横比；
78.步骤311，比较所述眼部纵横比和预设长宽比值；
79.步骤312，根据所述眼部纵横比和所述预设长宽比值的比较结果判断眼部闭合状态；
80.步骤3131，利用所述眼部闭合状态获取眨眼频率；
81.步骤3132，利用所述眼部闭合状态获取眼部闭合时间；
82.步骤320，获取嘴部纵横比；
83.步骤321，根据所述嘴部纵横比获取嘴巴横向比值和嘴部张开程度；
84.步骤322，利用所述嘴巴横向比值和所述嘴部张开程度计算哈欠帧数；
85.步骤330，比较所述眨眼频率和眨眼频率阀值，当所述眨眼频率小于所述眨眼频率阀值，判断所述驾驶员状态为所述轻度疲劳状态；
86.步骤331，比较所述眼部闭合时间和闭合时间阀值，当所述眼部闭合时间大于所述闭合时间阀值，判断所述驾驶员状态为所述轻度疲劳状态；
87.步骤332，比较所述哈欠帧数占据单位时间的比值和哈欠帧数阀值，当所述哈欠帧数占据单位时间的比值大于所述哈欠帧数阀值，判断所述驾驶员状态为所述轻度疲劳状态。
88.在一些具体实施例中，提取人脸的关键点，通过关键点定位驾驶员的眼部获取所述眼部纵横比，设置相关轮廓点构成的高度与宽度比的预设长宽比值为0.2，当所述眼部纵横比小于0.2时，判断眼部处在闭合状态。根据眼部闭合状态判断眨眼次数，根据眨眼次数获取单位时间内的眨眼频率，记录眼睛处于闭合状态的时间获取眼部闭合时间。
89.获取嘴部纵横比，根据嘴部纵横比获取嘴巴横向比值和嘴部张开程度。当嘴巴横向比值和嘴部张开程度大于0.6时，则可判定为哈欠。记录哈欠在图像中出现的哈欠帧数，依据打哈欠的帧数占据单位时间的比值计算哈欠帧数。比较所述眨眼频率和眨眼频率阀值，设置眨眼频率阀值为10，当所述眨眼频率小于10时，判断所述驾驶员状态为所述轻度疲劳状态；比较所述眼部闭合时间和闭合时间阀值，设置闭合时间阀值为50，当所述眼部闭合时间大于50时，判断所述驾驶员状态为所述轻度疲劳状态；依据打哈欠的帧数占据单位时间的比值判断所述驾驶员状态为所述轻度疲劳状态。
90.本实施例的矿用车辆辅助驾驶方法通过获取所述眼部纵横比得到眼部闭合状态，利用眼部闭合状态得到眼部眨眼次数和眨眼频率，从驾驶员的眼部对疲劳程度进行判断。再获取嘴部纵横比，通过嘴部纵横比获取嘴巴横向比值和嘴部张开程度，得到驾驶员的哈欠帧数，通过哈欠帧数占据单位时间的比值判断所述驾驶员状态，对驾驶员的嘴部对疲劳程度进行判断，分别通过眼部和嘴部特征对驾驶员轻度疲劳程度做出全方位判断。
91.本发明实施例中，所述根据所述驾驶员特征判断所述驾驶员状态，还包括：
92.获取所述头部姿态，根据所述头部姿态获取单位时间低头频率和连续低头时长；
93.比较所述单位时间低头频率和低头频率阀值，比较所述连续低头时长和低头时长阀值；
94.当所述单位时间低头频率大于所述低头频率阀值时，或所述连续低头时长大于所述低头时长阀值时，判断所述驾驶员状态为所述轻度疲劳状态。
95.具体地，结合图4所示，本发明实施例还包括：
96.步骤410，通过对关键点进行检测，与人脸模型相匹配，将关键点坐标转换到人脸模型上，根据旋转矩阵求解欧拉角，获取俯仰角、偏航角和滚转角，通过三个欧拉角获取头部姿态；
97.步骤420，根据所述头部姿态获取单位时间低头频率；
98.步骤421，根据所述头部姿态获取连续低头时长；
99.步骤430，当所述单位时间低头频率大于所述低头频率阀值时，判断所述驾驶员状态为所述轻度疲劳状态；
100.步骤431，当所述单位时间低头频率大于所述低头频率阀值时，判断所述驾驶员状态为所述轻度疲劳状态。
101.本实施例的矿用车辆辅助驾驶方法通过判断头部姿态从而判断人的注意力，驾驶员在正常开车时一般维持姿势并注视着前方方向，当看到后视镜时头会发生短暂的左右偏移，但基本没有发生过频繁点头现象。当产生困意时，由于疲倦程度的增加，随着睡意会情不自禁地产生低头、反复点头等动作。通过头部姿态获取单位时间低头频率和连续低头时长，分别通过单位时间低头频率和连续低头时长判断驾驶员状态是否为所述轻度疲劳状态，实现对于头部姿态的疲劳特征判定并及时进行预警。
102.本发明实施例中，所述根据所述驾驶员特征判断所述驾驶员状态，还包括：
103.根据所述眼部纵横比、所述嘴部纵横比和所述头部姿态，利用多特征融合疲劳算法判断所述驾驶员是否为所述重度疲劳状态；
104.根据所述驾驶员骨干特征判断所述驾驶员是否为所述危险动作状态，所述危险动作状态包括识别预设的危险动作、所述驾驶员故意遮挡和离开驾驶位。
105.具体地，利用多特征融合疲劳算法判断所述驾驶员是否为所述重度疲劳状态，所述多特征融合疲劳算法将眼部纵横比、嘴部纵横比和头部姿态乘以不同百分比获取疲劳参数，通过比较疲劳参数和疲劳参数预设值判断驾驶员是否处于所述重度疲劳状态。再通过驾驶员骨干特征识别判断驾驶员是否为所述危险动作状态，所述危险动作状态包括识别预设的危险动作、所述驾驶员故意遮挡和离开驾驶位，其中，危险动作包括抽烟、喝水、探头和接打电话等。
106.在一些具体实施例中，获取眼部纵横比为0.4、嘴部纵横比为0.6和头部姿态为0.7，预设眼部纵横比占比为30％、嘴部纵横比占比为30％和头部姿态占比为40％。将所述眼部纵横比和所述眼部纵横比占比相乘，将所述嘴部纵横比和所述嘴部纵横比占比相乘，将所述嘴部纵横比和所述嘴部纵横比占比相乘，获取疲劳参数为0.58。所述疲劳参数预设值为0.5，比较所述疲劳参数和所述疲劳参数预设值大小，所述疲劳参数大于所述疲劳参数预设值，判断驾驶员处于所述重度疲劳状态。
107.本实施例的矿用车辆辅助驾驶方法，通过眼部纵横比、嘴部纵横比和头部姿态三个驾驶员特征，利用多特征融合疲劳算法进行疲劳检测，利用三个参数综合整体判定，更有针对性，得出结果更加精确。再利用驾驶员骨干特征判断驾驶员的危险动作等行为，采用不同的驾驶员特征检测驾驶员的不当操作。
108.本发明实施例中，所述通过设置在矿用车辆上的红外摄像头，获取驾驶员特征，包括：
109.利用设置在矿用车辆上的红外摄像头获取初始图像；
110.根据所述初始图像通过人脸识别算法获取面部图像；
111.利用人脸关键点检测算法提取所述面部图像的关键点坐标；
112.将所述关键点坐标转换为数组保存；
113.根据所述数组获取所述驾驶员特征。
114.具体地，设置在矿用车辆上的车载端红外摄像头捕获驾驶员实时视频流，通过改进后的retinaface人脸识别算法进行人脸检测，然后利用pfld_ghost人脸关键点检测算法对人脸框进行关键点定位，提取所述面部图像的关键点坐标，并将人脸关键点坐标转换为数组形式保存，根据所述数组获取所述驾驶员特征，分别提取眼部纵横比、嘴部纵横比和头部姿态等疲劳相关特征。
115.本实施例的矿用车辆辅助驾驶方法，利用人脸识别算法和人脸关键点检测算法对面部区域进行定位分析，提取眼部、嘴部和头部相关特征，得到的结果更加精确。
116.本发明实施例中，所述判断所述矿用车辆是否偏离车道，包括：
117.识别方向盘转动角度，比较所述转动角度和角度预设值；
118.利用图像识别获取所述矿用车辆及车道标线的位置参数，比较所述位置参数和位置参数预设值；
119.当所述转动角度大于所述角度预设值，且所述位置参数小于所述位置参数预设值
时，判断所述矿用车辆偏离车道。
120.具体地，结合图5示，本发明实施例还包括：
121.步骤511，通过角位移传感器识别方向盘转动角度；
122.步骤512，判断转动角度是否大于角度预设值；
123.步骤521，采集图像并利用图像识别获取所述矿用车辆及车道标线的位置参数；
124.步骤522，判断位置参数是否小于位置参数预设值；
125.步骤530，当所述转动角度大于所述角度预设值，且所述位置参数小于所述位置参数预设值时，判断所述矿用车辆偏离车道，当转动角度小于或等于角度预设值时重新获取转动角度，当位置参数大于或等于所述位置参数预设值时重新获取位置参数。
126.本实施例的矿用车辆辅助驾驶方法根据方向盘转动角度和矿用车辆及车道标线的位置参数判断矿用车辆是否偏移车道，从车辆自身状态判断驾驶员的状态，对驾驶员状态的判断更加完整，更加人性化，切实保障驾驶员的安全。
127.本发明实施例中，还包括：通过无线信号将处理结果发送至后台终端，并同步控制线控模块，其中，所述后台终端用于接收所述处理结果并进行绩效考核，所述线控模块用于灯光和减速制动。
128.具体地，后台终端包括企业管理平台、手机app等，利用无线信号将处理结果发送至后台终端，并同步控制线控模块，后台终端接收所述处理结果并进行绩效考核，该处理结果也可作为矿用车辆驾驶员的工作凭证。
129.本实施例的矿用车辆辅助驾驶方法，通过无线信号将处理结果发送至后台终端，并同步控制线控模块，利用后台终端对驾驶员在驾驶过程中出现的不当操作进行记录，并实现绩效考核。使不当操作与矿用车辆驾驶员绩效考核息息相关，促进驾驶员重视程度，增强应用效果，保障驾驶员人身安全。
130.本发明实施例中，所述第一类提醒包括播报语音提示，所述第一类提醒用于提醒所述驾驶员休息，所述第二类提醒包括开启黄灯提示，所述第三类提醒包括开启红灯提示和减速制动。本实施例的矿用车辆辅助驾驶方法通过第一类提醒、第二类提醒和第三类提醒三种不同的提醒方式分级别对驾驶员进行提醒，更加人性化，贴合实际需要。
131.和上述矿用车辆辅助驾驶方法相对应，本发明实施例还提供了一种矿用车辆辅助驾驶装置。图6所示为本发明实施例的矿用车辆辅助驾驶装置的示意图，如图6所示，矿用车辆辅助驾驶装置包括：
132.获取单元610，所述获取单元610用于通过设置在矿用车辆上的红外摄像头，获取驾驶员特征；
133.判断单元620，所述判断单元620用于根据所述驾驶员特征判断所述驾驶员状态，其中，所述驾驶员状态包括重度疲劳状态和危险动作状态；
134.第一生成单元630，所述第一生成单元630用于当所述驾驶员状态为所述重度疲劳状态时，判断所述矿用车辆是否偏离车道，根据判断的结果生成第一类提醒；
135.第二生成单元640，所述第二生成单元640用于当所述驾驶员状态为所述危险动作状态时，生成第二类提醒，且当所述第二类提醒的持续时间大于预设时间时，生成第三类提醒。
136.本发明实施例中，所述矿用车辆辅助驾驶装置还包括第三生成单元，所述第三生
成单元用于，所述驾驶员特征包括眼部纵横比、嘴部纵横比、头部姿态和驾驶员骨干特征，所述驾驶员状态还包括轻度疲劳状态；
137.根据所述眼部纵横比和所述嘴部纵横比判断所述驾驶员状态是否为所述轻度疲劳状态；
138.在根据所述驾驶员特征判断所述驾驶员状态之后，所述矿用车辆辅助驾驶方法还包括：
139.当所述驾驶员状态为所述轻度疲劳状态时，生成第四类提醒，所述第四类提醒用于报警器报警。
140.所述判断单元620还用于获取所述眼部纵横比和所述嘴部纵横比；
141.比较所述眼部纵横比和预设长宽比值，根据所述眼部纵横比和所述预设长宽比值的比较结果判断眼部闭合状态，利用所述眼部闭合状态获取眨眼频率和眼部闭合时间；
142.根据所述嘴部纵横比获取嘴巴横向比值和嘴部张开程度，利用所述嘴巴横向比值和所述嘴部张开程度计算哈欠帧数；
143.比较所述眨眼频率和眨眼频率阀值，当所述眨眼频率小于所述眨眼频率阀值，判断所述驾驶员状态为所述轻度疲劳状态；
144.比较所述眼部闭合时间和闭合时间阀值，当所述眼部闭合时间大于所述闭合时间阀值，判断所述驾驶员状态为所述轻度疲劳状态；
145.比较所述哈欠帧数占据单位时间的比值和哈欠帧数阀值，当所述哈欠帧数占据单位时间的比值大于所述哈欠帧数阀值，判断所述驾驶员状态为所述轻度疲劳状态。
146.所述判断单元620还用于获取所述头部姿态，根据所述头部姿态获取单位时间低头频率和连续低头时长；
147.比较所述单位时间低头频率和低头频率阀值，比较所述连续低头时长和低头时长阀值；
148.当所述单位时间低头频率大于所述低头频率阀值时，或所述连续低头时长大于所述低头时长阀值时，判断所述驾驶员状态为所述轻度疲劳状态。
149.所述判断单元620还用于根据所述眼部纵横比、所述嘴部纵横比和所述头部姿态，利用多特征融合疲劳算法判断所述驾驶员是否为所述重度疲劳状态；
150.根据所述驾驶员骨干特征判断所述驾驶员是否为所述危险动作状态，所述危险动作状态包括识别预设的危险动作、所述驾驶员故意遮挡和离开驾驶位。
151.所述获取单元610还用于利用设置在矿用车辆上的红外摄像头获取初始图像；
152.根据所述初始图像通过人脸识别算法获取面部图像；
153.利用人脸关键点检测算法提取所述面部图像的关键点坐标；
154.将所述关键点坐标转换为数组保存；
155.根据所述数组获取所述驾驶员特征。
156.所述判断单元620还用于识别方向盘转动角度，比较所述转动角度和角度预设值；
157.利用图像识别获取所述矿用车辆及车道标线的位置参数，比较所述位置参数和位置参数预设值；
158.当所述转动角度大于所述角度预设值，且所述位置参数小于所述位置参数预设值时，判断所述矿用车辆偏离车道。
159.所述矿用车辆辅助驾驶装置还包括发送单元，所述发送单元用于通过无线信号将处理结果发送至后台终端，并同步控制线控模块，其中，所述后台终端用于接收所述处理结果并进行绩效考核，所述线控模块用于灯光和减速制动。
160.所述矿用车辆辅助驾驶装置还包括提醒单元，所述提醒单元用于所述第一类提醒包括播报语音提示，所述第一类提醒用于提醒所述驾驶员休息，所述第二类提醒包括开启黄灯提示，所述第三类提醒包括开启红灯提示和减速制动。
161.本发明所述的矿用车辆辅助驾驶装置与所述矿用车辆辅助驾驶方法相对于现有技术的优势相同，在此不再赘述。
162.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
163.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种矿用车辆辅助驾驶方法，其特征在于，包括：通过设置在矿用车辆上的红外摄像头，获取驾驶员特征；根据所述驾驶员特征判断所述驾驶员状态，其中，所述驾驶员状态包括重度疲劳状态和危险动作状态；当所述驾驶员状态为所述重度疲劳状态时，判断所述矿用车辆是否偏离车道，根据判断的结果生成第一类提醒；当所述驾驶员状态为所述危险动作状态时，生成第二类提醒，且当所述第二类提醒的持续时间大于预设时间时，生成第三类提醒。2.根据权利要求1所述的矿用车辆辅助驾驶方法，其特征在于，所述驾驶员特征包括眼部纵横比、嘴部纵横比、头部姿态和驾驶员骨干特征，所述驾驶员状态还包括轻度疲劳状态；所述根据所述驾驶员特征判断所述驾驶员状态，包括：根据所述眼部纵横比和所述嘴部纵横比判断所述驾驶员状态是否为所述轻度疲劳状态；在根据所述驾驶员特征判断所述驾驶员状态之后，所述矿用车辆辅助驾驶方法还包括：当所述驾驶员状态为所述轻度疲劳状态时，生成第四类提醒，所述第四类提醒用于报警器报警。3.根据权利要求2所述的矿用车辆辅助驾驶方法，其特征在于，所述根据所述眼部纵横比和所述嘴部纵横比判断所述驾驶员状态是否为所述轻度疲劳状态，包括：获取所述眼部纵横比和所述嘴部纵横比；比较所述眼部纵横比和预设长宽比值，根据所述眼部纵横比和所述预设长宽比值的比较结果判断眼部闭合状态，利用所述眼部闭合状态获取眨眼频率和眼部闭合时间；根据所述嘴部纵横比获取嘴巴横向比值和嘴部张开程度，利用所述嘴巴横向比值和所述嘴部张开程度计算哈欠帧数；比较所述眨眼频率和眨眼频率阀值，当所述眨眼频率小于所述眨眼频率阀值，判断所述驾驶员状态为所述轻度疲劳状态；比较所述眼部闭合时间和闭合时间阀值，当所述眼部闭合时间大于所述闭合时间阀值，判断所述驾驶员状态为所述轻度疲劳状态；比较所述哈欠帧数占据单位时间的比值和哈欠帧数阀值，当所述哈欠帧数占据单位时间的比值大于所述哈欠帧数阀值，判断所述驾驶员状态为所述轻度疲劳状态。4.根据权利要求2所述的矿用车辆辅助驾驶方法，其特征在于，所述根据所述驾驶员特征判断所述驾驶员状态，还包括：获取所述头部姿态，根据所述头部姿态获取单位时间低头频率和连续低头时长；比较所述单位时间低头频率和低头频率阀值，比较所述连续低头时长和低头时长阀值；当所述单位时间低头频率大于所述低头频率阀值时，或所述连续低头时长大于所述低头时长阀值时，判断所述驾驶员状态为所述轻度疲劳状态。5.根据权利要求2所述的矿用车辆辅助驾驶方法，其特征在于，所述根据所述驾驶员特
征判断所述驾驶员状态，还包括：根据所述眼部纵横比、所述嘴部纵横比和所述头部姿态，利用多特征融合疲劳算法判断所述驾驶员是否为所述重度疲劳状态；根据所述驾驶员骨干特征判断所述驾驶员是否为所述危险动作状态，所述危险动作状态包括识别预设的危险动作、所述驾驶员故意遮挡和离开驾驶位。6.根据权利要求1所述的矿用车辆辅助驾驶方法，其特征在于，所述通过设置在矿用车辆上的红外摄像头，获取驾驶员特征，包括：利用设置在矿用车辆上的红外摄像头获取初始图像；根据所述初始图像通过人脸识别算法获取面部图像；利用人脸关键点检测算法提取所述面部图像的关键点坐标；将所述关键点坐标转换为数组保存；根据所述数组获取所述驾驶员特征。7.根据权利要求1所述的矿用车辆辅助驾驶方法，其特征在于，所述判断所述矿用车辆是否偏离车道，包括：识别方向盘转动角度，比较所述转动角度和角度预设值；利用图像识别获取所述矿用车辆及车道标线的位置参数，比较所述位置参数和位置参数预设值；当所述转动角度大于所述角度预设值，且所述位置参数小于所述位置参数预设值时，判断所述矿用车辆偏离车道。8.根据权利要求1所述的矿用车辆辅助驾驶方法，其特征在于，还包括：通过无线信号将处理结果发送至后台终端，并同步控制线控模块，其中，所述后台终端用于接收所述处理结果并进行绩效考核，所述线控模块用于灯光控制和减速制动。9.根据权利要求1所述的矿用车辆辅助驾驶方法，其特征在于，所述第一类提醒包括播报语音提示，所述第一类提醒用于提醒所述驾驶员休息，所述第二类提醒包括开启黄灯提示，所述第三类提醒包括开启红灯提示和减速制动。10.一种矿用车辆辅助驾驶装置，其特征在于，包括：获取单元，所述获取单元用于通过设置在矿用车辆上的红外摄像头，获取驾驶员特征；判断单元，所述判断单元用于根据所述驾驶员特征判断所述驾驶员状态，其中，所述驾驶员状态包括重度疲劳状态和危险动作状态；第一生成单元，所述第一生成单元用于当所述驾驶员状态为所述重度疲劳状态时，判断所述矿用车辆是否偏离车道，根据判断的结果生成第一类提醒；第二生成单元，所述第二生成单元用于当所述驾驶员状态为所述危险动作状态时，生成第二类提醒，且当所述第二类提醒的持续时间大于预设时间时，生成第三类提醒。

技术总结
本发明涉及一种矿用车辆辅助驾驶方法及装置，包括：通过设置在矿用车辆上的红外摄像头，获取驾驶员特征；根据所述驾驶员特征判断所述驾驶员状态，其中，所述驾驶员状态包括重度疲劳状态和危险动作状态；当所述驾驶员状态为所述重度疲劳状态时，判断所述矿用车辆是否偏离车道，根据判断的结果生成第一类提醒；当所述驾驶员状态为所述危险动作状态时，生成第二类提醒，且当所述第二类提醒的持续时间大于预设时间时，生成第三类提醒。本发明可以提高驾驶员驾驶矿用车辆的安全性。驾驶员驾驶矿用车辆的安全性。驾驶员驾驶矿用车辆的安全性。


技术研发人员：王其 何适 王鑫 杨楠
受保护的技术使用者：航天重型工程装备有限公司
技术研发日：2022.12.05
技术公布日：2023/6/27