一种车载智能避险系统及方法

1.本发明属于电子信息与人工智能技术领域，涉及车载智能避险系统及方法。


背景技术：

2.根据数据显示，近五年来，我国汽车交通事故发生数一直居高不下，每年发生的汽车交通事故数超过十三万九千起，每年造成的死亡人数超过四万三千人，每年因汽车交通事故造成的直接财产损失超过十亿元。
3.对于频繁发生并造成众多人员伤亡与巨额财产损失的汽车交通事故现状，如何有效地降低汽车交通事故地发生频率，减少事故造成的人员伤亡与财产损失就显得尤为重要。但通常预防汽车交通事故的发生的方法非常有限，只能依靠驾驶员的自觉和交警系统的检查。这些方法耗时耗力，极度依赖于驾驶员的个人素质，具有极强的不确定性。且由于智能手机的普及和空闲时间的碎片化，一部分驾驶员会在开车时使用手机，这进一步加剧了预防交通事故发生的困难程度。
4.随着科技的发展，造成的不仅是智能手机的普及，人工智能技术也越发成熟，一些汽车公司已开始在汽车内加入数字控制系统，辅助驾驶员驾驶，降低汽车的驾驶难度，这在一定程度上降低了汽车交通事故的发生频率，但由于驾驶汽车的主体依然是驾驶员，所以国内外汽车在向着人工智能辅助驾驶员驾驶汽车的方向发展。
5.目前市场上已有的对汽车避障降低事故风险方面的产品不多，只有基础的倒车提醒和行车记录仪这类功能单一的产品，缺少基于人工智能的辅助驾驶员驾驶车辆的产品。而且对于汽车交通事故的发生都没有较好的预防方法，而且现有的方法不仅效果有限，还会耗费大量的人力和时间。


技术实现要素：

6.本发明要解决的技术问题是驾驶员在车内需要关注的控制单元较多，在进行驾驶操作时对车外情况的观察有遗漏，以及在某些时刻驾驶员将注意力放在驾驶以外的地方如打电话，无法对外界的突发情况进行及时的处理，不利于安全驾驶的问题。为解决上述问题，本发明提出了车载智能避险系统，包括控制模块和与控制模块分别连接的监测模块和云端服务器，所述控制模块包括中央控制单元与智能终端；所述中央控制单元包括控制器、信号灯状态检测模块与危险驾驶检测模块；所述监测模块包括毫米波雷达、内置摄像头、外置摄像头与预警器；所述云端服务器包括4g模组与sip服务器；其中，
7.所述内置摄像头采集驾驶员脸部和手部的关键点信息，并发送至中央控制单元；
8.所述外置摄像头实时采集交通灯状态与前车遮挡图像，并发送至中央控制单元；
9.所述毫米波雷达对驾驶员车辆周围车辆的距离参量和速度参量进行采集，并将数据发送至中央控制单元；
10.所述中央控制单元根据收到信息进行红绿灯识别与预警相应判断，并在事故发生时将信息上传至云端服务器；
11.所述预警器包括车载音响；
12.所述云端服务器通过4g模组将信息上传至sip服务器；
13.所述智能终端调控预警阈值。
14.优选地，所述危险驾驶检测模块包括存储单元、危险驾驶检测模型、计算单元和辅助控制单元，其中，存储单元与计算单元连接，危险驾驶检测模型、计算单元和辅助控制单元依次连接，危险驾驶检测模型与内置摄像头或外置摄像头连接。
15.优选地，所述控制器包括atlas 200dk开发者套件，所述智能终端包括智能手机。
16.优选地，所述毫米波雷达为ars408-21，工作频率为24-24.25ghz，安装在车顶处。
17.优选地，所述外置摄像头为adas摄像头，安装在车辆前挡风玻璃上边沿中间位置，识别角度为70
°
，安装角度与车辆平行。
18.优选地，所述内置摄像头为dms摄像头，安装在车辆中控台或者仪表盘上，安装角度在驾驶员正前偏右30
°
范围内，内置摄像头与人脸的距离范围为60cm-120cm，并保持左右转动时水平。
19.基于上述目的，本发明还提供了一种车载智能避险方法，基于上述车载智能避险系统，包括：
20.信号灯状态检测：采集目标图像，通过yolov5模型识别信号灯状态，并判断是否进行预警提醒；
21.内置危险检测：在存储单元对人体特征点信息进行存储，建立openpose模型识别驾驶时的人体姿态，记录人体特征点信息，分别进行中值滤波并将滤波结果传入计算单元，计算单元通过以下公式计算a、b两特征量之间的距离r、r和偏离度dev:
[0022][0023][0024][0025]
其中,(xa，ya)是存储单元中人体特征点a的位置坐标,(xb，yb)是存储单元中人体特征点b的位置坐标，r是存储单元中两人体特征点a、b之间的距离，(xa，ya)是危险驾驶检测模块滤波结果中人体特征点a的位置坐标,(xb，yb)是危险驾驶检测模块滤波结果中人体特征点b的位置坐标，r是危险驾驶检测模块的滤波结果中两人体特征点a、b之间的距离，根据计算出的dev和r判断人体姿态并决定是否进行提醒；
[0026]
外置危险检测：毫米波雷达对周围车辆进行扫描，将返回的信息与阈值比较，判断是否产生预警信号，并决定是否传输事故至sip服务器。
[0027]
优选地，所述信号灯状态检测包括以下步骤：
[0028]
s11、车辆行驶至红灯处或出现缓行或停止时，开启外置摄像头进行图片采集，将接收到的图片信息通过局部直方图均衡化进行处理，去除可能存在的由于大雾、雨雪、霾天气因素造成的影响，再通过clahe算法提高图片对比度，然后将处理后的图片输入到信号灯检测yolov5模型；
[0029]
s12、信号灯检测yolov5模型中经过两次上采样得到的特征图，再次进行上采样，使特征图进一步扩大；
[0030]
s13、将s12获得的特征图与regnet网络经过one-stage算法处理后的特征图进行concat融合，获取更大的特征图进行小目标检测；
[0031]
s14、对输入图像数据进行处理：将外置摄像头获取到的图片平均切分为6张图像，并标记这6张图像在原图像中的相对位置；
[0032]
s15、分别将这6张图像送入信号灯检测yolov5模型进行检测，并将获取到的结果分别标注在原始图像数据中，并进行判断；
[0033]
s16、若检测到存在前车遮挡现象或信号灯状态为红灯，则重新进入s11，若为绿灯则关闭外置摄像头，预警器提示驾驶员尽快起步。
[0034]
优选地，所述内置危险检测包括以下步骤：
[0035]
s21、存储单元分别录入正常驾驶和异常驾驶时左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手、右手特征点的位置信息；
[0036]
s22、内置摄像头采集到的图像经过openpose人体姿态识别模型处理，得到人脸、人手、人体姿态特征，连续记录n次上述特征点的位置信息，分别进行中值滤波并将滤波结果传入计算单元；
[0037]
s23、计算单元计算出两人体特征点a、b之间的距离r、r和偏离度dev，其中r是存储单元中两人体特征点a、b之间的距离，r是滤波结果中两人体特征点a、b之间的距离；
[0038]
s24、根据dev和r判断驾驶状态并决定是否提醒。
[0039]
优选地，所述外置危险检测包括以下步骤：
[0040]
s31、在控制器控制下毫米波雷达对周围车辆进行扫描，返回不同方向上其他车辆相较于自身的相对速度，并将获取到的数据以8
×
2的二维数组形式储存于存储单元；
[0041]
s32、控制器通过规律性发送控制指令，获取不同方向上的获得的速度信息，并将所获得的速度与所设定的阈值进行比较，当所测速度小于该阈值时，预警器发出预警信号，同时开启外置摄像头对实况是否发生碰撞进行判定；
[0042]
s33、若发生碰撞，控制器将车辆的位置信息和事故发生时的外置摄像头所上传的图像数据传输至4g模组，同时4g模组通过上下文残差聚合机制修复上传图像数据，并通过ai判断事故发生的真实性，确认完毕后发送至sip服务器,sip服务器在接收到事故信息后根据现场判断事故严重程度作出后续反馈，若未发生碰撞，车辆继续行驶，外置摄像头关闭。
[0043]
本发明有益效果至少包括：实现在某车辆上部署车载智能避险系统，保证外部设施硬件能够正常运行工作。在经过交通灯路口时能够检测前车离开并识别交通灯变换，在交通灯处于通行阶段驾驶员出现走神等非驾驶状态时提醒驾驶员集中注意力。用小车碰撞环境模拟真车出现交通事故环境，系统实现将碰撞前提醒、碰撞后上传数据，云端实现图像识别并将信息传输至另一云平台,实现在另一云平台终端上显示事故图像数据和事故位置数据。
附图说明
[0044]
图1为本发明实施例的车载智能避险系统的结构示意图；
[0045]
图2为本发明一实施例的车载智能避险系统的危险驾驶检测部分结构图；
[0046]
图3为本发明又一实施例的车载智能避险系统的危险驾驶检测部分结构图；
200dk通过camera模块将atlas 200ai加速模块与外接摄像头和麦克风等联系起来，同时板载的rj45接口赋予其网络连接功能，从而实现云和端的协同工作，在软件方面有mind studio运行开发工具，这些组件构成一个小的晟腾软件开发“生态”，本发明的车载智能避险系统基于atlas 200dk实现，能够快速部署到移动车辆中。
[0067]
毫米波雷达34为ars408-21，工作频率为24-24.25ghz，安装在车顶处。
[0068]
外置摄像头32为adas摄像头，安装在车辆前挡风玻璃上边沿中间位置，识别角度为70
°
，安装角度与车辆平行。
[0069]
内置摄像头31为dms摄像头，安装在车辆中控台或者仪表盘上，安装角度在驾驶员正前偏右30
°
范围内，内置摄像头31与人脸的距离范围为60cm-120cm，并保持左右转动时水平。
[0070]
控制模块20是整个系统的核心，控制模块20基于华为的atalas 200dk高性能ai应用开发板设计，拟采用regnet神经网络设计。依托于昇腾310ai处理器强大的算力以及简洁高效的网络设计范式，控制模块20能够快速高效地对监测模块30采集上传的数据进行收集分析，判断驾驶员驾驶状态，对比驾驶车辆周围车辆距离和车速，识别交通灯显示情况，实现在驾驶员出现不符合交通规范驾驶或周围车辆失控驾驶时，通过车内装载的扬声器提醒驾驶员，提高驾驶员注意力，减少交通事故发生概率，保障人员与财产安全。当驾驶车辆出现交通事故时，控制模块20将发生事故时段的驾驶员及驾驶车辆周围环境图像上传至云端服务器10，基于云端的高速计算快速确定事故发生的真实性，再将发生事故地点的图像信息和位置信息传递至sip服务器，有效地缩短交警出警时间，提高事故处理效率，减少事故中人员伤亡与财产损失。
[0071]
参见图2、图3，危险驾驶检测模块23包括存储单元231、危险驾驶检测模型232、计算单元233和辅助控制单元234，其中，存储单元231与计算单元233连接，危险驾驶检测模型232、计算单元233和辅助控制单元234依次连接，危险驾驶检测模型232与内置摄像头31或外置摄像头32连接。
[0072]
具体实施例中，搭建网络并完成危险驾驶检测模型232的训练，通过稀疏训练裁剪60％的参数，将bn层前的卷积层对应通道的卷积核裁剪掉，将bn层后对应的特征图裁剪掉，并对危险驾驶检测模型232进行微调，重新训练危险驾驶检测模型232，最终得到的模型与原模型相比准确率相似，模型规模大幅减小，同时在atlas200dk上的推理速度大幅提升。
[0073]
参见图2，对于车内部分，危险驾驶检测部分包括内置摄像头31(dms摄像头)、危险驾驶检测模块23、控制器24、预警器33，通过内置摄像头31采集脸部和手部的关键点信息，识别出驾驶员在驾驶时存在的不安全驾驶行为，并由此通过预警器33给出相应语音提示；
[0074]
不安全驾驶行为包含：疲劳：打哈欠、闭眼；打电话；分神驾驶：左顾右盼、低头；抽烟。
[0075]
内置摄像头31(识别驾驶状态)，安装在中控台或者仪表盘上，安装角度需保证在驾驶员正前偏右30
°
范围内，建议角度越小越好，内置摄像头31与人脸的距离范围60cm-120cm，建议安装在80cm左右的位置，且要确保人脸和手部出现在内置摄像头31正中心，保证内置摄像头31不遮挡驾驶员视线、不干扰驾驶员；保证内置摄像头31与驾驶员脸部之间不被方向盘等其他杂物遮挡；内置摄像头31需保持左右水平，不可倾斜。
[0076]
内置摄像头31与危险驾驶检测模块23连接，危险驾驶检测模块23与控制器24连
接，控制器24与预警器33链接。
[0077]
内置摄像头31实时采集驾驶员驾驶车辆时的图像，并传输给危险驾驶检测模块23。
[0078]
危险驾驶检测模块23包括危险驾驶检测模型232、存储单元231、计算单元233和辅助控制单元234。
[0079]
存储单元231存有提前录入的正常驾驶时左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手首、右手首特征点的位置信息。
[0080]
危险驾驶检测模型232采用openpose人体姿态识别模型，该模型属于现有技术，在此不再赘述，摄像头采集到的图像经过该模型的处理得到人脸、人手、人体姿态特征，其中人体姿态特征点包括左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手首、右手首的位置信息，连续记录n次上述特征点的位置信息，分别进行中值滤波并将滤波结果传入计算模块。
[0081]
计算单元233进行计算，辅助控制单元234将结果输出给控制器24。
[0082]
图3的危险驾驶检测模块23与外置摄像头32(adas摄像头)连接同理。具体实施例中还包括定位系统35，参见图6为定位系统35(gps)定时获取车辆位置信息的流程图，gps进行数据收发，控制模块20接受并解析数据帧，利用本次经纬度信息与前一次信息计算得到车辆速度，判断速度是否大于预设的阈值，否，则关闭外置摄像头32，是，则开启外置摄像头32，拍摄图片，结合离线地图筛选图片，将图片送入危险驾驶检测模型232处理得出结果。
[0083]
信号灯检测模块亦同理，在驻车等待交通灯变化的过程中，信号灯检测模块工作，功能实现的硬件部分包括外置摄像头32(adas摄像头)、信号灯检测模块、控制器24、预警器33。
[0084]
外置摄像头32(识别信号灯)，安装在车辆前挡风玻璃上边沿中间位置，识别角度为70度，安装角度与车辆平行，主要用于采集红绿灯信息，同时避免采集到前车灯干扰。
[0085]
外置摄像头32与信号灯检测模块连接，信号灯检测模块与控制器24连接。
[0086]
信号灯检测模块包括图像预处理系统、信号灯检测模型和辅助控制单元；图像预处理系统首先将接收到的图片信息通过暗通道先验去雾算法进行处理，去除可能存在的由于大雾、霾等天气因素造成的影响，然后通过clahe算法提高图片对比度，然后将处理完后的图片输入到信号灯检测模型，clahe是一种对比度受限情况下的自适应直方图均衡化算法。
[0087]
信号灯检测模型是一种将yolov5主干网络darknet替换为regnet后得到的神经网络模型，yolov5网络的主干特征提取网络采用c3结构，带来较大的参数量，检测速度较慢，应用受限，在某些真实的应用场景如移动或者嵌入式设备，如此大而复杂的模型时难以被应用；首先是模型过于庞大，面临着内存不足的问题，其次这些场景要求低延迟，或者说响应速度要快，基于以上这些缺点，yolov5网络并不适用于该系统，故选择将yolov5的主干网络更换为regnet，在轻量级网络领域，低flops的regnet模型也能达到很好的效果，替换之后的网络与原网络相比有如下优势：更轻量级的网络，易于网络在终端的移植；最大程度降低了网络推理的错误率；与原网络相比最大程度地提高了模型的推理速度。
[0088]
参见图9、图10，regnet与yolov5的结合：regnet网络主要是由stem、body、head三个部分构成，而head就是分类网络中常见的分类器，由一个全局平均池化层和全连接层构
成，可以看做是模型的输出层，而替换yolov5主干网络时，无需分类结果的，故直接去除regnet的head部分，而stem就是一个普通的卷积层，但由于yolov5对输入图像数据进行了切片操作，显然stem无法完成该操作，现对stem部分进行改进，在输入与stem之间增加一个focus，其功能为对输入图片进行4次切片并将结果通过concat融合，并经过一次cbl层，然后输入stem。regnet的body部分维持不变。分别取出body部分经过stage2、stage3后的特征图与yolov5的neck部分的两次上采样后的特征图进行concat融合，经过stage4后的特征图经过spp、cbl后与yolov5网络neck部分连接。
[0089]
body部分主要由4个stage组成，每个stage分别由不同数量的block块组成，stage1 block块数量为1；stage2 block块数量为3；stage3 block块数量为5；stage4 block块数量为7；
[0090]
block主分支是一个1x1的卷积(包括bn和relu)、一个3x3的group卷积(包括bn和relu)、再接一个1x1的卷积(包括bn)。shortcut捷径分支不做任何处理。图中的ri代表分辨率简单理解为特征矩阵的高、宽，当步距s等于1时，输入输出的ri保持不变，当s等于2时，输出的ri为输入的一半。ωi代表特征矩阵的channel。gi代表group卷积中每个group的group width，bi代表bottleneck ratio即输出特征矩阵的channel缩减为输入特征矩阵channel的bi分之一。
[0091]
现将网络参数定为：di＝[1,3,5,7]、ωi＝[48,96,240,528]、gi＝24、bi＝1。其中i∈1，2，3，4，分别表示4个stage的参数选择，例如d1即stage1时的block数量。cbl由一个卷积层、bn层(batchnorm)、激活函数leaky relu构成。spp层即将特征数据分别进行3次最大值池化，并与原始数据进行concat融合。
[0092]
参见图7，为信号灯状态检测的流程图，包括以下步骤：
[0093]
s11、车辆行驶至红灯处或出现缓行或停止时，开启外置摄像头进行图片采集，将接收到的图片信息通过局部直方图均衡化进行处理，去除可能存在的由于大雾、雨雪、霾天气因素造成的影响，再通过clahe算法提高图片对比度，然后将处理后的图片输入到信号灯检测yolov5模型；
[0094]
s12、信号灯检测yolov5模型中经过两次上采样得到的特征图，再次进行上采样，使特征图进一步扩大；
[0095]
s13、将s12获得的特征图与regnet网络经过one-stage算法处理后的特征图进行concat融合，获取更大的特征图进行小目标检测；
[0096]
s14、对输入图像数据进行处理：将外置摄像头获取到的图片平均切分为6张图像，并标记这6张图像在原图像中的相对位置；
[0097]
s15、分别将这6张图像送入信号灯检测yolov5模型进行检测，并将获取到的结果分别标注在原始图像数据中，并进行判断；
[0098]
s16、若检测到存在前车遮挡现象或信号灯状态为红灯，则重新进入s11，若为绿灯则关闭外置摄像头，预警器提示驾驶员尽快起步。
[0099]
控制器实时读取定位系统检测到的位置信息，若检测到1秒内位置信息未发生改变，则控制器发出一个车辆停止指令，接收到控制器发出的车辆停止指令后，外置摄像头开启并实时采集包含信号灯在内的或被前车遮挡的图像，并传输给信号灯检测模块进行判断确认红绿灯信号或是否存在前车遮挡，同时信号灯检测模块根据获取到的所在车道信息，
筛选出符合当前车道的红绿灯信息，然后将结果进行编码并传输给控制器，控制器接受信号并判断信号灯类型，若为绿灯则关闭摄像头，并通过预警器提示驾驶员尽快起步，防止堵塞交通。提高驾驶员注意力，减少发生交通事故的概率，保障人员与财产安全。
[0100]
考虑到在驾驶车辆前方存在大型车辆遮挡交通灯的情况，系统检测到驾驶车辆前方没有车辆或前车离开时，再通过机器视觉识别图像中交通灯并检测其显示情况，判断通行情况。下面进一步介绍红绿灯的识别避险功能,基于信号灯检测系统与图像预处理系统,我们对可能出现的情况进行了如下4种分类:
[0101]
天气状况良好,能见度大：
[0102]
1)驾驶车辆前方视野开阔,可轻松检测到红绿灯
[0103]
2)驾驶车辆前方有大型车辆遮挡,视野局限,不能直接检测到红绿灯
[0104]
天气状况较差,出现雾霾天气等,能见度较低：
[0105]
3)驾驶车辆前方视野开阔,可轻松见车到到红绿灯
[0106]
4)驾驶车辆前方有大型车辆遮挡,视野较局限
[0107]
在天气造成的影响方面，考虑到对于不同情况处理方式会有差别，分开处理会造成系统设计复杂程度增大，而用针对某一种情况的程序设计来处理所有情况会造成系统误判的几率增加，为了达到折中效果,使设计的系统对于每一种情况都能达到较好的效果，我们拟采用直方图均衡化算法对图像进行预处理，之后结合clahe来优化图像，降低图像中的噪声。
[0108]
首先经过直方图均衡化算法，增强图像的对比度，有利于特征的提取，之后结合clahe，即一种自适应的直方图均衡算法，来降低图像中的噪声。
[0109]
经过如上处理,我们可以降低大雾,雨雪,雾霾天气造成的干扰,提高图像的正确检测的几率,同时避开了复杂的系统设计,简化系统,在保证正确率的同时提高了效率,
[0110]
在是否有大型车辆遮挡方面,考虑到此种情况最常发生,且难以避免,我们并未进行差异化处理,而是选择结合定位系统以1s为单位时间进行位置检测,基于所获得的前后两次位置,判断是否需要开启摄像头。我们假设车辆1s钟前后位置为x1,x2规定停止或缓行车辆1s种之内位置偏移量满足：s1≤|x
1-x2|≤s2[0111]
当|x
1-x2|落在此区间时,控制器将发出车辆停止指令来开启外置摄像头,并开启实时监测功能,同时信号灯检测模块将对回传的照片持续依次检测,若检测到绿灯,结合定位系统所提供的车道信息进行判断,若绿灯和所对应的车道相匹配,则语音播报,提醒驾驶员及时驾驶车辆离开,防止过久停留,如不是绿灯,则继续进行红绿灯检测。
[0112]
最终对于种不同的场景,整体流程如下:
[0113]
1)车辆行驶至红灯处，或出现缓行，几近停止时，开启外置摄像头(adas摄像头)；
[0114]
2)外置摄像头拍摄图片，图片优化送入信号灯检测模块；
[0115]
3)检测到绿灯，语音播报提示，若未检测到绿灯，则以预设时间段重复拍照，循环检测。
[0116]
为解决不同地区存在的交通灯的外观和变化方式不同，本发明拟采用了regnet网络设计范式。采用regnet的神经网络设计结合手动设计网络和神经网络搜索两者的优点，可以描述一些简单网络的一般设计原则，并在各种设置中泛化，也可以利用半自动过程，来找到易于理解、构建和泛化的简单模型，相较于其他类型的圣经网络设计在保证学习深度
的情况下加快了人工智能的学习速度，降低了图像识别的错误率。
[0117]
再考虑到获取的图像数据中，红绿灯所占像素很少，样本的尺寸较小，而yolov5的下采样倍数比较大，较深的特征图很难学习到小目标的特征信息，极大地影响了模型的准确率，解决方案是:增加一个小目标检测层。yolov5模型中经过两次上采样得到的特征图再次进行上采样等处理，使特征图进一步扩大，然后与regnet网络经过stage1后的特征图进行concat融合，以此获取更大的特征图进行小目标检测。经测试小目标检测准确率有小幅提升。此外，对输入图像数据进行处理:将定向摄像头获取到的图片平均切分为6张尺寸较小的图像，并标记这6张图像在原图像中的相对位置，分别将这6张图像送入模型进行检测，并将获取到的结果分别标注在原始图像数据中，并进行判断。经测试判断准确度有较大的提升。
[0118]
参见图4，整体车载智能避险方法，内置摄像头实时采集驾驶员图像，openpose模型检测后，分为人脸特征点检测和人体姿态特征点检测，人脸特征点的示意图参见图8，得到人脸特征点信息后，与存储单元中的人脸特征信息比对，判断是否是疲劳驾驶，否，则返回内置摄像头实时采集驾驶员图像步骤；是，则发送信号给控制器；得到人体姿态特征点信息后，与存储单元中的人体姿态特征信息比对，判断是否是分神或打电话或抽烟，否，则返回内置摄像头实时采集驾驶员图像步骤；是，则发送信号给控制器；控制器通过预警器发出警告。
[0119]
具体包括：信号灯状态检测：采集目标图像，通过yolov5模型识别信号灯状态，并判断是否进行预警提醒；
[0120]
内置危险检测：在存储单元对人体特征点信息进行存储，建立openpose模型识别驾驶时的人体姿态，记录人体特征点信息，分别进行中值滤波并将滤波结果传入计算单元，计算单元通过以下公式计算a、b两特征量之间的距离r、r和偏离度dev:
[0121][0122][0123][0124]
其中,(xa，ya)是存储单元中人体特征点a的位置坐标,(xb，yb)是存储单元中人体特征点b的位置坐标，r是存储单元中两人体特征点a、b之间的距离，(xa，ya)是危险驾驶检测模块滤波结果中人体特征点a的位置坐标,(xb，yb)是危险驾驶检测模块滤波结果中人体特征点b的位置坐标，r是危险驾驶检测模块的滤波结果中两人体特征点a、b之间的距离，根据计算出的dev和r判断人体姿态并决定是否进行提醒；
[0125]
外置危险检测：毫米波雷达对周围车辆进行扫描，将返回的信息与阈值比较，判断是否产生预警信号，并决定是否传输事故至sip服务器。
[0126]
内置危险检测包括以下步骤：
[0127]
s21、存储单元分别录入正常驾驶和异常驾驶时左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手、右手特征点的位置信息；
[0128]
s22、内置摄像头采集到的图像经过openpose人体姿态识别模型处理，得到人脸、人手、人体姿态特征，连续记录n次上述特征点的位置信息，分别进行中值滤波并将滤波结
果传入计算单元；
[0129]
s23、计算单元计算出两人体特征点a、b之间的距离r、r和偏离度dev，其中r是存储单元中两人体特征点a、b之间的距离，r是滤波结果中两人体特征点a、b之间的距离；
[0130]
s24、根据dev和r判断驾驶状态并决定是否提醒。
[0131]
参见图5，为外置危险检测的具体实施例中交通事故检测流程图，毫米波雷达获取周围车辆距离信息，计算周围车辆相对速度信息，判断是否可能出现交通事故，否，则返回获取周围车辆距离信息步骤，是，则打开外置摄像头，通过外置摄像头拍摄图片判断是否出现交通事故，否，则关闭外置摄像头，返回获取周围车辆距离信息步骤，是，则将图像信息传输至4g模组，判断交通事故是否真实，否，则关闭外置摄像头，返回获取周围车辆距离信息步骤，是，则将图像信息传输至sip服务器。
[0132]
具体外置危险检测包括以下步骤：
[0133]
s31、在控制器控制下毫米波雷达对周围车辆进行扫描，返回不同方向上其他车辆相较于自身的相对速度，并将获取到的数据以8
×
2的二维数组形式储存于存储单元；
[0134]
s32、控制器通过规律性发送控制指令，获取不同方向上的获得的速度信息，并将所获得的速度与所设定的阈值进行比较，当所测速度小于该阈值时，预警器发出预警信号，同时开启外置摄像头对实况是否发生碰撞进行判定；
[0135]
s33、若发生碰撞，控制器将车辆的位置信息和事故发生时的外置摄像头所上传的图像数据传输至4g模组，同时4g模组通过上下文残差聚合机制修复上传图像数据，并通过ai判断事故发生的真实性，确认完毕后发送至sip服务器,sip服务器在接收到事故信息后根据现场判断事故严重程度作出后续反馈，若未发生碰撞，车辆继续行驶，外置摄像头关闭。
[0136]
导致交通事故的危险常常来源于驾驶车辆周围的车辆，本发明中使用车前毫米波雷达来获取驾驶车辆周围车辆的距离参数和速度参数，当检测到周围车辆的距离参数和速度参数超过系统预设值时，避险系统将通过车内装载的扬声器提醒驾驶员改变驾驶车辆行驶状态以规避危险。
[0137]
由于在驾驶中危险的发生往往是在瞬间发生的，所以对本发明使用的altas200dk设备进行了适应性的改进，以提高模型的推理速度，加快对情况的分析反应。本发明将采用剪枝的方法来进行模型的改进，测试后得出优点可以极大地减小模型的大小，同时在维持相似的准确率的情况下，极大地提高模型的推理速度。原理如下：
[0138]
网络的所有参数中存在大量的冗余项，选择在bn层进行进行处理，bn层的计算公式为:
[0139][0140][0141]
其中，x
(k)
指bn层的输入；为原始数据经过归一化处理后的数据；y
(k)
指bn层的输出，即bn层处理后的均值为β，方差为γ的数据；e[x
(k)
]指的是每一批训练数据x
(k)
的平均值；var[x
(k)
]指的是每批训练数据的方差。
[0142]
由于归一化不可避免的会改变数据的分布，从而可能会对激活函数只使用了其线
性部分，限制了模型的表达能力。故引入参数γ
(k)
和β
(k)
以提高网络的输出重构原始特征的表达能力。
[0143]
所以每个channel激活大小y
(k)
和系数γ
(k)
正相关，如果γ
(k)
太小接近于0，那么激活值也非常小，对结果的影响也很小，所以选择直接去除γ
(k)
00的channel以减小模型。
[0144]
为了使模型参数稀疏化，引入l1正则约束:为了使模型参数稀疏化，引入l1正则约束:其中，为模型的预测值；y(i)为模型的真实值；
[0145]
为模型的损失函数；为正则化公式，其中λ为一个超参数，θj为需正则化的权重参数。
[0146]
具体操作:搭建网络并完成模型的训练，通过稀疏训练裁剪60％的参数，将bn层前的卷积层对应通道的卷积核裁剪掉，将bn层后对应的特征图裁剪掉，并对模型进行微调，重新训练模型，最终得到的模型与原模型相比准确率相似，模型规模大幅减小，同时在atlas200dk上的推理速度大幅提升。
[0147]
危险驾驶检测系统包括内置摄像头(dms摄像头)、危险驾驶检测模块、控制器、预警器，本系统通过采集脸部和手部的关键点信息，识别出驾驶员在驾驶时存在的不安全驾驶行为，并由此给出相应语音提示；
[0148]
不安全驾驶行为包含：疲劳：打哈欠、闭眼；打电话；分神驾驶：左顾右盼、低头；抽烟。
[0149]
内置摄像头(识别驾驶驾驶状态)，安装在中控台或者仪表盘上，安装角度需保证在驾驶员正前偏右30
°
范围内，建议角度越小越好，摄像头与人脸的距离范围60cm-120cm，建议安装在80cm左右的位置，且要确保人脸和手部出现在摄像头正中心，保证摄像头不遮挡驾驶员视线、不干扰驾驶员；保证摄像头与驾驶员脸部之间不被方向盘等其他杂物遮挡；摄像头需保持左右水平，不可倾斜。
[0150]
内置摄像头与危险驾驶检测模块连接，危险驾驶检测模块与控制器连接。
[0151]
内置摄像头实时采集驾驶员驾驶车辆时的图像，并传输给危险驾驶检测模块。
[0152]
危险驾驶检测模块包括危险驾驶检测模型、存储单元、计算单元和辅助控制单元。
[0153]
存储单元存有提前录入的正常驾驶时左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手首、右手首特征点的位置信息。
[0154]
危险驾驶检测模型采用openpose人体姿态识别模型，该模型属于现有技术，在此不再赘述，摄像头采集到的图像经过该模型的处理得到人脸、人手、人体姿态特征，其中人体姿态特征点包括左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手首、右手首的位置信息，连续记录n次上述特征点的位置信息，分别进行中值滤波并将滤波结果传入计算模块。
[0155]
计算单元按照如下公式计算出ab两特征量之间的距离r、r和偏离度dev
[0156][0157]
[0158][0159]
其中,(xa,ya)是存储单元中特征点a的位置坐标,(xb,yb)是存储单元中特征点b的位置坐标，r是存储单元中两特征点a、b之间的距离，(xa,ya)是危险驾驶检测模块滤波结果中特征点a的位置坐标,(xb,yb)是危险驾驶检测模块滤波结果中特征点b的位置坐标，r是危险驾驶检测模块滤波结果中两特征点a、b之间的距离。
[0160]
例如：若要计算左目到左肩的距离偏移度：将左目记为特征点a，左肩记为特征点b，则存储单元中a的坐标为(x
ml
,t
ml
)，b的坐标为(x
jl
,u
jl
)；危险驾驶检测模块滤波结果中a的坐标为(x
ml
,y
ml
)，b的坐标为(x
jl
,y
jl
)；则左目到左肩的偏移度为：
[0161][0162]
其余特征点计算方式相同，在此不再赘述。
[0163]
计算左目到左肩或者右目到右肩特征点的偏离度dev
mj
，若dev
mj
》15％则认定驾驶员处于分神驾驶状态：低头。
[0164]
计算左手首到鼻或者左手首到左耳特征点的偏离度dev
slb/elbl
，以及左手首到鼻的距离r
slb
、左手首到左耳的距离r
elbl
，若dev
slb/elbl
》50％，且r
slb
》r
elbl
则认定驾驶员在打电话，否则若r
slb
≤r
elbl
则认定驾驶员吸烟。
[0165]
危险驾驶检测模型处理得到的人脸关键点如附图部分的图8所示，这些特征同样也提前录入到存储单元中，计算37号特征点和41号特征点的距离偏移度dev
37-41
，若dev
37-41
》50％，则认定驾驶员疲劳驾驶或者计算51号特征点到57号特征点的距离r
51-57
和48号特征点到54号特征点之间的距离r
48-54
，若r
51-57
》r
48-54
，则同样认定驾驶员疲劳驾驶。
[0166]
当危险驾驶检测模块识别到目前的驾驶状态处于危险驾驶状态时，会通过控制器控制车内的预警器提醒驾驶员，来规避危险状况的发生。考虑到驾驶员有一定可能无法及时规避或无法完全规避危险，为减少人员伤亡和财产损失，当系统检测到驾驶车辆可能会出现交通事故时，将打开定向摄像头和万向摄像头，若驾驶车辆出现交通事故，系统将车辆的位置信息和事故发生前与发生时的摄像头所上传的图像数据传输至云端服务器。云端服务器通过上下文残差聚合机制修复上传图像数据，并通过ai判断事故发生的真实性，确定完毕后发送至sip服务，能够有效降低事故的误报率，提升系统可靠性，缩短交警出警时间，提高事故处理效率，减少事故中人员伤亡与财产损失。
[0167]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种车载智能避险系统，其特征在于，包括控制模块和与控制模块分别连接的监测模块和云端服务器，所述控制模块包括中央控制单元与智能终端；所述中央控制单元包括控制器、信号灯状态检测模块与危险驾驶检测模块；所述监测模块包括毫米波雷达、内置摄像头、外置摄像头与预警器；所述云端服务器包括4g模组与sip服务器；其中，所述内置摄像头采集驾驶员脸部和手部的关键点信息，并发送至中央控制单元；所述外置摄像头实时采集交通灯状态与前车遮挡图像，并发送至中央控制单元；所述毫米波雷达对驾驶员车辆周围车辆的距离参量和速度参量进行采集，并将数据发送至中央控制单元；所述中央控制单元根据收到信息进行红绿灯识别与预警相应判断，并在事故发生时将信息上传至云端服务器；所述预警器包括车载音响；所述云端服务器通过4g模组将信息上传至sip服务器；所述智能终端调控预警阈值。2.根据权利要求1所述的车载智能避险系统，其特征在于，所述危险驾驶检测模块包括存储单元、危险驾驶检测模型、计算单元和辅助控制单元，其中，存储单元与计算单元连接，危险驾驶检测模型、计算单元和辅助控制单元依次连接，危险驾驶检测模型与内置摄像头或外置摄像头连接。3.根据权利要求1所述的车载智能避险系统，其特征在于，所述控制器包括atlas 200dk开发者套件，所述智能终端包括智能手机。4.根据权利要求1所述的车载智能避险系统，其特征在于，所述毫米波雷达为ars408-21，工作频率为24-24.25ghz，安装在车顶处。5.根据权利要求1所述的车载智能避险系统，其特征在于，所述外置摄像头为adas摄像头，安装在车辆前挡风玻璃上边沿中间位置，识别角度为70
°
，安装角度与车辆平行。6.根据权利要求1所述的车载智能避险系统，其特征在于，所述内置摄像头为dms摄像头，安装在车辆中控台或者仪表盘上，安装角度在驾驶员正前偏右30
°
范围内，内置摄像头与人脸的距离范围为60cm-120cm，并保持左右转动时水平。7.一种车载智能避险方法，其特征在于，基于权利要求1-6之一所述的车载智能避险系统，包括：信号灯状态检测：采集目标图像，通过yolov5模型识别信号灯状态，并判断是否进行预警提醒；内置危险检测：在存储单元对人体特征点信息进行存储，建立openpose模型识别驾驶时的人体姿态，记录人体特征点信息，分别进行中值滤波并将滤波结果传入计算单元，计算单元通过以下公式计算a、b两特征量之间的距离r、r和偏离度dev:单元通过以下公式计算a、b两特征量之间的距离r、r和偏离度dev:单元通过以下公式计算a、b两特征量之间的距离r、r和偏离度dev:其中,(x
a
，y
a
)是存储单元中人体特征点a的位置坐标,(x
b
，y
b
)是存储单元中人体特征点
b的位置坐标，r是存储单元中两人体特征点a、b之间的距离，(x
a
，y
a
)是危险驾驶检测模块滤波结果中人体特征点a的位置坐标,(x
b
，y
b
)是危险驾驶检测模块滤波结果中人体特征点b的位置坐标，r是危险驾驶检测模块的滤波结果中两人体特征点a、b之间的距离，根据计算出的dev和r判断人体姿态并决定是否进行提醒；外置危险检测：毫米波雷达对周围车辆进行扫描，将返回的信息与阈值比较，判断是否产生预警信号，并决定是否传输事故至sip服务器。8.根据权利要求7所述的车载智能避险方法，其特征在于，所述信号灯状态检测包括以下步骤：s11、车辆行驶至红灯处或出现缓行或停止时，开启外置摄像头进行图片采集，将接收到的图片信息通过局部直方图均衡化进行处理，去除可能存在的由于大雾、雨雪、霾天气因素造成的影响，再通过clahe算法提高图片对比度，然后将处理后的图片输入到信号灯检测yolov5模型；s12、信号灯检测yolov5模型中经过两次上采样得到的特征图，再次进行上采样，使特征图进一步扩大；s13、将s12获得的特征图与regnet网络经过one-stage算法处理后的特征图进行concat融合，获取更大的特征图进行小目标检测；s14、对输入图像数据进行处理：将外置摄像头获取到的图片平均切分为6张图像，并标记这6张图像在原图像中的相对位置；s15、分别将这6张图像送入信号灯检测yolov5模型进行检测，并将获取到的结果分别标注在原始图像数据中，并进行判断；s16、若检测到存在前车遮挡现象或信号灯状态为红灯，则重新进入s11，若为绿灯则关闭外置摄像头，预警器提示驾驶员尽快起步。9.根据权利要求7所述的车载智能避险方法，其特征在于，所述内置危险检测包括以下步骤：s21、存储单元分别录入正常驾驶和异常驾驶时左目、右目、左耳、右耳、鼻、首、左肩、右肩、左肘、右肘、左手、右手特征点的位置信息；s22、内置摄像头采集到的图像经过openpose人体姿态识别模型处理，得到人脸、人手、人体姿态特征，连续记录n次上述特征点的位置信息，分别进行中值滤波并将滤波结果传入计算单元；s23、计算单元计算出两人体特征点a、b之间的距离r、r和偏离度dev，其中r是存储单元中两人体特征点a、b之间的距离，r是滤波结果中两人体特征点a、b之间的距离；s24、根据dev和r判断驾驶状态并决定是否提醒。10.根据权利要求7所述的车载智能避险方法，其特征在于，所述外置危险检测包括以下步骤：s31、在控制器控制下毫米波雷达对周围车辆进行扫描，返回不同方向上其他车辆相较于自身的相对速度，并将获取到的数据以8
×
2的二维数组形式储存于存储单元；s32、控制器通过规律性发送控制指令，获取不同方向上的获得的速度信息，并将所获得的速度与所设定的阈值进行比较，当所测速度小于该阈值时，预警器发出预警信号，同时开启外置摄像头对实况是否发生碰撞进行判定；
s33、若发生碰撞，控制器将车辆的位置信息和事故发生时的外置摄像头所上传的图像数据传输至4g模组，同时4g模组通过上下文残差聚合机制修复上传图像数据，并通过ai判断事故发生的真实性，确认完毕后发送至sip服务器,sip服务器在接收到事故信息后根据现场判断事故严重程度作出后续反馈，若未发生碰撞，车辆继续行驶，外置摄像头关闭。

技术总结
本发明公开了车载智能避险系统及方法，系统中内置摄像头采集驾驶员脸部和手部的关键点信息，并发送至中央控制单元；外置摄像头实时采集交通灯状态与前车遮挡图像，并发送至中央控制单元；毫米波雷达对驾驶员车辆周围车辆的距离参量和速度参量进行采集，并将数据发送至中央控制单元，中央控制单元根据收到信息进行红绿灯识别与预警相应判断，并在事故发生时将信息上传至云端服务器；预警器包括车载音响；云端服务器通过4G模组将信息上传至SIP服务器；智能终端调控预警阈值。本发明通过使用智能检测对车辆及驾驶员情况进行控制，避免了过多复用开关和控制单元的设置，提高驾驶的安全性。全性。全性。


技术研发人员：陈涧阳 盛庆华 林渤航 王冠乔 杨文韬 王思瀚 黄小芳
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.04.04
技术公布日：2023/8/14