一种人机共驾车辆驾驶人接管交互系统的制作方法

1.本发明涉及自动驾驶技术领域，具体为一种人机共驾车辆驾驶人接管交互系统。


背景技术：

2.随着智能技术的发展，自动驾驶已成为汽车行业发展的重要方向。权威期刊science robotics的相关研究指出：在可预见的较长时间内，自动驾驶汽车将处于手动驾驶与自动驾驶协作的“人机共驾”层面（l2和l3级）。我国《智能网联汽车技术路线图2.0》预测：到2030年，处于该阶段的自动驾驶车辆的市场占有率将达70%。其中，l3自动驾驶汽车是人机共驾的高阶形态。
3.如图1所示，l3级自动驾驶车辆在自动行驶时，驾驶人可以执行与驾驶无关的任务，遇到特殊情况时，系统发出接管请求，将控制权切换到驾驶人身上。车辆接管请求发出后，驾驶控制权切换过程是否有效、平稳，直接影响行驶安全。近年来智能车辆的多起事故也验证了上述结论。2018年，由于驾驶人未注意到接管请求并及时控制汽车，uber自动驾驶测试车辆在自动驾驶状态下发生碰撞事故。自2014年以来，美国加州车管局记录的由自动驾驶引起的交通事故中，驾驶人紧急接管失败造成的事故占10%以上。
4.因此，在完全实现自动驾驶之前，需要准确预测有条件自动驾驶车辆发出控制转移请求后驾驶人的接管绩效，判别其接管时的危险状态（简称“接管险态”），通过有效的人机交互方式使驾驶人接管车辆安全高效，是保证车辆安全行驶的关键前提。目前尚未有成熟的l3级乘用车产品。因此，几乎所有的汽车企业均没有相关成熟的产品。吉利汽车正在积极研发驾驶人接管系统，但是该系统仍处在理论和试验阶段，目前市场处于空白状态。现有交互系统只适配自己生产的车型，不对外单独出售产品和服务。
5.近年来，应用于特殊场景下的特种车辆和商用车领域对无人驾驶的需求很大，目前应用于矿区、园区及机场等特殊场景的特种车辆（渣土车、混凝土车等）和商用车（公交车、brt车辆等）的自动驾驶技术进展迅速，可率先进入l3级自动驾驶阶段。而该类车辆场景特殊，事故率高，驾驶人的安全责任更高，因此需要在自动驾驶场景下实时监控驾驶人的行为状态保证财产和交通安全。与手动驾驶相比，车辆自动行驶过程中，驾驶人姿态变化大，行为复杂，其行为状态很难准确实时的检测。如何实现“自动驾驶，驾驶员辅助”存在技术瓶颈。


技术实现要素：

6.本发明的目的在于提供一种人机共驾车辆驾驶人接管交互系统，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：一种人机共驾车辆驾驶人接管交互系统，包括状态检测系统、接管险态感知系统、接管系统和辅助系统；所述状态检测系统连接摄像头，基于softmax逻辑回归将摄像头拍照的驾驶人行为状态图片进行特征提取和识别，构建端到端的驾驶人行为识别模型；
所述接管险态感知系统根据状态检测系统构建的驾驶人行为识别模型，提取驾驶人不同状态参数的抽象特征，以及根据提取的抽象特征建立驾驶人多模态状态信息与接管险态的映射关系，生成驾驶人行为和接管状态变量；所述接管系统引入接管险态感知系统生成的驾驶人行为和接管状态变量，根据控制转移请求过程中确定发出请求的时间和方式，进行接管交互；所述辅助系统用于采集环境图像信息、车辆状态信息、驾驶室内部的多视角图像信息、驾驶人状态信息、接管绩效预测值信息和预警状态信息，所述辅助系统连接场地管控中心，将采集的信息传输到场地管控中心，通过场地管控中心提醒驾驶人接管车辆。
8.进一步优选，所述状态检测系统采用类激活映射函数，自适应地提取驾驶人图像重点关注区域，消除背景冗余信息，能够提升驾驶人行为识别精度，降低模型的计算复杂度。
9.进一步优选，所述状态检测系统采用resnext网络架构进行特征提取和识别，实现在不增加参数量级的情况下提升特征提取和识别的准确率。
10.进一步优选，所述接管险态感知系统采用多模态结构正则项构建深度学习模型进行特征提取，实现对驾驶人不同状态参数的抽象特征的提取。
11.进一步优选，所述接管险态感知系统采用长短记忆网络建立驾驶人多模态状态信息与接管险态的映射关系，能够更快、更灵活的创建映射关系，提高接管险态感知系统的灵敏度。
12.进一步优选，所述接管险态感知系统采用门控循环单元网络生成驾驶人行为和接管状态变量，通过简单的模型创建更大的网络，使得计算性运行快，能够实现在序列中学习非常深的连接，保证驾驶人行为和接管状态变量的快速生成和精准。
13.进一步优选，所述状态检测系统包含疲劳监测、视线区域估计、手部状态监测、特征点定位和帧率监测，能够有效提高驾驶人的行为识别精度，保证接管交互的准确性和安全性。
14.有益效果：本发明的人机共驾车辆驾驶人接管交互系统，通过状态检测系统实现了对驾驶人行为的实时检测，通过接管险态感知系统实现对驾驶人接管险态判别，通过接管系统实现驾驶人对车辆高效接管与交互，通过辅助系统实现基于5g技术的多车信息监控，实现“手自一体”的驾驶人安全交互，实现适应复杂行车环境、精度高、可靠性好、安全性高的接管交互系统的构建。
附图说明
15.图1为本发明背景技术所公开的有条件自动驾驶车辆的接管过程示意图；图2为本发明实施例所公开的基于自适应空间注意力机制的深度学习分类模型的状态检测系统的示意图；图3为本发明实施例所公开的多视角复合状态信息融合的驾驶人接管险态感知系统的示意图。
具体实施方式
16.以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，
但本发明并不限于这些实施例。
17.一种人机共驾车辆驾驶人接管交互系统，包括状态检测系统、接管险态感知系统、接管系统和辅助系统；本技术中，状态检测系统连接摄像头，基于softmax逻辑回归将摄像头拍照的驾驶人行为状态图片进行特征提取和识别，构建端到端的驾驶人行为识别模型，通过resnext网络架构进行特征提取和识别，通过类激活映射函数，自适应地提取驾驶人图像重点关注区域，消除背景冗余信息，能够提升驾驶人行为识别精度，降低模型的计算复杂度，实现自动驾驶场景下驾驶人行为的实时检测。如图2所示，基于自适应空间注意力机制的深度学习分类模型构造图，摄像头将拍摄的驾驶人行为状态通过子网络1传递到状态检测系统，基于softmax逻辑回归对拍摄的照片进行热图分析并剪切，然后再通过子网络2再次将剪切后的照片进行热图分析，进一步提高对驾驶人行为的识别，再次对图片剪切，并通过网络3传递给状态检测系统，通过多次softmax逻辑回归、剪切，达到驾驶人图像重点关注区域的提取，消除了背景冗余信息，达到驾驶人行为的高度识别。
18.本技术中，接管险态感知系统根据状态检测系统构建的驾驶人行为识别模型，采用多模态结构正则项构建深度学习模型，提取驾驶人不同状态参数的抽象特征，以及根据提取的抽象特征采用长短记忆网络建立驾驶人多模态状态信息与接管险态的映射关系，并采用门控循环单元网络生成驾驶人行为和接管状态变量，实现自动驾驶车辆控制权交接过程中驾驶人的接管状态的有效、准确预测。如图3所示，通过接管险态感知系统实现多视角复合状态信息的融合，通过多视角图像和驾驶人不同状态的信息，实现多种模态的特征输入，利用sdae多模态结构正则项，实现抽象特征的提取，并通过mm-gru（及门控循环单元网络）实现驾驶人行为和接管状态变量的自生成。
19.本技术中，接管系统引入接管险态感知系统生成的驾驶人行为和接管状态变量，根据控制转移请求过程中确定发出请求的时间和方式，进行接管交互，可提高接管效率，保证行车安全，提升驾驶体验。
20.本技术中，辅助系统用于采集环境图像信息、车辆状态信息、驾驶室内部的多视角图像信息、驾驶人状态信息、接管绩效预测值信息和预警状态信息，并通过5g技术传输到场地管控中心，场地管控中心可以实时显示车辆位置、工作状态以及驾驶人接管状态等信息，监控人员可以根据显示数据提醒驾驶人接管车辆，实现“手自一体”的驾驶人安全交互。
21.本技术中，状态检测系统包含疲劳监测、视线区域估计、手部状态监测、特征点定位和帧率监测，实现对驾驶人的疲劳度监测、驾驶人的视线范围估算、驾驶人的手部状态监测及手部特征点的定位，如驾驶人有发生持手机并观看手机状态时，通过状态监测系统能够将驾驶人此状态的图片进行多次特征提取，提高驾驶人的行为识别精度，保证接管交互的准确性和安全性。
22.该人机共驾车辆驾驶人接管交互系统实现了对驾驶人行为的实时检测，可实时检测驾驶人疲劳、打电话、操作手机或平板、吃东西、操作车内控制面板等10余类非驾驶行为；实现对驾驶人接管险态判别，可根据驾驶人行为状态，判别其接管车辆时的危险状态，预测接管时间和接管质量；实现驾驶人对车辆高效接管与交互，可实现视觉、听觉、触觉多类型交互的驾驶人接管请求，使驾驶人高效实现操作控制的人机切换；实现基于5g技术的多车信息监控，监控人员可以根据显示数据提醒驾驶人接管车辆，实现“手自一体”的驾驶人安
全交互。
23.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明性的保护范围之内的发明内容。

技术特征：
1.一种人机共驾车辆驾驶人接管交互系统，其特征在于：包括状态检测系统、接管险态感知系统、接管系统和辅助系统；所述状态检测系统连接摄像头，基于softmax逻辑回归将摄像头拍照的驾驶人行为状态图片进行特征提取和识别，构建端到端的驾驶人行为识别模型；所述接管险态感知系统根据状态检测系统构建的驾驶人行为识别模型，提取驾驶人不同状态参数的抽象特征，以及根据提取的抽象特征建立驾驶人多模态状态信息与接管险态的映射关系，生成驾驶人行为和接管状态变量；所述接管系统引入接管险态感知系统生成的驾驶人行为和接管状态变量，根据控制转移请求过程中确定发出请求的时间和方式，进行接管交互；所述辅助系统用于采集环境图像信息、车辆状态信息、驾驶室内部的多视角图像信息、驾驶人状态信息、接管绩效预测值信息和预警状态信息，所述辅助系统连接场地管控中心，将采集的信息传输到场地管控中心，通过场地管控中心提醒驾驶人接管车辆。2.根据权利要求1所述的一种人机共驾车辆驾驶人接管交互系统，其特征在于：所述状态检测系统采用类激活映射函数，自适应地提取驾驶人图像重点关注区域，消除背景冗余信息。3.根据权利要求2所述的一种人机共驾车辆驾驶人接管交互系统，其特征在于：所述状态检测系统采用resnext网络架构进行特征提取和识别。4.根据权利要求1所述的一种人机共驾车辆驾驶人接管交互系统，其特征在于：所述接管险态感知系统采用多模态结构正则项构建深度学习模型进行特征提取。5.根据权利要求4所述的一种人机共驾车辆驾驶人接管交互系统，其特征在于：所述接管险态感知系统采用长短记忆网络建立驾驶人多模态状态信息与接管险态的映射关系。6.根据权利要求1所述的一种人机共驾车辆驾驶人接管交互系统，其特征在于：所述接管险态感知系统采用门控循环单元网络生成驾驶人行为和接管状态变量。7.根据权利要求1所述的一种人机共驾车辆驾驶人接管交互系统，其特征在于：所述状态检测系统包含疲劳监测、视线区域估计、手部状态监测、特征点定位和帧率监测。

技术总结
本发明公开了一种人机共驾车辆驾驶人接管交互系统，包括状态检测系统、接管险态感知系统、接管系统和辅助系统；状态检测系统进行特征提取和识别，构建端到端的驾驶人行为识别模型；接管险态感知系统提取驾驶人不同状态参数的抽象特征，以及根据提取的抽象特征建立驾驶人多模态状态信息与接管险态的映射关系，生成驾驶人行为和接管状态变量；接管系统根据控制转移请求过程中确定发出请求的时间和方式，进行接管交互；辅助系统连接场地管控中心，通过场地管控中心提醒驾驶人接管车辆。本发明的有益效果是：实现了对驾驶人行为的实时检测，实现对驾驶人接管险态判别，实现驾驶人对车辆高效接管与交互，实现“手自一体”的驾驶人安全交互。交互。交互。


技术研发人员：赵磊
受保护的技术使用者：苏州智驾行科技有限公司
技术研发日：2022.11.18
技术公布日：2023/10/7