使用注视行为预测驾驶员状态的制作方法

1.本公开涉及一种用于基于驾驶员的注视行为预测车辆的驾驶员的状态的系统。


背景技术：

2.驾驶员监控系统通常使用面向驾驶员的摄像机，该摄像机配备有红外发光二极管（led）或激光器，使得即使在晚上，该摄像机也可以“看到”驾驶员的脸，即使驾驶员戴着深色太阳镜，该摄像机也可以看到驾驶员的眼睛。先进的车载软件从驾驶员收集数据点，并创建驾驶员正常的、注意力集中的状态看起来如何的初始基线。然后，该软件可以确定驾驶员是否比平时眨眼更多、眼睛是眯着还是闭着以及头部是否以奇怪的角度倾斜。该软件还可以确定驾驶员是否在看前方的道路，以及驾驶员是否真的正在关注还是只是心不在焉地盯着。
3.如果系统确定驾驶员分心或昏昏欲睡，该系统可以通过发出音频警报、点亮仪表板上的视觉指示器或振动座椅来获得驾驶员的注意力。如果内部传感器指示驾驶员分心，而车辆的外部传感器确定该车辆即将发生碰撞，则系统可以使用来自内部和外部传感器融合的信息自动施加制动。
4.在自主车辆中，车辆控制模块的一个目标是使驾驶员接管事件的数量最小化。驾驶员接管事件是，当车辆在自主模式中运行时，自主车辆内的驾驶员接管车辆的手动控制。当车辆的驾驶员简单地决定接管手动控制时，可能发生接管事件。在车辆的自主运行期间，当车辆的驾驶员变得不舒服并感觉需要接管车辆的手动控制时，也可能发生接管事件。这可能是由于车辆过于接近地跟随紧接在前方的车辆，或者车辆可能以在当前的天气条件下驾驶员感觉过快的速度行驶。
5.车辆控制模块控制车辆的方式是基于行为模型来决定的，该行为模型告诉车辆控制模块如何在各种情况和条件下控制车辆。由于每个个体驾驶员都有不同的偏好，所以行为模型不可能匹配每个可能的驾驶员的偏好。
6.因此，虽然当前的驾驶员监控系统实现了它们的预期目的，但是需要一种新的和改进的系统和方法，用于基于由驾驶员监控系统观察到的注视行为来预测自主车辆内驾驶员/乘客的不适，以允许车辆控制模块改变车辆的驾驶行为，从而减少由于驾驶员不适而发生的接管事件的数量。此外，需要一种新的和改进的系统和方法，每当存在接管事件时，所述系统和方法更新车辆控制模块的行为模型以允许系统学习特定驾驶员的倾向。


技术实现要素：

7.根据本公开的多个方面，监控自主车辆中的驾驶员的方法包括：借助驾驶员监控系统监控车辆的驾驶员；借助数据处理器从驾驶员监控系统收集与驾驶员的注视行为相关的数据；借助数据处理器基于来自驾驶员监控系统的数据将驾驶员分类为多个驾驶员状态中的一个驾驶员状态；和借助数据处理器基于驾驶员的分类向至少一个车辆系统发送指令。
8.根据另一个方面，基于来自驾驶员监控系统的数据将驾驶员分类为多个驾驶员状态中的一个驾驶员状态，还包括：基于由驾驶员监控系统收集的数据创建实际注视模型，将实际注视模型分类为多个预定义注视模型中的一个预定义注视模型，基于实际注视模型的分类和车辆的车辆运行状态，将驾驶员分类为多个驾驶员状态中的一个驾驶员状态。
9.根据另一个方面，多个驾驶员状态包括第一驾驶员状态、第二驾驶员状态和第三驾驶员状态，并且多个预定义注视模型包括第一注视模型、第二注视模型和第三注视模型。
10.根据另一个方面，基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态，还包括：当实际注视模型被分类为第一预定义注视模型并且车辆运行状态是手动模式时，将驾驶员分类为第一驾驶员状态；和当实际注视模型被分类为第一预定义注视模型并且车辆运行状态是自主模式时，将驾驶员分类为第二驾驶员状态。
11.根据另一个方面，基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态，还包括：当实际注视模型被分类为第二预定义注视模型并且车辆运行状态是手动模式时，将驾驶员分类为第三驾驶员状态；当实际注视模型被分类为第二预定义注视模型、车辆运行状态是自主模式、并且车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将驾驶员分类为第一驾驶员状态；和当实际注视模型被分类为第二预定义注视模型、车辆运行状态是自主模式、并且车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将驾驶员分类为第二驾驶员状态。
12.根据另一个方面，基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态，还包括：当实际注视模型被分类为第三预定义注视模型并且车辆运行状态是手动模式时，将驾驶员分类为第三驾驶员状态；当实际注视模型被分类为第三预定义注视模型、车辆运行状态是自主模式、并且车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将驾驶员分类为第三驾驶员状态；和当实际注视模型被分类为第三预定义注视模型、车辆运行状态是自主模式、并且车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将驾驶员分类为第一驾驶员状态。
13.根据另一个方面，借助数据处理器基于驾驶员的分类向至少一个车辆系统发送指令，还包括：当车辆的驾驶员被分类为第一驾驶员状态时，借助数据处理器向车辆控制模块发送指令以保持车辆的当前运行参数。
14.根据另一个方面，借助数据处理器基于驾驶员的分类向至少一个车辆系统发送指令，还包括：当车辆的驾驶员被分类为第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，借助数据处理器向车辆控制模块发送指令以改变车辆的当前运行参数。
15.根据另一个方面，第二驾驶员状态指示车辆的驾驶员不舒服并且可能接管车辆的手动控制，并且向车辆控制模块发送的指令适于改变车辆的当前运行参数，以便使车辆的驾驶员舒服并且降低车辆的驾驶员将接管手动控制的可能性。
16.根据另一个方面，第三驾驶员状态指示所述车辆的驾驶员的分心，并且向所述车辆控制模块发送的指令适于改变可能提供给驾驶员的警告提示的优先级。
17.根据另一个方面，所述方法还包括更新所述多个预定义注视模型。
18.根据另一个方面，将所述实际注视模型分类为多个预定义注视模型中的一个预定义注视模型，还包括：借助所述数据处理器生成实际注视模型的分类的置信度得分。
19.根据本公开的多个方面，用于监控自主车辆中的驾驶员的系统包括：驾驶员监控系统，驾驶员监控系统适于收集与驾驶员的注视行为相关的数据；数据处理器，数据处理器适于从驾驶员监控系统接收数据，并基于来自驾驶员监控系统的数据将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态；和至少一个车辆系统，数据处理器还适于基于驾驶员的分类向至少一个车辆系统发送指令。
20.从这里提供的描述中，其他应用领域将变得显而易见。应该理解，描述和特定实例仅旨在说明而非限制本公开的范围。
21.方案1.监控自主车辆中的驾驶员的方法，所述方法包括：借助驾驶员监控系统监控车辆的驾驶员；借助数据处理器从所述驾驶员监控系统收集与所述驾驶员的注视行为相关的数据；借助所述数据处理器基于来自所述驾驶员监控系统的数据将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态；和借助所述数据处理器基于所述驾驶员的分类向至少一个车辆系统发送指令。
22.方案2.根据方案1所述的方法，其中，基于来自所述驾驶员监控系统的数据将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态，还包括：基于由所述驾驶员监控系统收集的数据创建实际注视模型；将所述实际注视模型分类为多个预定义注视模型中的一个预定义注视模型；基于所述实际注视模型的分类和所述车辆的车辆运行状态，将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态。
23.方案3.根据方案2所述的方法，其中，所述多个驾驶员状态包括第一驾驶员状态、第二驾驶员状态和第三驾驶员状态，并且所述多个预定义注视模型包括第一注视模型、第二注视模型和第三注视模型。
24.方案4.根据方案3所述的方法，其中，基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态，还包括：当所述实际注视模型被分类为所述第一预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为所述第一驾驶员状态；和当所述实际注视模型被分类为所述第一预定义注视模型并且所述车辆运行状态是自主模式时，将所述驾驶员分类为所述第二驾驶员状态。
25.方案5.根据方案4所述的方法，其中，基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态，还包括：当所述实际注视模型被分类为所述第二预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为所述第三驾驶员状态；当所述实际注视模型被分类为所述第二预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第一驾驶员状态；和当所述实际注视模型被分类为第二预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第二驾驶员状态。
26.方案6.根据方案5所述的方法，其中，基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态，还包括：当所述实际注视模型被分类为所述第三预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为所述第三驾驶员状态；当所述实际注视模型被分类为所述第三预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第三驾驶员状态；和当所述实际注视模型被分类为第三预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第一驾驶员状态。
27.方案7.根据方案6所述的方法，其中，借助所述数据处理器基于所述驾驶员的分类向至少一个车辆系统发送指令，还包括：当所述车辆的驾驶员被分类为所述第一驾驶员状态时，借助所述数据处理器向车辆控制模块发送指令以保持所述车辆的当前运行参数。
28.方案8.根据方案7所述的方法，其中，借助所述数据处理器基于所述驾驶员的分类向至少一个车辆系统发送指令，还包括：当所述车辆的驾驶员被分类为所述第二驾驶员状态和所述第三驾驶员状态中的一个驾驶员状态时，借助所述数据处理器向车辆控制模块发送指令以改变所述车辆的当前运行参数。
29.方案9.根据方案8所述的方法，其中，所述第二驾驶员状态指示所述车辆的驾驶员不舒服并且可能接管车辆的手动控制，并且向所述车辆控制模块发送的指令适于改变所述车辆的当前运行参数，以便使所述车辆的驾驶员舒服并且降低所述车辆的驾驶员将接管手动控制的可能性。
30.方案10. 根据方案8所述的方法，其中，所述第三驾驶员状态指示所述车辆的驾驶员分心，并且向所述车辆控制模块发送的指令适于改变可能提供给驾驶员的警告提示的优先级。
31.方案11. 根据方案8所述的方法，其中，所述方法还包括：每当所述车辆的驾驶员接管所述车辆的手动控制时，更新所述多个预定义注视模型。
32.方案12. 根据方案11所述的方法，其中，将所述实际注视模型分类为多个预定义注视模型中的一个预定义注视模型，还包括：借助所述数据处理器生成所述实际注视模型的分类的置信度得分。
33.方案13. 用于监控自主车辆中的驾驶员的系统，所述系统包括：驾驶员监控系统，所述驾驶员监控系统适于收集与所述驾驶员的注视行为相关的数据；数据处理器，所述数据处理器适于从所述驾驶员监控系统接收数据，并基于来自所述驾驶员监控系统的数据将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态；和至少一个车辆系统，所述数据处理器还适于基于所述驾驶员的分类向所述至少一个车辆系统发送指令。
34.方案14. 根据方案13所述的系统，其中，当基于来自所述驾驶员监控系统的数据
将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态时，所述数据处理器还适于基于由所述驾驶员监控系统收集的数据创建实际注视模型，将所述实际注视模型分类为第一预定义注视模型、第二预定义注视模型和第三预定义注视模型中的一个预定义注视模型，生成所述实际注视模型的分类的置信度得分，并且基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态。
35.方案15. 根据方案14所述的系统，其中，当基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态时，所述数据处理器还适于：当所述实际注视模型被分类为所述第一预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为第一驾驶员状态；和当所述实际注视模型被分类为所述第一预定义注视模型并且所述车辆运行状态是自主模式时，将所述驾驶员分类为第二驾驶员状态。
36.方案16. 根据方案15所述的方法，其中，当基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态时，所述数据处理器还适于：当所述实际注视模型被分类为所述第二预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为第三驾驶员状态；当所述实际注视模型被分类为所述第二预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第一驾驶员状态；和当所述实际注视模型被分类为第二预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第二驾驶员状态。
37.方案17. 根据方案16所述的系统，其中，当基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态时，所述数据处理器还适于：当所述实际注视模型被分类为所述第三预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为所述第三驾驶员状态；当所述实际注视模型被分类为所述第三预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第三驾驶员状态；和当所述实际注视模型被分类为第三预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第一驾驶员状态。
38.方案18. 根据方案17所述的系统，其中，所述系统还包括车辆控制模块，所述数据处理器还适于：当所述车辆的驾驶员被分类为所述第一驾驶员状态时，向所述车辆控制模块发送指令以保持所述车辆的当前运行参数；和
当所述车辆的驾驶员被分类为所述第二驾驶员状态和所述第三驾驶员状态中的一个驾驶员状态时，向车辆控制模块发送指令以改变所述车辆的当前运行参数。
39.方案19. 根据方案18所述的系统，其中，所述第二驾驶员状态指示所述车辆的驾驶员不舒服并且可能接管车辆的手动控制，并且所述数据处理器适于向所述车辆控制模块发送指令以改变所述车辆的当前运行参数，以便使所述车辆的驾驶员舒服并且降低所述车辆的驾驶员将接管手动控制的可能性，并且所述第三驾驶员状态指示所述车辆的驾驶员分心，并且所述数据处理器适于向所述车辆控制模块发送指令以改变可能提供给驾驶员的警告提示的优先级。
40.方案20. 根据方案19所述的系统，其中，所述数据处理器还适于，每当所述车辆的驾驶员接管所述车辆的手动控制时，更新所述第一预定义注视模型、所述第二预定义注视模型和所述第三预定义注视模型。
附图说明
41.本文描述的附图仅用于说明目的，并非旨在以任何方式限制本公开的范围。
42.图1是根据本公开的一种示例性实施方式的用于监控自主车辆的驾驶员的系统的示意图；图2是与多个预定义注视分布模型相比较的实际注视分布模型的二维表示的示意图；图3是与多个预定义注视分布模型相比较的实际注视分布模型的替代的二维表示的示意图；图4是示出根据本公开的一种示例性实施方式的方法的流程图；和图5是示出图4的方框106的细节的流程图。
43.所述附图不必成比例并且一些特征可能被放大或缩小，例如以示出特定部件的细节。在一些情况下，众所周知的部件、系统、材料或方法没有详细描述以免影响本公开的清楚描述。因此，在本文所公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为权利要求书的基础以及作为用于教导本领域技术人员可以多方面地利用本公开的代表性基础。
具体实施方式
44.以下描述在本质上仅为示例性的，并不旨在限制本公开、应用或使用。此外，无意受前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。应该理解，在所有附图中，相应的附图标记表示相似或相应的部分和特征。如本文所使用的，术语“模块”或“控制器”指的是任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，单独地或以任何组合方式地包括但不限于：专用集成电路（asic）、电子电路、处理器（共享的、专用的或组）和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能性的其他合适的部件。尽管本文所示的附图描绘了具有某些元件布置的示例，但是在实际实施方式中可以存在附加的中间元件、装置、特征或部件。还应该理解，附图仅仅是说明性的，并且可能没有成比例绘制。
45.如本文所用，术语“车辆”并不限于汽车。尽管本文主要结合汽车描述本技术，但是
本技术不局限于汽车。所述概念可以在各种应用中使用，例如结合飞机、海上船舶、其他车辆和消费电子部件。
46.参考图1，用于监控自主车辆中的驾驶员的系统10包括驾驶员监控系统12和数据处理器14，所述驾驶员监控系统适于收集与驾驶员的注视行为相关的数据，所述数据处理器与驾驶员监控系统12通信并适于从驾驶员监控系统12接收数据。数据处理器14还适于基于从驾驶员监控系统12接收的数据将驾驶员分类为多个驾驶员状态中的一个驾驶员状态。系统10还包括至少一个车辆系统16，例如车辆控制模块，并且数据处理器14还适于基于驾驶员的分类向至少一个车辆系统16发送指令。
47.数据处理器14是非通用的电子控制装置，其具有预编程的数字计算机或处理器、用于存储诸如控制逻辑、软件应用程序、指令、计算机代码、数据、查找表等数据的存储器或非暂时性计算机可读介质以及收发器或输入/输出端口。计算机可读介质包括计算机能够存取的任何类型的介质，例如只读存储器（rom）、随机存取存储器（ram）、硬盘驱动器、光盘（cd）、数字视频光盘（dvd）或其他任何类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线通信链路、无线通信链路、光学通信链路或其他通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并随后重写的介质，例如可重写光盘或可擦除存储装置。计算机代码包括任何类型的程序代码，包括源代码、目标代码和可执行代码。
48.当基于来自驾驶员监控系统12的数据将驾驶员分类为多个驾驶员状态中的一个驾驶员状态时，数据处理器14还适于基于由驾驶员监控系统12收集的数据创建实际注视模型18，将实际注视模型18分类为第一预定义注视模型20、第二预定义注视模型22和第三预定义注视模型24中的一个预定义注视模型，生成实际注视模型18的分类的置信度得分，并且基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态。本领域技术人员应该理解，系统10可以将实际注视模型18分类为任何合适数量的预定义注视模型中的一个预定义注视模型。
49.实际注视模型18是车辆的驾驶员的观察到的注视行为的概率分布。在一种示例性实施方式中，实际注视模型18基于归一化神经网络输出。在一种示例性实施方式中，第一预定义注视模型20是注视行为的以下概率分布：该概率分布指示车辆的驾驶员以与当驾驶员手动驾驶车辆时类似的方式正在密切关注。第一预定义注视模型20被称为“驾驶”注视模型。
50.第二预定义注视模型22是注视行为的以下概率分布：该概率分布指示车辆的驾驶员正在关注，但不是密切关注，例如当车辆处于较低水平的自主模式（即，水平1、2）时，并且驾驶员仅仅对车辆的驾驶特性给予基本关注。第二预定义注视模型22被称为“监督”注视模型。
51.第三预定义注视模型24是注视行为的以下概率分布：该概率分布指示车辆驾驶员根本没有进行关注。第三预定义注视模型24被称为“游移”注视模型。应该理解，可以有任何合适数量的预定义注视模型，并且本文描述的示例性实施方式旨在示出非限制性示例。
52.数据处理器14适于通过将实际注视模型18与第一、第二和第三预定义注视模型20、22、24中的一个预定义注视模型匹配，来将实际注视模型18分类为第一预定义注视模型20、第二预定义注视模型22和第三预定义注视模型24中的一个预定义注视模型。使用神经
网络损失函数，将实际注视模型18与第一、第二和第三预定义注视模型20、22、24进行比较，并且将实际注视模型18分类为第一、第二和第三预定义注视模型20、22、24中最匹配的一个预定义注视模型。图2是实际注视模型分布18、驾驶注视模型分布20、监督注视模型分布22和游移注视模型分布24的二维表示。
53.数据处理器14通过比较实际注视模型18与第一、第二和第三预定义注视模型20、22、24中的一个预定义注视模型相比于与其他预定义注视模型的匹配程度，来生成实际注视模型18的分类的置信度得分。在图2所示的例子中，实际注视模型18与第一预定义注视模型20或驾驶注视模型分布20匹配。这是因为实际注视模型18与驾驶注视模型分布20之间的二维距离26小于实际注视模型18与监督注视模型分布22之间的距离28，以及小于实际注视模型18与游移注视模型分布24之间的距离30，这指示实际注视模型18与第一预定义或驾驶注视模型分布最匹配。实际注视模型18与驾驶注视模型分布20之间的二维距离26显著小于实际注视模型18与监督注视模型分布22之间的距离28，以及显著小于实际注视模型18与游移注视模型分布24之间的距离30。由于距离26、28、30的差异显著，所以做出关于注视模型分类的最终决定的难度较低。参考图3，实际注视模型18’与驾驶注视模型分布20’之间的二维距离26’小于实际注视模型18’与监督注视模型分布22’之间的距离28’，以及小于实际注视模型18’与游移注视模型分布24’之间的距离30’。然而，在该示例中，距离26、28、30之间的差异并不显著，因此，做出关于注视模型分类的最终决定的难度很高。
54.数据处理器适于将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态。在一种示例性实施方式中，第一驾驶员状态指示驾驶员是舒服的，注意力适当，并且不太可能接管车辆的手动控制。第二驾驶员状态指示驾驶员不舒服，并且更可能接管车辆的手动控制。第三驾驶员状态指示驾驶员注意力不集中或分心。
55.在一种示例性实施方式中，多个驾驶员状态包括第一驾驶员状态、第二驾驶员状态和第三驾驶员状态。应该理解，系统10可以包括任何数量的驾驶员状态，而不脱离本公开的范围。当基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器14还适于当实际注视模型18被分类为第一预定义注视模型20并且车辆运行状态是手动模式时将驾驶员分类为第一驾驶员状态。
56.数据处理器14与车辆can总线32通信，由此数据处理器14接收关于车辆运行状态的信息。首先，数据处理器确定车辆是处于自动模式还是手动模式中。当实际注视模型18被分类为第一预定义注视模型20时，驾驶员正在密切关注，并且由于车辆处于手动模式，这就是驾驶员应该如何表现。因此，数据处理器适于向车辆控制模块16发送指令，以保持车辆的当前运行参数。
57.当基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器14还适于当实际注视模型18被分类为第一预定义注视模型20并且车辆运行状态是自主模式时将驾驶员分类为第二驾驶员状态。
58.当实际注视模型18被分类为第一预定义注视模型20时，驾驶员正在密切关注，但是，由于车辆处于自主模式，这指示驾驶员不舒服并且可能接管车辆的手动控制。
59.例如，如果车辆在自主模式中运行，并且车辆控制模块16正以一秒的车距跟随紧
接在前方的车辆，并且驾驶员表现出导致系统将驾驶员分类为第二驾驶员状态的注视行为，则数据处理器将向车辆控制模块16发送指令以将车距增加为两秒。这可能导致驾驶员表现得不同，并且系统10将驾驶员分类为第一驾驶员状态，其中，车辆控制模块16将不采取进一步的行动。可选地，车辆的驾驶员可能仍然表现出保持驾驶员被分类为第二驾驶员状态的行为，其中，数据处理器14将向车辆控制模块16发送附加的指令以改变当前运行参数，例如通过减速、变道等。
60.当基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器14还适于当实际注视模型18被分类为第二预定义注视模型并且车辆运行状态是手动模式时将驾驶员分类为第三驾驶员状态。
61.当实际注视模型18被分类为第二预定义注视模型22时，驾驶员正在较不密切地关注，并且由于车辆处于手动模式中，这指示驾驶员分心或注意力不集中。因此，当车辆的驾驶员被分类为第三驾驶员状态时，数据处理器14适于向车辆控制模块16发送指令以改变警告提示的优先级（例如，在适当的时候发出注意警报，提供增强的接管警报）。
62.当基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器14还适于当实际注视模型被分类为第二预定义注视模型、车辆运行状态是自主模式、并且车辆是一级自主车辆和二级自主车辆中的一种自主车辆时将驾驶员分类为第一驾驶员状态。
63.当实际注视模型18被分类为第二预定义注视模型22时，驾驶员正在较不密切地关注，但是，由于车辆处于自主模式中并且是一级或二级自主车辆中的一种自主车辆，驾驶员的这种行为是可以的。一级或二级自主车辆需要驾驶员这样的注意力水平，因此，数据处理器14适于向车辆控制模块16发送指令以保持车辆的当前运行参数。
64.当基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器14还适于当实际注视模型被分类为第二预定义注视模型、车辆运行状态是自主模式、并且车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时将驾驶员分类为第二驾驶员状态。
65.当实际注视模型18被分类为第二预定义注视模型22时，驾驶员正在不太密切地关注，并且由于车辆处于自主模式中并且是三级、四级或五级自主车辆中的一种自主车辆，这指示驾驶员不舒服并且可能接管车辆的手动控制。三级、四级或五级自主车辆通常不需要驾驶员的那种注意力水平。因此，数据处理器14适于向车辆控制模块16发送指令以改变车辆的当前运行参数，从而使驾驶员更加舒服并降低驾驶员将接管车辆的手动控制的可能性。
66.当基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器还适于当实际注视模型被分类为第三预定义注视模型并且车辆运行状态是手动模式时将驾驶员分类为第三驾驶员状态。
67.当实际注视模型18被分类为第三预定义注视模型24时，驾驶员未进行关注，并且由于车辆处于手动模式中，这指示驾驶员分心或注意力不集中。因此，当车辆的驾驶员被分
类为第三驾驶员状态时，数据处理器14适于向车辆控制模块16发送指令以改变车辆的当前运行参数，以便通过防止驾驶员在分心时接管手动控制来改变驾驶员接管车辆的手动控制的能力。
68.当基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器还适于当实际注视模型被分类为第三预定义注视模型、车辆运行状态是自主模式、并且车辆是一级自主车辆和二级自主车辆中的一种自主车辆时将驾驶员分类为第三驾驶员状态。
69.当实际注视模型18被分类为第三预定义注视模型24时，驾驶员未进行关注，并且由于车辆处于自主模式中并且是一级或二级自主车辆，这指示驾驶员分心或注意力不集中。一级或二级自主车辆需要驾驶员的比这更多的注意力。因此，当车辆的驾驶员被分类为第三驾驶员状态时，数据处理器14适于向车辆控制模块16发送指令以改变车辆的当前运行参数，以便通过防止驾驶员在分心时接管手动控制来改变驾驶员接管车辆的手动控制的能力。
70.当基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为第一驾驶员状态、第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时，数据处理器还适于当实际注视模型被分类为第三预定义注视模型、车辆运行状态是自主模式、并且车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时将驾驶员分类为第一驾驶员状态。
71.当实际注视模型18被分类为第三预定义注视模型24时，驾驶员未进行关注，但是由于车辆处于自主模式中并且是三级、四级或五级自主车辆，驾驶员的这种注意水平是可以的。三级、四级或五级自主车辆不需要驾驶员的注意力。因此，数据处理器14适于向车辆控制模块16发送指令以保持车辆的当前运行参数。
72.最后，数据处理器适于更新第一预定义注视模型20、第二预定义注视模型22和第三预定义注视模型24。通过这种方式，系统10不断学习驾驶员的行为和偏好，以更好地预测未来的驾驶员状态。
73.参考图4，监控自主车辆中的驾驶员的方法100包括，从方框102开始，借助驾驶员监控系统监控车辆的驾驶员，移动到方框104，并且借助数据处理器从驾驶员监控系统收集与驾驶员的注视行为相关的数据。移动到方框106，该方法还包括基于来自驾驶员监控系统的数据借助数据处理器将驾驶员分类为多个驾驶员状态中的一个驾驶员状态，并且移动到方框108，基于驾驶员的分类借助数据处理器向至少一个车辆系统发送指令。
74.参考图5，在一种示例性实施方式中，方框106处的“基于来自驾驶员监控系统12的数据将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括，移动到方框110，基于由驾驶员监控系统12收集的数据创建实际注视模型18，并且移动到方框112，将实际注视模型分类为多个预定义注视模型20、22、24中的一个预定义注视模型，移动到方框114，基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态。
75.在一种示例性实施方式中，方框112处的“将实际注视模型分类为多个预定义注视模型20、22、24中的一个预定义注视模型”还包括借助数据处理器14生成实际注视模型18的分类的置信度得分。
76.多个驾驶员状态包括第一驾驶员状态、第二驾驶员状态和第三驾驶员状态，并且多个预定义注视模型包括第一注视模型、第二注视模型和第三注视模型。在方框112，“将实际注视模型18分类为多个预定义注视模型20、22、24中的一个预定义注视模型”还包括下述情况中的一种情况：移动到方框116，将实际注视模型18分类为第一预定义的注视模型20，或者移动到方框118，将实际注视模型18分类为第二预定义的注视模型22，或者移动到方框120，将实际注视模型18分类为第三预定义的注视模型24。
77.在一种示例性实施方式中，方框114处的“基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括：当在方框116处实际注视模型18被分类为第一预定义注视模，并且车辆运行状态是手动模式（如方框124处的箭头126所示）时，移动到方框122，将驾驶员分类为第一驾驶员状态；并且当在方框116处实际注视模型18被分类为第一预定义注视模型并且车辆运行状态是自主模式（如方框124处的箭头130所示）时，移动到方框128，将驾驶员分类为第二驾驶员状态。
78.此外，方框114处的“基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括：当在方框118处实际注视模型18被分类为第二预定义注视模型并且车辆运行状态是手动模式（如方框134处的箭头136所示）时，移动到方框132，将驾驶员分类为第三驾驶员状态。
79.方框114处的“基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括：当在方框118处实际注视模型18被分类为第二预定义注视模型、车辆运行状态是自主模式（如方框134处的箭头138所示）、并且车辆是一级自主车辆和二级自主车辆中的一种自主车辆（如方框140处的箭头142所示）时，移动到方框122，将驾驶员分类为第一驾驶员状态。
80.方框114处的“基于实际注视模型18的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括：当在方框118处实际注视模型18被分类为第二预定义注视模型并且车辆运行状态是自主模式（如方框134处的箭头138所示）并且车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆（如方框140处的箭头144所示）时，移动到方框128，将驾驶员分类为第二驾驶员状态。
81.最后，方框114处的“基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括：当在方框120处实际注视模型18被分类为第三预定义注视模型并且车辆运行状态是手动模式（如方框146处的箭头148所示）时，移动到方框132，将驾驶员分类为第三驾驶员状态。
82.方框114处的“基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括：当在方框120处实际注视模型18被分类为第三预定义注视模型、车辆运行状态是自主模式（如方框146处的箭头150所示）、并且车辆是一级自主车辆和二级自主车辆中的一种自主车辆（如方框152处的箭头154所示）时，移动到方框132，将驾驶员分类为第三驾驶员状态。
83.方框114处的“基于实际注视模型的分类和车辆的车辆运行状态将驾驶员分类为多个驾驶员状态中的一个驾驶员状态”还包括：当在方框120处实际注视模型18被分类为第三预定义注视模型、车辆运行状态是自主模式（如方框146处的箭头150所示）、并且车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆（如方框152处的箭头156
所示）时，移动到方框122，将驾驶员分类为第一驾驶员状态。
84.在一种示例性实施方式中，方框108处的“基于驾驶员的分类借助数据处理器14向至少一个车辆系统16发送指令”还包括：借助数据处理器14向车辆控制模方框16发送指令，以在车辆的驾驶员被分类为第一驾驶员状态时保持车辆的当前运行参数。
85.在另一种示例性实施方式中，方框108处的“基于驾驶员的分类借助数据处理器14向至少一个车辆系统16发送指令”还包括：借助数据处理器14向车辆控制模方框16发送指令，以在车辆的驾驶员被分类为第二驾驶员状态和第三驾驶员状态中的一个驾驶员状态时改变车辆的当前运行参数。
86.第二驾驶员状态指示车辆的驾驶员不舒服并且可能接管车辆的手动控制，并且向车辆控制模块16发送的指令适于改变车辆的当前运行参数，以便使车辆的驾驶员舒服并且降低车辆的驾驶员将接管手动控制的可能性。
87.第三驾驶员状态指示车辆的驾驶员分心，并且向车辆控制模块16发送的指令适于通过防止驾驶员在分心时接管手动控制来改变驾驶员接管车辆的手动控制的能力。
88.在另一种示例性实施方式中，方法100还包括每当车辆的驾驶员接管车辆的手动控制时，更新多个预定义注视模型20、22、24。
89.本公开的系统10和方法100提供以下优点：预见驾驶员的接管事件，并允许车辆控制模块16改变车辆的运行参数或改变警告提示的优先级，以使驾驶员更加舒服并避免接管事件。
90.本公开的描述在本质上仅为示例性的，并且不脱离本公开的主旨的变型旨在落入本公开的范围内。这些变型不应被视为偏离本公开的主旨和范围。

技术特征：
1.监控自主车辆中的驾驶员的方法，所述方法包括：借助驾驶员监控系统监控车辆的驾驶员；借助数据处理器从所述驾驶员监控系统收集与所述驾驶员的注视行为相关的数据；借助所述数据处理器基于来自所述驾驶员监控系统的数据将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态；和借助所述数据处理器基于所述驾驶员的分类向至少一个车辆系统发送指令。2.根据权利要求1所述的方法，其中，基于来自所述驾驶员监控系统的数据将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态，还包括：基于由所述驾驶员监控系统收集的数据创建实际注视模型；将所述实际注视模型分类为多个预定义注视模型中的一个预定义注视模型；基于所述实际注视模型的分类和所述车辆的车辆运行状态，将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态。3.根据权利要求2所述的方法，其中，所述多个驾驶员状态包括第一驾驶员状态、第二驾驶员状态和第三驾驶员状态，并且所述多个预定义注视模型包括第一注视模型、第二注视模型和第三注视模型。4.根据权利要求3所述的方法，其中，基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态，还包括：当所述实际注视模型被分类为所述第一预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为所述第一驾驶员状态；和当所述实际注视模型被分类为所述第一预定义注视模型并且所述车辆运行状态是自主模式时，将所述驾驶员分类为所述第二驾驶员状态。5.根据权利要求4所述的方法，其中，基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态，还包括：当所述实际注视模型被分类为所述第二预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为所述第三驾驶员状态；当所述实际注视模型被分类为所述第二预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第一驾驶员状态；和当所述实际注视模型被分类为第二预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第二驾驶员状态。6.根据权利要求5所述的方法，其中，基于所述实际注视模型的分类和所述车辆的车辆运行状态将所述驾驶员分类为所述多个驾驶员状态中的一个驾驶员状态，还包括：当所述实际注视模型被分类为所述第三预定义注视模型并且所述车辆运行状态是手动模式时，将所述驾驶员分类为所述第三驾驶员状态；当所述实际注视模型被分类为所述第三预定义注视模型、所述车辆运行状态是自主模式、并且所述车辆是一级自主车辆和二级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第三驾驶员状态；和当所述实际注视模型被分类为第三预定义注视模型、所述车辆运行状态是自主模式、
并且所述车辆是三级自主车辆、四级自主车辆和五级自主车辆中的一种自主车辆时，将所述驾驶员分类为所述第一驾驶员状态。7.根据权利要求6所述的方法，其中，借助所述数据处理器基于所述驾驶员的分类向至少一个车辆系统发送指令，还包括：当所述车辆的驾驶员被分类为所述第一驾驶员状态时，借助所述数据处理器向车辆控制模块发送指令以保持所述车辆的当前运行参数。8.根据权利要求7所述的方法，其中，借助所述数据处理器基于所述驾驶员的分类向至少一个车辆系统发送指令，还包括：当所述车辆的驾驶员被分类为所述第二驾驶员状态和所述第三驾驶员状态中的一个驾驶员状态时，借助所述数据处理器向车辆控制模块发送指令以改变所述车辆的当前运行参数。9.根据权利要求8所述的方法，其中，所述第二驾驶员状态指示所述车辆的驾驶员不舒服并且可能接管车辆的手动控制，并且向所述车辆控制模块发送的指令适于改变所述车辆的当前运行参数，以便使所述车辆的驾驶员舒服并且降低所述车辆的驾驶员将接管手动控制的可能性。10.根据权利要求8所述的方法，其中，所述第三驾驶员状态指示所述车辆的驾驶员分心，并且向所述车辆控制模块发送的指令适于改变可能提供给驾驶员的警告提示的优先级。

技术总结
监控自主车辆中的驾驶员的方法包括：借助驾驶员监控系统监控车辆的驾驶员；借助数据处理器从所述驾驶员监控系统收集与所述驾驶员的注视行为相关的数据；借助所述数据处理器基于来自所述驾驶员监控系统的数据将所述驾驶员分类为多个驾驶员状态中的一个驾驶员状态；和借助所述数据处理器基于所述驾驶员的分类向至少一个车辆系统发送指令。向至少一个车辆系统发送指令。向至少一个车辆系统发送指令。


技术研发人员：刘珂 R
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：2022.10.31
技术公布日：2023/6/26