用于在至少部分自主驾驶车辆中确定驾驶员的专心的方法与流程

1.本发明涉及一种用于在至少部分自主驾驶车辆中确定驾驶员的专心的方法和装置。


背景技术：

2.从us 2018231976 a1公知一种具有驾驶员观察系统的驾驶员辅助系统。


技术实现要素：

3.提出了一种用于在至少部分自主驾驶车辆中确定驾驶员的专心的方法，该方法具有如下步骤：在车辆的自主驾驶模式期间或者在车辆的手动驾驶模式期间，在车辆的挡风玻璃上的不同位置按顺序地为驾驶员呈现至少一个符号；提供用于观察驾驶员的观察装置的数据；借助于该观察装置的数据，确定驾驶员是否正在用他的视线跟随该符号的呈现的顺序，其中如果确定驾驶员正在用他的视线跟随该符号的呈现的顺序则确认驾驶员专心，而且其中如果确定驾驶员没有正在用他的视线跟随该符号的呈现的顺序则没有确认驾驶员专心。
4.借助于所提出的方法，可以安全地和/或可靠地检查和确定驾驶员的专心。经此，尤其可以提高在道路交通中的安全性。如果至少部分自主驾驶车辆在自主驾驶模式下运行，则可能在好些情况下都需要驾驶员继续保持负责而且必须观察车辆周围的交通并因此监控自主驾驶系统。为此，驾驶员必须具有一定的专心。借助于所提出的方法，可以检查这种专心，而且尤其是降低自主驾驶系统的滥用风险。滥用的例子尤其是在智能电话上观看视频或者写消息，或者甚至是做白日梦（tagtr
ä
umen）。借助于所提出的方法，可以跟踪驾驶员的专心，以便判断是否必须触发某些行动或使某些行动升级。为此，借助于该方法可以跟踪、分析和评价驾驶员的视线活动，以确定驾驶员是否专心于驾驶情况。此外，通过所提出的方法，可以提高驾驶员观察驾驶情况的主动性。经此，驾驶员可以专心于他对于监控周围环境的责任上。因此，借助于所提出的方法，可以提高在道路交通中的安全性，尤其是对于驾驶员来说并且也对于其他交通参与者来说。
5.驾驶员在手动驾驶模式下也必须具有一定的专心。该方法也可以在手动驾驶模式下运行。
6.在一个有利的实施方案中，该方法还具有在车辆的自主驾驶模式期间启动用于确定驾驶员的专心的方法的步骤。经此，可以确保：该方法仅在车辆的自主驾驶模式期间被允许。因此，不在手动驾驶运行期间显示符号。经此，尤其是驾驶员不会由于符号的显示而分心，由此可以提高在道路交通中的安全性。
7.在一个示例性的设计方案中，该方法还可具有借助于观察装置来观察驾驶员的步骤。通过借助于观察装置来观察驾驶员，尤其可以提供用于评估的数据。经此，尤其可以安
全地和/或可靠地评估驾驶员是否正在用他的视线跟随在挡风玻璃上的符号。
8.有利地，符号可以被呈现所定义的时长。经此，可以确保驾驶员感知到该符号并且也认出该符号是这种符号。在一个扩展方案中，可以在不同位置以分别不同的时长来呈现该符号。经此，可以使对符号的观察更有趣。此外，可以减少该系统的滥用或该系统的滥用风险，其方式是例如可以确定驾驶员是否也在相对应的时长内看向符号。
9.优选地，可以在不同位置呈现不同符号。通过在检查周期期间使用不同符号，可以使对符号的观察更有趣。经此，可以避免单调，由此驾驶员尤其是更加专心。经此，可以提高在道路交通中的安全性。
10.在一个扩展方案中，可以在挡风玻璃上的与车辆的周围环境中的其他交通参与者或对象重叠的位置呈现符号。经此，驾驶员可以同时通过这些符号来获知他的周围环境中的情况，由此驾驶员尤其可以安全地和/或可靠地监控车辆的周围环境。因此，驾驶员直接获知其他交通参与者的情况。因此，在发生危险时，驾驶员尤其可以更快地做出反应并且更好地了解周围环境。经此，尤其可以提高在道路交通中的安全性。
11.在一个示例性的实施方案中，可以借助于显示装置来呈现这些符号。在一个扩展方案，显示装置可以被设计成投影装置。通过使用显示装置和/或投影装置，尤其可以在挡风玻璃上安全地和/或随机地呈现符号。
12.有利地，可以同时在不同位置呈现不同符号。经此，通过驾驶员例如必须更加专注于该方法，尤其可以增加该驾驶员的专心。
13.在一个扩展方案中，可以针对这些符号输出音频信号。经此，尤其可以增加驾驶员的专心。还可以确保：驾驶员通过多个渠道来接收输入，并且因此提高对该方法的感知。
14.在一个有利的实施方案中，如果没有确认驾驶员专心，则可以输出报警。替代地或附加地，如果没有确认驾驶员专心，则可以结束车辆的自主驾驶模式并且要求驾驶员接管车辆。因此，在确认驾驶员不专心时可以引入各种升级级别。因此，可以使驾驶员重新专心，由此提高在道路交通中的安全性。
15.还提出了一种用于在至少部分自主驾驶车辆中确定驾驶员的专心的装置，其中该装置具有显示装置，用于在车辆的自主驾驶模式期间或者在车辆的手动驾驶模式期间在车辆的挡风玻璃上的不同位置按顺序地为驾驶员呈现至少一个符号，而且其中该装置具有控制单元，用于接收观察装置的数据并且用于借助于观察装置的数据来确定驾驶员是否正在用他的视线跟随该符号的呈现的顺序，其中如果确定驾驶员正在用他的视线跟随该符号的呈现的顺序则确认驾驶员专心，而且其中如果确定驾驶员没有正在用他的视线跟随该符号的呈现的顺序则没有确认驾驶员专心。
16.借助于所提出的装置，可以安全地和/或可靠地检查和确定驾驶员的专心。此外，可以减少自主驾驶系统的滥用风险。经此，尤其可以提高在道路交通中的安全性。借助于所提出的装置，可以跟踪驾驶员的专心，以便判断是否必须触发某些行动或使某些行动升级。此外，可以提高驾驶员观察驾驶情况的主动性。驾驶员在手动驾驶模式下也必须具有一定的专心。因此，也可以在手动驾驶模式下呈现符号。
17.优选地，该装置可具有观察装置，用于观察驾驶员。通过借助于观察装置来观察驾驶员，尤其可以提供用于评估的数据。经此，尤其可以安全地和/或可靠地评估驾驶员是否正在用他的视线跟随在挡风玻璃上的符号。
18.该观察装置也可称为观察系统、驾驶员监控系统（driver monitoring system）和/或乘员观察系统。该观察装置例如可以被设计为：观察一个或多个车辆乘员，例如检测车辆乘员、尤其是驾驶员和/或副驾驶员和/或在后座的一个或多个车辆乘员的身体姿势、视线方向和/或头部或面部或眼睛的位置，或者检测一个或多个车辆乘员的疲劳状态和/或其它生命体征。例如还可以检测车辆乘员的身份。
附图说明
19.本发明的实施例在附图中示出并且在随后的描述中更详细地予以阐述。针对在不同的附图中示出并且起类似作用的要素使用相同的附图标记，其中省去了对这些要素的重复描述。其中：图1示出了具有按照本发明的实施例的装置的车辆的示意图；图2示出了具有按照本发明的实施例的装置的车辆的一部分的示意图；图3示出了按照本发明的实施例的方法的示意图；图4示出了按照本发明的实施例的框图的示意图。
具体实施方式
20.图1示出了具有按照本发明的实施例的用于在至少部分自主驾驶车辆20中确定驾驶员24的专心的装置22的车辆20的示意图。借助于该装置22可以实施按照图3和/或图4的方法所述的方法。
21.车辆20尤其可以设计成机动车辆，例如设计成汽车。车辆20被设计成至少部分自主驾驶车辆20。换言之，车辆20可以至少部分自主驾驶。例如，车辆20可以在某些情况下被置于自主驾驶模式。在自主驾驶模式下，车辆20尤其可以自行行驶。例如，车辆20可以在高速公路上或在交通拥堵中被置于自主驾驶模式。车辆尤其可具有内部空间26和挡风玻璃28。
22.该装置22包括显示装置30，用于在车辆20的自主驾驶模式期间或者在车辆20的手动驾驶模式期间在车辆20的挡风玻璃28上的不同位置按顺序地为驾驶员24呈现至少一个符号。按照图2，可以在挡风玻璃28上呈现符号。换言之，显示装置30被设计用于为显示装置30的观察者24、这里是车辆20的驾驶员24显示至少一个图像表示。该图像表示例如可以被设计成符号。显示装置30尤其可以布置在挡风玻璃28中。例如，显示装置30可以被设计成在挡风玻璃28中的透明显示器。在一个扩展方案中，可以在挡风玻璃28上布置透明显示器。
23.在一个有利的实施方案中，显示装置30可以被设计成投影装置30。优选地，投影装置30被设计用于为投影装置30的观察者24显示或呈现至少一个图像表示。观察者24尤其可以是位于车辆20的内部空间26中的车辆乘员24、例如车辆20的驾驶员和/或副驾驶员。投影装置30布置在车辆20中，使得观察者24可以观察借助于投影装置30所呈现的信息。在该有利的实施方案中，观察者24是车辆的驾驶员24。投影装置30例如可以被布置在车辆20的仪表板或仪表盘中。替代地或附加地，可以在车辆20中的其它位置布置该投影装置或另一投影装置30，例如在车顶处、在后视镜处或者在车辆的柱20处、例如在a柱和/或b柱处。
24.投影装置30尤其是朝着挡风玻璃28的方向发射光线。为此，挡风玻璃28尤其可以被设计成显示区域。例如，在挡风玻璃28中或者在该挡风玻璃上可以布置或集成全息元件
或散射区域。借助于由投影装置30发出的光线，可以在挡风玻璃28上呈现图像表示。借助于投影装置30，可以显示关于车辆的信息、例如车辆状态信息，或关于车辆模式的信息，诸如速度和/或转速和/或温度和/或油箱料位和/或导航指示和/或车辆娱乐系统的信息和/或可用于车辆的运行的其它信息。此外，借助于投影装置30可以在挡风玻璃上呈现符号。投影装置30可以在挡风玻璃28上产生实像。在一个替代的实施方案中，投影装置30可以被设计成平视显示器（head-up-display）并且产生虚像。
25.在该有利的实施方案中，该装置22还包括观察装置32，用于观察内部空间26和/或车辆乘员24并且因此尤其是观察驾驶员24。观察装置32也可以称为观察系统和/或乘员观察系统和/或监控系统。观察装置32例如可以被设计为：检测车辆乘员24的视线方向、身体姿势和/或头部或面部或眼睛的位置，或者检测车辆乘员24的疲劳状态和/或其它生命体征。例如还可以检测车辆乘员24的身份。为了观察车辆乘员24，观察装置32可具有：照明单元，用于发出光线、尤其是红外线；和拍摄单元。观察装置32尤其可以布置在仪表盘中，布置在仪表板中，布置在车顶处，布置在后视镜处或者布置在柱处，例如布置在车辆20的a柱和/或b柱处。
26.照明单元尤其是对准车辆乘员24的方向并且因此对准车辆座椅的方向，以便用光线、尤其是用红外线来照射车辆乘员24。换言之，借助于照明单元朝着车辆乘员24的方向发出光线、尤其是红外线。照明单元例如可以被设计成发光单元、发光元件、发光二极管、led、oled和/或激光二极管，和/或可以具有发光单元、发光元件、发光二极管、led、oled和/或激光二极管。拍摄单元例如可以被设计成图像拍摄单元，例如被设计成传感器或摄像机，尤其设计成红外摄像机模块，其中该拍摄单元对准驾驶员24的方向，以便以视觉方式对驾驶员24进行检测。通过设计成红外摄像机模块，即使在夜间也能够执行观察，而驾驶员24不会明亮地被照亮并由此被炫目。
27.换言之，观察装置32被设计用于观察车辆的车辆内部空间。观察装置32具有：照明单元，用于朝着车辆内部空间的方向发出光线、尤其是红外线；和拍摄单元，用于接收光线、尤其是红外线，其中由该照明单元发出的光线、尤其是红外线能在车辆内部空间处或在车辆内部空间中被反射，而且其中所反射的光线、尤其是红外线能朝着该拍摄单元的方向偏转。
28.该装置22还包括控制单元34，用于接收观察装置32的数据。控制单元34被设计用于操控观察装置32和/或显示装置30。此外，控制单元34被设计用于处理观察装置32的数据。
29.借助于显示装置30，在车辆20的自主驾驶模式期间或者在车辆20的手动驾驶模式期间在车辆20的挡风玻璃28上的不同位置按顺序地为驾驶员24呈现至少一个符号。该符号的呈现例如可以按照图2来被设计。尤其是仅在车辆20的自主驾驶模式期间或者在车辆20的手动驾驶模式期间呈现符号。符号例如可以具有所定义的形状，例如圆形、矩形、星形或其它形状。在一个扩展方案中，符号也可以被设计成假人。在一个扩展方案中，驾驶员例如也可以自己选择和/或定制符号。优选地，在挡风玻璃28上按照指定的或定义的顺序来在不同位置呈现符号。该符号可以在不同位置尤其被呈现所定义的时长。在一个扩展方案中，可以在不同位置以分别不同的时长来呈现该符号。在一个有利的实施方案中，可以在挡风玻璃28上的不同位置呈现不同符号。因此，例如可以首先呈现圆形并且然后呈现矩形。在一个
扩展方案中，可以在挡风玻璃28上的不同位置同时呈现不同符号。在一个扩展方案中，可以附加地针对这些符号输出音频信号。该音频信号例如可以通过扬声器来被输出。有利地，可以针对不同符号和/或不同位置输出不同的音频信号。
30.在一个有利的设计方案中，可以在挡风玻璃28上的与车辆20的周围环境中的其他交通参与者或对象重叠的位置呈现符号。为此，尤其可以借助于监控装置来观察和分析车辆20的周围环境。经此，尤其可以标识其他交通参与者和/或对象。借助于评估算法，可以对交通参与者和/或对象进行分类。在挡风玻璃28上的通过显示装置30所呈现的符号尤其可以与在车辆20的周围环境中的其他交通参与者和/或对象叠加地被呈现。换言之，可以在挡风玻璃28上在驾驶员24的视线方向上与其他交通参与者或对象叠加的位置处呈现这些符号。
31.控制单元34被设计用于借助于观察装置32的数据来确定驾驶员24是否正在用他的视线跟随符号的呈现的顺序。为此，提供观察装置32的数据、尤其是图像或视频序列。为了对视线进行评估，例如可以分析驾驶员24的头部移动和/或眼睛移动，例如瞳孔。如果确定驾驶员正在用他的视线跟随符号的呈现的顺序，则确认驾驶员专心。如果确定驾驶员没有正在用他的视线跟随符号的呈现的顺序，则没有确认驾驶员专心。换言之，可以确定驾驶员24是否感知到在不同位置处的符号并且因此是否是专注的。经此，可以推断出驾驶员24也专注于发生在驾驶员身边的事情（fahrergeschehen）。
32.在一个扩展方案中，也可以附加地确定驾驶员24的眨眼行为，尤其是睁眼（blick）或闭上眼皮。还可以确定转向角数据、车道保持频率和驾驶员为了对专心提醒做出反应所需的时间。经此，可以使用其它数据来支持和验证用于确定专心的方法。
33.如果没有确认驾驶员24专心，则可以输出报警。尤其可以借助于显示装置30和/或其它显示装置来呈现该报警。替代地或附加地，可以通过音频信号、例如借助于扬声器来输出报警。替代地或附加地，如果没有确认驾驶员24专心，则可以结束车辆的自主驾驶模式。此外，如果没有确认驾驶员24专心，则可以要求驾驶员24接管车辆20并且因此对车辆20进行手动控制。如果驾驶员24没有做出反应，则可以引导车辆20安全停止。例如，车辆20可以安全地被停在路边并且因此被引导到安全停止，尤其是在考虑车辆20的周围环境和/或交通状况的情况下。
34.换言之，可以借助于该装置22来实现驾驶员响应任务（driver response task）的概念。借助于该装置，可以在自主驾驶循环或者2级免提驾驶或者l2-hf驾驶期间在挡风玻璃上显示动画投影，例如借助于投影装置和/或平视显示器。借助于观察装置或驾驶员监控摄像机或dmc，可以检查这些动画投影是否被驾驶员24观察到并且因此被感知到。如果识别出驾驶员没有感知到符号，则可以推断出该驾驶员不专注，由此允许报警级联。借助于该报警级联，可以通知驾驶员：该驾驶员应该再次观察发生在驾驶员身边的事情并且因此应该继续或恢复他的观察任务。
35.如果驾驶员24没有做出反应，则报警提示可以在一定时间后变得更加紧急并且尤其是会升级。例如，可以增加提醒和报警次数、报警频率和/或用于呈现这些报警的不同媒介。这样，可以输出报警显示和/或音频信号，作为报警。此外，附加于或替代于显示和/或音频信号，可以输出触觉信号，例如经由座椅来输出触觉信号。经此，可以为驾驶员24以视觉方式和/或以可听到的方式和/或以触觉方式或者以可感觉到的方式来输出或呈现报警。如
果驾驶员24没有对这些报警中的任何一个做出反应，则可以制动车辆20至安全停止，优选地在考虑车辆20的周围环境和/或交通状况的情况下。尤其可以在识别出驾驶员24不专心时结束自主驾驶循环。
36.换言之，旨在借助于该装置22来显示符号或动画对象，其中驾驶员24用他的眼睛和/或借助于头部移动来跟随该符号或动画对象。这由一个或多个内部空间摄像机32、例如dmc和/或omc来观察并且然后借助于控制单元34来分析。在这种情况下，判断眼睛移动和/或头部移动是否与在挡风玻璃28上的符号或动画对象的移动匹配。如果匹配，则认为驾驶员专心。
37.当驾驶员24激活自主驾驶循环或2级免提驾驶或l2-hf驾驶时，该驾驶员仍然负责观察车辆20周围的交通并且为了自主驾驶而对该系统进行监控。在不自己驾驶的情况下或在没有手动驾驶的情况下对该系统的监控可能导致驾驶员24感到无聊并且增加系统滥用的风险。滥用的例子是在智能电话上观看视频或者写消息。借助于该装置，可以跟踪驾驶员24的专心，以便判断在驾驶员24不专心时是否应该触发升级方法。
38.在驾驶员24在自主驾驶循环中或在l2-hf模式中驾驶期间，该装置跟踪驾驶员24的视线活动，以便评价驾驶员24是否专心于驾驶情况。借助于该装置22的投影装置30，在挡风玻璃28上呈现动画或静态投影，例如作为符号和/或动画。驾驶员24应该用眼睛和/或视线跟踪该符号或者该符号或该动画的顺序。用于对驾驶员24和/或乘员进行监控的观察装置32或者摄像机监控驾驶员24的视线和/或头部位置，其中识别并跟踪驾驶员24的视线。如果视线和/或头部移动和方向与动画投影的移动匹配或者在一定程度上与该移动重叠，则很可能驾驶员是专心的。
39.换言之，将在挡风玻璃28上所显示的符号的位置的顺序与驾驶员24的视线方向或视线跟踪进行比较。有利地，将所显示的符号的路径与驾驶员24的视线跟踪的路径进行比较。如果这两条路径匹配，尤其是高于特定的匹配阈值，则可以认为驾驶员正在跟踪在挡风玻璃28上所显示的符号并且因而是专心的。
40.这些符号可以被呈现为固定符号或单色标记或动画投影。例如，符号或标记可以从一个位置跳跃到另一个位置。这例如可以按照图2来被呈现。例如，该符号可以从挡风玻璃28的中心跳跃到挡风玻璃28的角落。该符号可以变换颜色和/或形状。在一个替代的实施方式中，该符号可以被呈现为闪烁点或者图形或漫画图形。例如，可以借助于在不同位置的符号来讲述一种漫画。驾驶员24可以有利地使符号个性化并且这样来自己选择应该显示的内容。经此，可以使该呈现更有趣。为了优化符号的呈现和对驾驶员24的观察或者对视线跟踪的评估以及因此对专心的检查，可以执行用户测试并且因此借助于机器学习来评估和分析或者改进该方法。此外，必须在由于符号而使驾驶员24分心与增加驾驶员24的专心之间找到折衷。
41.在一个替代实施方式中，对于sae 3级和4级的自动驾驶来说，视觉提示可以用作娱乐功能。在这种情况下，符号在大小和方位方面的设计会受到较少限制，原因在于驾驶员24不一定必须对周围环境进行监控。然而，这些符号可用于提高驾驶员24的情景意识并且在需要手动控制车辆20时提高接管效率。
42.换言之，该装置可具有drt计算机系统，其中可以借助于该装置来呈现在挡风玻璃28上的呈现，例如借助于投影装置30、平视显示器和/或在挡风玻璃28中的透明显示器。借
助于观察装置32、例如驾驶员监控摄像机和/或车辆乘员监控摄像机，可以观察驾驶员24的视线。除了显示符号之外，可以输出音频信号，例如与这些符号的移动相匹配的特殊音调。例如，在车辆20中的不同扬声器可以不一样地被操控并且因此支持符号的移动，例如从左向右或者从右向左。根据情况、例如根据紧急程度，该音调可以被设计成友好的或激进的。如果存在车辆20的驾驶员24必须快速手动阶段的危急情况，则可以输出激进的声音，尤其是较大声的声音。在一个扩展方案中，这些音频信号也可以被设计成哔哔声、周围环境噪声或制动噪声。
43.在一个有利的实施方案中，驾驶员24可以单独设置或配置在指定限制内所输出的符号和文本或报警。驾驶员24例如可以定制符号或动画或投影的形状和/或大小。这样，符号例如可以表示一个大球或一个小矩形或者其它形状。驾驶员24还可以定制是应该始终显示同一符号或者还是符号随着时间改变。此外，驾驶员24可以配置颜色，这样符号例如可以被设计成单色或彩色，始终具有同一颜色或者随着时间来变换颜色。例如，驾驶员24也可以定制动画的速度，其中动画例如可以静态地、非常缓慢地、缓慢地、快速地或者脉冲式地变换。此外，驾驶员24例如可以设置并行显示的动画的数量和/或类型，诸如球和三角形同时旋转。在一个扩展方案中，驾驶员24也可以选择用于在挡风玻璃28上在不同位置显示的动画漫画。
44.在一个扩展方案中，基于在自主驾驶循环中的预定义的阈、例如专心级别、困倦级别、自上次呈现以来的时间和/或驾驶时间，可以触发在挡风玻璃28上的符号的呈现。换言之，尤其是当车辆20处在自主驾驶循环中并且超过所定义的阈、例如驾驶员24的专心级别、困倦级别、自上一次的动画以来的时间和/或驾驶时间时，可以在挡风玻璃28上按顺序呈现符号。在一个扩展方案中，驾驶员24可以自己启动对符号的呈现。换言之，符号或动画的呈现尤其可以基于预定义的阈来被触发或者由驾驶员24自己来开启。
45.该方法也可以在车辆20的手动驾驶模式期间启动。因此，符号的顺序也可以在车辆20的手动驾驶模式期间被呈现。在这种情况下，必须注意驾驶员24不会由于这些符号而分心。例如，可以使该装置与疲劳识别相关联。一旦识别出驾驶员24太累而无法履行手动驾驶任务，例如超过了疲劳阈，就可以启动该方法并且显示这些符号。疲劳识别例如可以通过转向移动或者驾驶员24的眨眼活动来被识别。
46.换言之，该方法或该装置即使在手动驾驶车辆20时也可以被使用，以便检查驾驶员24的疲劳等级和/或以便短暂地再次增加专心或触发向驾驶员24提示他疲劳的报警级别。
47.换言之，该方法也可以与疲劳识别相结合地在手动驾驶时被使用，尤其是当车辆20拥有驾驶员监控（driver monitoring）时。例如，一旦超过驾驶员24的一定疲劳等级，就可能会自动启动呈现或投影。借此，可以在一定时间内再次增加驾驶员24的专心，或者如果确认驾驶员24没有对动画做出反应，则可以激活相对应地高的报警级别。优选地，可以输出报警或报警消息。如果没有确认驾驶员24的专心，则可以要求驾驶员24使车辆20停下。在进一步的升级中，如果没有确认驾驶员24的专心，则可以使车辆20以受控制的方式制动直至停下，尤其是在考虑车辆20的周围环境和/或交通状况的情况下。换言之，可以引入受控制的制动，尤其是直至车辆20停下为止，尤其是在考虑车辆20的周围环境和/或交通状况的情况下。
48.图2示出了具有按照本发明的实施例的装置22的车辆20的一部分的示意图。该装置22可以按照图1的装置22来设计。该装置22可以按照图1的装置22来布置在车辆20中。
49.不同的是，在挡风玻璃28上呈现符号36。在该有利的实施方案中，符号36被呈现为星形。符号36也可具有其它形状。符号36在挡风玻璃28上的第一位置38被呈现。然后，符号36沿着箭头40被挪动到第二位置42。在该挪动期间，可以继续显示符号36，或者替代地，符号36可以消失并且重新出现在第二位置42。然后，符号36从第二位置42沿着箭头44被挪动到第三位置46。在该挪动期间，可以继续显示符号36，或者替代地，符号36可以在第二位置42消失并且重新出现在第三位置46。符号36同样可以被呈现在不同位置。符号36在不同位置、尤其是第一位置38、第二位置42和/或第三位置46的呈现的时长可以是均等的或者不同的。经此，得出符号36在挡风玻璃28上的呈现的路径。该路径也可以被设计得不一样并且可以具有多个符号的呈现和/或多个位置。
50.图3示出了按照本发明的实施例的用于在至少部分自主驾驶车辆中确定驾驶员的专心的方法50的示意图。该方法50可以在按照图1和/或图2的装置所述的装置上被实施。
51.在该方法50的第一步骤52中，在车辆的自主驾驶模式期间或者在车辆20的手动驾驶模式期间，在车辆的挡风玻璃上的不同位置按顺序地为驾驶员呈现至少一个符号。可以在所定义的路径上在不同位置显示符号。在该有利的实施方案中，可以在车辆的自主驾驶模式期间启动用于确定驾驶员的专心的方法。在一个扩展方案中，该方法的启动也可以与不同的阈相关联，诸如驾驶员的专心阈和/或疲劳阈，其中当识别出驾驶员疲劳时可以允许该方法。替代地或附加地，驾驶员可以自己启动该方法。在一个扩展方案中，当距上一次执行该方法的时间段已超过了一定的阈时，可以启动该方法50。换言之，该方法50可以在一定时长之后重新被启动。启动该方法50的前提条件尤其可以是在自主驾驶模式下或在二级自主驾驶模式下或在二级免提模式下或在l2 hf模式下驾驶。
52.这些符号可以借助于显示装置来被呈现。有利地，这些符号可以借助于投影装置来被呈现。优选地，符号可以被呈现所定义的时长。例如，可以在不同位置以分别不同的时长来呈现符号。在一个扩展方案中，尤其可以在不同位置呈现不同符号。例如，可以在挡风玻璃上的与车辆的周围环境中的其他交通参与者或对象重叠的位置呈现符号。优选地，可以同时在不同位置呈现不同符号。在一个扩展方案中，可以针对这些符号输出一个或多个音频信号。
53.在该方法50的第二步骤54中，提供用于观察驾驶员的观察装置的数据。为此，在第二步骤54中，可以借助于观察装置来观察驾驶员。尤其可以观察或跟踪驾驶员的视线。在这种情况下，例如可以记录视线移动或视线轨迹。
54.在该方法50的第三步骤56中，借助于观察装置的数据来确定驾驶员是否正在用他的视线跟随符号的呈现的顺序。如果确定驾驶员正在用他的视线跟随符号的呈现的顺序，则确认驾驶员专心。如果确定驾驶员没有正在用他的视线跟随符号的呈现的顺序，则没有确认驾驶员专心。尤其可以对驾驶员的被跟踪的视线进行分析。例如，可以分析视线移动或视线轨迹。可以将驾驶员的视线移动与在挡风玻璃上所呈现的符号的路径进行比较。如果驾驶员的视线移动与在挡风玻璃上所呈现的符号的路径匹配到一定等级或程度或阈值，则可以认为：驾驶员正在用他的视线跟随在该路径上的符号的顺序。因此，可以推断出驾驶员是专心的。如果驾驶员的视线移动与在挡风玻璃上所呈现的符号的路径没有匹配到一定等
级或程度或阈值或者匹配得小于所定义的阈，则可以认为：驾驶员没有正在用他的视线跟随在该路径上的符号的顺序。因此，可以推断出驾驶员不专心。
55.在一个有利的设计方案中，在该方法50的第四步骤58中，如果没有确认驾驶员专心，则可以输出报警。替代地或附加地，如果没有确认驾驶员专心，则可以结束车辆的自主驾驶模式并且要求驾驶员接管车辆。如果识别出专心，则可以结束该方法50，而不是输出报警。该方法50可以在稍后的时间点被重新启动。
56.换言之，该方法50触发在挡风玻璃上的动画投影，并且确定驾驶员如何用他的视线跟随该投影或者如何对该投影做出反应。如果驾驶员的视线相当快地或者在一定程度上跟随该投影，则驾驶员是专心的。如果驾驶员的视线没有跟随该投影，则驾驶员不专心。在这种情况下，该方法50触发报警，尤其是升级过程。
57.图4示出了按照本发明的实施例的用于在至少部分自主驾驶车辆中确定驾驶员24的专心的装置22的框图的示意图。该装置22可以按照图1和/或图2的装置来被设计。在该装置22上可以实施按照图3的方法所述的方法。
58.该装置22尤其包括三个功能块。第一功能块被设计成显示装置30，例如被设计成投影装置30，用于在挡风玻璃28上呈现符号、例如动画投影。驾驶员24可以或应该尤其是感知在挡风玻璃28上所呈现的符号。第二功能块被设计成观察装置32，例如被设计成摄像机，用于观察驾驶员24。借助于观察装置32，记录图像和/或视频数据并且因此对驾驶员24进行监控，该观察装置可以设计成驾驶员观察摄像机和/或乘员观察摄像机。
59.第三功能块被设计成控制单元34，用于触发和操控显示装置30并且用于评估和分析观察装置32的数据。经此，可以将在挡风玻璃28上所呈现的符号的路径与驾驶员24的视线跟踪进行比较。借助于箭头来呈现这些功能块彼此间以及与驾驶员24的交互。换言之，控制单元34将对显示装置30的操控的规定与驾驶员24的所分析的视线跟踪的数据进行比较。有利地，控制单元34将符号或动画的顺序的方向与驾驶员24的视线跟踪或者视线跟踪路径进行比较。如果两者匹配到一定程度，该程度高于所定义的阈值，则可以推断出驾驶员正在用他的视线跟踪符号的顺序。该阈值例如可以被设计成百分比值。经此，可以推断出：驾驶员是专心的并且正在履行他对车辆的周围环境的观察任务。如果由此识别出驾驶员专心，则可以结束对符号的显示以及对驾驶员24的观察。这可以在稍后的时间点被重新执行。例如，可以在一定时长、驾驶时间和/或驾驶员24的可能不专心之后触发重新启动。
60.如果识别出驾驶员24不专心，则控制单元34可以输出一个或多个报警。尤其可以触发报警级联。例如可以操控报警灯，其中这些报警灯尤其可以闪烁。替代地或附加地，可以使挡风玻璃28上的符号更强烈和/或闪烁地呈现。如果再次确认驾驶员不专心，则例如可以触发进一步的报警级别，其中例如触发声音报警，例如通过播放音频。作为报警级联的最后级别，例如可以要求驾驶员通过手动控制来继续驾驶车辆，并且可以结束自主驾驶模式。换言之，控制单元34可以触发接管请求（take over request）或tor。替代地或附加地，可以引导车辆安全停止。

技术特征：
1.一种用于在至少部分自主驾驶车辆（20）中确定驾驶员（24）的专心的方法（50），所述方法具有如下步骤：在所述车辆（20）的自主驾驶模式期间或者在所述车辆（20）的手动驾驶模式期间，在所述车辆（20）的挡风玻璃（28）上的不同位置按顺序地为所述驾驶员（24）呈现至少一个符号（36）；提供用于观察所述驾驶员（24）的观察装置（32）的数据；借助于所述观察装置（32）的数据，确定所述驾驶员（24）是否正在用他的视线跟随所述符号（36）的呈现的顺序，其中如果确定所述驾驶员（24）正在用他的视线跟随所述符号（36）的呈现的顺序则确认所述驾驶员（24）专心，而且其中如果确定所述驾驶员（24）没有正在用他的视线跟随所述符号（36）的呈现的顺序则没有确认所述驾驶员（24）专心。2.根据上述权利要求中任一项所述的方法（50），所述方法具有如下步骤：在所述车辆（20）的自主驾驶模式期间启动用于确定所述驾驶员（24）的专心的方法（50）。3.根据上述权利要求中任一项所述的方法（50），所述方法具有如下步骤：借助于观察装置（32）来观察所述驾驶员（24）。4.根据上述权利要求中任一项所述的方法（50），其中所述符号（36）被呈现所定义的时长。5.根据上述权利要求中任一项所述的方法（50），其中在不同位置以分别不同的时长来呈现所述符号（36）。6.根据上述权利要求中任一项所述的方法（50），其中在不同位置呈现不同符号（36）。7.根据上述权利要求中任一项所述的方法（50），其中在所述挡风玻璃（28）上的与所述车辆（20）的周围环境中的其他交通参与者或对象重叠的位置呈现所述符号（36）。8.根据上述权利要求中任一项所述的方法（50），其中所述符号（36）借助于显示装置（30）来被呈现。9.根据权利要求8所述的方法（50），其中所述显示装置（30）被设计成投影装置（30）。10.根据上述权利要求中任一项所述的方法（50），其中同时在不同位置呈现不同符号（36）。11.根据上述权利要求中任一项所述的方法（50），其中针对所述符号（36）输出音频信号。12.根据上述权利要求中任一项所述的方法（50），其中如果没有确认所述驾驶员（24）专心，则输出报警。13.根据上述权利要求中任一项所述的方法（50），其中如果没有确认所述驾驶员（24）专心，则结束所述车辆（20）的自主驾驶模式并且要求所述驾驶员（24）接管所述车辆（20）。14.一种用于在至少部分自主驾驶车辆（20）中确定驾驶员（24）的专心的装置（22），其中所述装置（22）具有显示装置（30），用于在所述车辆（20）的自主驾驶模式期间或者在所述车辆（20）的手动驾驶模式期间在所述车辆（20）的挡风玻璃（28）上的不同位置按顺序地为所述驾驶员（24）呈现至少一个符号（36），而且其中所述装置（22）具有控制单元（34），用于接收观察装置（32）的数据并且用于借助于所述观察装置（32）的数据来确定所述驾驶员（24）是否正在用他的视线跟随所述符号（36）的呈现的顺序，其中如果确定所述驾驶员（24）正在用他的视线跟随所述符号（36）的呈现的顺序则确认所述驾驶员（24）专心，而且其中如
果确定所述驾驶员（24）没有正在用他的视线跟随所述符号（36）的呈现的顺序则没有确认所述驾驶员（24）专心。15.根据权利要求14所述的装置（22），其中所述装置（22）具有观察装置（32），用于观察所述驾驶员（24）。

技术总结
提出了一种用于在至少部分自主驾驶车辆（20）中确定驾驶员（24）的专心的方法（50），该方法具有如下步骤：在车辆（20）的自主驾驶模式期间或者在车辆（20）的手动驾驶模式期间，在车辆（20）的挡风玻璃（28）上的不同位置按顺序地为驾驶员（24）呈现至少一个符号（36）；提供用于观察驾驶员（24）的观察装置（32）的数据；借助于观察装置（32）的数据，确定驾驶员（24）是否正在用他的视线跟随符号（36）的呈现的顺序，其中如果确定驾驶员（24）正在用他的视线跟随符号（36）的呈现的顺序则确认驾驶员（24）专心，而且其中如果确定驾驶员（24）没有正在用他的视线跟随符号（36）的呈现的顺序则没有确认驾驶员（24）专心。专心。专心。


技术研发人员：C
受保护的技术使用者：罗伯特
技术研发日：2022.12.19
技术公布日：2023/6/27