车辆的行驶辅助装置的制作方法

1.本发明涉及车辆的行驶辅助装置。


背景技术：

2.以往，为了防止由急病等驾驶员的不能驾驶状态引起的事故，已知有检测驾驶员成为不能驾驶的状态的驾驶员的不能驾驶状态检测装置(专利文献1)。该不能驾驶状态检测装置基于摄像装置所拍摄到的驾驶席的图像，逐次检测比驾驶员的脖子靠上的头部，在车辆的行驶过程中，在头部偏离出图像的规定范围的情况下，检测为驾驶员处于不能驾驶状态。不能驾驶状态检测装置根据包括驾驶员在内的用户的意图、或者与驾驶员相关的驾驶员信息，来使在不能驾驶状态的检测中使用的该图像的规定范围变形。
3.现有技术文献
4.专利文献
5.专利文献1：日本专利第6372388号公报


技术实现要素：

6.发明要解决的课题
7.然而，即使在驾驶员处于能够驾驶的正常状态(以下，简称为正常状态)时，也存在驾驶员在驾驶时因改变姿势而使头部移动的情况。但是，在上述的现有技术中，尽管基于规定范围内的驾驶员的头部的有无来判定驾驶员的状态，但并未考虑基于是怎样从规定范围移出的来切换车辆的控制，并且驾驶员的不能驾驶状态的检测精度存在改善的余地。
8.另外，存在驾驶员因急病等驾驶员的不能驾驶状态而改变面部的朝向的情况，另一方面，即便在驾驶员处于能够驾驶状态时，也存在驾驶员在驾驶时改变面部的朝向的情况。针对这些情况，以往也并未考虑基于面部的朝向发生了怎样的变化来切换车辆的控制，并且驾驶员的不能驾驶状态的检测精度存在改善的余地。
9.本发明鉴于以上的背景，其课题在于提供一种车辆的行驶辅助装置，能够更高精度地检测驾驶员的不能驾驶状态并适当地辅助车辆的行驶。
10.用于解决课题的手段
11.为了解决上述课题，本发明的某一方式是车辆的行驶辅助装置3，其具备：状态信息取得部15，其取得驾驶员的状态信息；行驶装置6，其用于使所述车辆行驶；以及控制装置17，其基于所述驾驶员的驾驶操作来控制所述行驶装置，并且基于所述驾驶员的所述状态信息来控制所述行驶装置以辅助所述驾驶操作，所述控制装置基于所述状态信息来检测所述驾驶员的头部的位置或所述驾驶员的面部的朝向(st1、st2)，在所述头部的所述位置发生了移动的情况下或者在所述面部的所述朝向发生了变化的情况下(st3：否、st4：否)，所述控制装置限制针对所述行驶装置的基于所述驾驶操作的控制量(st10、st12)，在所述头部在车宽方向上发生了移动(st7：是)或者所述面部在所述车宽方向上发生了偏转(st8：是)的第1状态时(st9)，所述控制装置以第1限制程度来限制所述控制量(st10)，在所述头
部在上下方向上发生了移动(st7：否)或者所述面部在所述上下方向上发生了偏转(st8：否)的第2状态时(st11)，所述控制装置以比所述第1限制程度大的第2限制程度来限制所述控制量。
12.根据该方式，通过识别头部在车宽方向上发生了移动或面部在车宽方向上发生了偏转的第1状态、以及头部在上下方向上发生了移动或面部在上下方向是发生了偏转的第2状态，能够更高精度地检测驾驶员的不能驾驶状态。并且，在驾驶员处于不能驾驶状态的可能性高的第2状态时，控制装置以比驾驶员处于不能驾驶状态的可能性低的第1状态时的第1限制程度更大的第2限制程度来控制控制量。由此，能够抑制例如像油门踏板的误踩下这样的驾驶员非有意的驾驶操作所引起的车辆的行驶，能够适当地辅助车辆的行驶。
13.在上述的方式中，所述控制装置基于所述状态信息来判定所述驾驶员的所述头部是否位于作为在驾驶时应处在的区域而预先设定的规定区域37，在所述头部从所述规定区域移出了的情况下(st3：否)，所述控制装置限制所述控制量，所述第1状态(st9)包括所述驾驶员的所述头部在所述车宽方向上从所述规定区域移出了的状态(st7：是)，所述第2状态(st11)包括所述驾驶员的所述头部在所述上下方向上从所述规定区域移出了的状态(st7：否)。
14.根据该方式，能够根据驾驶员的状态适当地辅助车辆的行驶。
15.在上述的方式中，所述控制装置基于所述状态信息来检测所述驾驶员的面部并检测所述面部中的多个特征部，至少基于所述特征部的位置来计算所述面部的所述朝向相对于前方的偏转程度，在所述偏转程度超过了规定阈值的情况下(st14：否)，所述控制装置限制所述控制量，所述第1状态(st9)包括由于所述驾驶员的所述面部及所述特征部中的至少一方在所述车宽方向上发生了变形或者发生了移动而导致所述偏转程度比所述阈值大的状态(st8：是)，所述第2状态(st11)包括由于所述驾驶员的所述面部及所述特征部中的至少一方在所述上下方向上发生了移动而导致所述偏转程度比所述阈值大的状态(st8：否)。
16.根据该方式，能够根据驾驶员的状态适当地辅助车辆的行驶。
17.在上述的方式中，所述控制装置设定所述驾驶员的驾驶操作量(油门踩下量)的上限值，在所述驾驶操作量超过了所述上限值的情况下不使用所述驾驶操作量，由此限制基于所述驾驶员的所述驾驶操作的所述控制量，在所述第2状态时，所述控制装置将所述上限值设定得比所述第1状态时小。
18.根据该方式，在驾驶员处于不能驾驶状态的可能性高的第2状态时，通过将上限值设定得比第1状态时小，能够适当地抑制基于驾驶员非有意的驾驶操作的车辆的行驶。
19.在上述的方式中，在所述驾驶员的所述头部从所述规定区域移出之后开始了所述驾驶员的所述驾驶操作的情况下(st32：否)，所述控制装置限制基于所述驾驶员的所述驾驶操作的所述控制量(st36、st37)。
20.根据该方式，能够适当地抑制基于驾驶员非有意的驾驶操作的车辆的行驶。
21.在上述的方式中，在自所述驾驶员的所述头部从所述规定区域移出之前起持续进行着所述驾驶员的所述驾驶操作的情况下(st32：是)，所述控制装置不限制基于所述驾驶员的所述驾驶操作的所述控制量(st33)。
22.根据该方式，能够将驾驶员有意的驾驶操作适当地反映在车辆的行驶中。
23.在上述的方式中，在所述驾驶员的所述头部从所述规定区域移出之后，在所述驾
驶员进行着所述驾驶操作的状态下所述头部移入了所述规定区域的情况下(st25：否)，所述控制装置继续限制基于从所述头部移入所述规定区域之前起持续进行着的所述驾驶员的所述驾驶操作的所述控制量(st29)。
24.根据该方式，能够抑制头部移入后的车辆的急剧的行为变化。
25.在上述的方式中，还具备用于向所述车辆的乘客进行通知的通知装置16，在所述驾驶员的所述头部从所述规定区域移出之后开始了所述驾驶员的所述驾驶操作的情况下(st32：否、st42：否)，所述控制装置执行针对所述通知装置的通知控制(st34、st44)来向所述车辆的所述乘客进行通知。
26.根据该方式，能够在未进行驾驶操作时防止通知装置进行不必要的通知，并且能够在驾驶员有可能处于不能驾驶状态时通过通知装置向乘客进行通知。
27.在上述的方式中，在所述驾驶员的所述头部从所述规定区域移出后又移入了所述规定区域的情况下(st21：是)，所述控制装置结束所述通知控制(st22)。
28.根据该方式，在驾驶员的头部移入了的情况下，视为驾驶员处在了能够驾驶状态，能够防止通知装置继续进行不必要的通知。
29.在上述的方式中，在所述第2状态时，所述控制装置禁止基于所述驾驶员的所述驾驶操作的控制(st43、st46、st47)。
30.根据该方式，能够防止基于驾驶员非有意的驾驶操作的车辆的行驶。
31.在上述的方式中，在所述第2状态时，在所述驾驶员的所述头部从所述规定区域移出之后开始了所述驾驶员的所述驾驶操作的情况下(st42：否)，所述控制装置禁止基于所述驾驶员的所述驾驶操作的控制(st46、st47)。
32.根据该方式，能够适当地防止基于驾驶员非有意的驾驶操作的车辆的行驶。
33.在上述的方式中，所述控制装置基于所述驾驶员的所述状态信息来识别所述驾驶员对方向盘的把持或非把持，在所述第1状态(st9)时或所述第2状态(st11)时识别出所述非把持的情况下(st35：否、st45：否)，所述控制装置以与识别出所述把持的情况(st35：是、st45：是)相比更大的限制程度来限制基于所述驾驶员的所述驾驶操作的所述控制量(st37、st47)。
34.根据该方式，能够适当地抑制基于驾驶员非有意的驾驶操作的车辆的行驶。
35.发明的效果
36.根据以上的方式，能够提供一种车辆的行驶辅助装置，该车辆的行驶辅助装置能够更高精度地检测驾驶员的不能驾驶状态并适当地辅助车辆的行驶。
附图说明
37.图1是示出本发明的一个实施方式的行驶辅助装置的功能结构图。
38.图2是示出车内摄像头的图像的图。
39.图3是车内摄像头的图像中的头部的位置变化的说明图。
40.图4是车内摄像头的图像中的面部的朝向变化的说明图。
41.图5是基于控制装置的行驶辅助控制的流程图。
42.图6是图5中的正常时控制的流程图。
43.图7是图5中的第1异常时控制的流程图。
44.图8是图5中的第2异常时控制的流程图。
45.标号说明
46.1:车辆
47.3:行驶辅助装置
48.6:驱动装置(行驶装置)
49.7:制动装置(行驶装置)
50.8:转向装置(行驶装置)
51.12:驾驶操作件
52.13:驾驶操作传感器
53.15:车内传感器(状态信息取得部)
54.16:通知装置
55.17:控制装置
56.24:车内摄像头(状态信息取得部)
57.25:把持传感器(状态信息取得部)
58.26:显示器(通知装置)
59.27:扬声器(通知装置)
60.37:规定区域
61.ap：油门踩下量(驾驶操作量)
具体实施方式
62.首先，参照图1对本发明的一个实施方式的车辆1的行驶辅助装置3的结构进行说明。
63.行驶辅助装置3设置于车辆1。车辆1例如是4轮汽车。车辆1包括：驱动装置6(行驶装置的一例)、制动装置7、转向装置8、hmi9(human machine interface：人机接口)、导航装置10、车辆传感器11、驾驶操作件12、驾驶操作传感器13(驾驶操作信息取得部的一例)、外界传感器14、车内传感器15(状态信息取得部的一例)、通知装置16以及控制装置17。
64.驱动装置6是对车辆1赋予驱动力的装置。例如，驱动装置6包括汽油发动机、柴油发动机等内燃机和/或电动马达。
65.制动装置7是对车辆1赋予制动力的装置。例如，制动装置7包括将制动块按压于制动盘的制动钳以及向制动钳供给液压的电动缸。
66.转向装置8是改变车轮的转向角的装置。例如，转向装置8包括使车轮转向的齿轮齿条机构以及驱动齿轮齿条机构的电动马达。
67.hmi9是向驾驶员显示信息并且受理驾驶员的信息的输入的装置。hmi9配置在车辆1的内部(例如仪表板)。hmi9包括具备显示画面的触摸面板。
68.导航装置10是进行去往车辆1的目的地的路径引导等的装置。导航装置10存储地图信息。导航装置10基于从人造卫星(定位卫星)接收到的gnss信号来确定车辆1的当前位置(纬度和经度)。导航装置10基于地图信息、车辆1的当前位置以及驾驶员输入到hmi9的车辆1的目的地，来设定到车辆1的目的地为止的路径。
69.车辆传感器11是检测各种车辆状态的传感器。例如，车辆传感器11以包括检测车
辆1的速度的车速传感器、检测车辆1的加速度的加速度传感器、检测车辆1的绕铅垂轴的角速度的横摆角速度传感器、检测车辆1的朝向的方位传感器等为宜。车辆传感器11将检测结果输出到控制装置17。
70.驾驶操作件12是受理驾驶员对车辆1的驾驶操作的装置。驾驶操作件12包括：受理驾驶员的转向操作的方向盘、受理驾驶员的加速操作的油门踏板、以及接受驾驶员的减速操作的制动踏板。
71.驾驶操作传感器13是检测对驾驶操作件12的驾驶操作的操作量的传感器。换言之，驾驶操作传感器13是取得与针对驾驶操作件12的驾驶操作相关的信息的传感器。驾驶操作传感器13包括：检测方向盘的旋转角的转向角传感器、检测油门踏板的踩下量的油门传感器、以及检测制动踏板的踩下量的制动传感器。驾驶操作传感器13将检测结果输出到控制装置17。
72.外界传感器14是检测车辆1的外界的状态的传感器。例如，外界传感器14检测存在于车辆1的周围的物标的相对于车辆1的相对位置。换言之，外界传感器14取得物标的位置信息。物标包括前行车辆等其他车辆、行人、自行车、障碍物等。外界传感器14将检测结果输出到控制装置17。
73.外界传感器14包括多个外界摄像头21、多个雷达22以及多个激光雷达23(lidar)。外界摄像头21拍摄存在于车辆1的周围的物标的图像。雷达22向车辆1的周围发射毫米波等电波，并捕捉其反射波，由此检测存在于车辆1的周围的物标的相对于车辆1的相对位置。激光雷达23向车辆1的周围照射红外线等光，并捕捉其反射光，由此检测存在于车辆1的周围的物标的相对于车辆1的相对位置。
74.车内传感器15是检测车辆1的室内的状态的传感器，具体而言是检测驾驶员的状态的传感器。换言之，车内传感器15是取得驾驶员的状态信息的传感器。车内传感器15包括车内摄像头24和把持传感器25。车内摄像头24拍摄驾驶席的图像，检测就座于驾驶席的驾驶员的头部的位置以及面部，并且检测眼睛、鼻子、嘴等面部的特征部。另外，车内摄像头24也可以检测驾驶员的手臂以及手。车内摄像头24配置于车辆1的内部(例如，方向盘的前方)。把持传感器25设置于方向盘，检测驾驶员对方向盘的把持或非把持。车内摄像头24以及把持传感器25将拍摄结果输出到控制装置17。
75.通知装置16是向包括驾驶员在内的车辆1的乘客进行通知的装置。通知装置16包括显示器26和扬声器27。显示器26例如是像hud(head up display(平视显示器)：显示部的一例)那样配置在容易进入驾驶员、乘客的前方的视野的位置且在视觉上向乘客传递信息的通知部。扬声器27可以是搭载于车辆1的音频装置，也可以与导航装置10等共用。或者，扬声器27也可以被设置成通知专用。扬声器27是在听觉上向乘客传递信息的通知部。
76.控制装置17是由被构成为执行各种处理的计算机构成的电子控制装置(ecu)。控制装置17包括运算处理装置(cpu、mpu等处理器)和存储装置(rom、ram等存储器)。运算处理装置从存储装置中读取必要的软件，按照读取到的软件执行规定的运算处理。控制装置17可以被构成为1个硬件，也可以被构成为由多个硬件构成的单元。控制装置17通过can(controller area network：控制器局域网)等通信网络与车辆1的各结构要素连接，对车辆1的各结构要素进行控制。
77.控制装置17包括外界识别部31、行驶控制部32、驾驶员状态识别部33、把持识别部
34以及通知控制部35作为功能部。控制装置17的各功能部的至少一部分可以通过lsi、asic、fpga等硬件来实现，也可以通过软件和硬件的组合来实现。
78.外界识别部31基于外界传感器14的检测结果来识别车辆1的外界的状态。例如，外界识别部31基于外界传感器14的检测结果来识别存在于车辆1的周围的物标，并且对物标相对于车辆1的相对位置、物标相对于车辆1的相对速度、从车辆1到物标的距离等进行识别。
79.外界识别部31基于外界传感器14的检测结果来取得物标的类别、位置(绝对位置)、移动速度、过去的移动方向以及周边环境。此外，外界识别部31也可以基于车辆传感器11的检测结果、gnss信号来取得这些信息，而不仅仅是基于外界传感器14的检测结果。物标的类别包括前行车辆等其他车辆、行人、自行车等。物标的周边环境包括物标的周围的道路形状、道路宽度等。在物标是行人的情况下，物标的周边环境包括存在于与该行人隔着道路的相反侧的其他行人等。在物标是前行车辆的情况下，物标的周边环境包括存在于该前行车辆的前方的红绿灯、前行车辆前方的车辆等。
80.外界识别部31基于物标的类别、位置、移动速度、过去的移动方向以及周边环境中的至少一个来估计物标的将来的移动方向。由此，外界识别部31能够高精度地估计物标的将来的移动方向。例如，外界识别部31基于物标的类别、位置、移动速度、过去的移动方向以及周边环境，计算以物标为中心、以方向为概率变量的概率分布(高斯分布)。在此基础上，外界识别部31可以将上述概率分布中概率密度最高的方向估计为物标的将来的移动方向。
81.行驶控制部32基于由驾驶操作传感器13检测出的与针对驾驶操作件12的驾驶操作相关的信息，对车辆1的行驶所需的驱动装置6、制动装置7以及转向装置8进行控制。例如，行驶控制部32基于油门传感器的检测结果(油门踩下量)，对驱动装置6的控制量(节气门开度、对内燃机的燃料供给量、对电动马达的供给电力等)进行控制。行驶控制部32基于制动传感器的检测结果(制动踏板的踩下量)对制动装置7的液压进行控制。行驶控制部32基于转向角传感器的检测结果(方向盘的旋转角)对转向装置8的电动马达进行控制。
82.另外，行驶控制部32执行对驱动装置6、制动装置7以及转向装置8等行驶装置进行控制的行驶辅助控制，以辅助驾驶操作。例如，行驶控制部32基于由外界识别部31识别出的车辆1的外界的状态等，来执行车辆1的碰撞抑制控制。例如，行驶控制部32基于由外界识别部31识别出的物标的相对于车辆1的相对位置，来执行车辆1的加减速控制及转向控制。
83.作为车辆1的加减速控制，行驶控制部32执行acc(adaptive cruise control：自适应巡航控制)等前行车辆跟随控制。在前行车辆跟随控制中，行驶控制部32控制驱动装置6和制动装置7，使得车辆1与该前行车辆之间的车间距离被维持在规定的范围。
84.作为车辆1的加减速控制，行驶控制部32执行误踩下抑制控制，在该误踩下抑制控制中，对基于驾驶员的驾驶操作(驾驶操作传感器13的检测结果)的针对驱动装置6、制动装置7等行驶装置的控制量进行限制。行驶控制部32基于驾驶员状态识别部33的识别结果，即基于由车内摄像头24、把持传感器25取得的驾驶员的状态信息，来执行误踩下抑制控制。
85.作为车辆1的转向控制，行驶控制部32执行lkas(lane keeping assist system：车道保持辅助系统)等车道维持控制。在车道维持控制中，行驶控制部32控制转向装置8，使得车辆1行驶在由划分线划分的车道内的基准位置(例如，车道的宽度方向中央附近)行驶。另外，行驶控制部32也可以基于由车内摄像头24、把持传感器25取得的驾驶员的状态信息，
来限制基于驾驶员的转向操作的转向装置8的转向。
86.驾驶员状态识别部33基于车内摄像头24的拍摄结果来识别驾驶员的头部的位置，并且识别驾驶员的面部及其特征部。例如，驾驶员状态识别部33从车内摄像头24拍摄到的驾驶员的面部的图像中提取驾驶员的左右眼和嘴的位置，并基于它们的位置关系来识别驾驶员的面部的朝向。
87.把持识别部34基于由车内传感器15检测出的驾驶员的状态信息来识别驾驶员对方向盘的把持或非把持。例如，把持识别部34基于由把持传感器25检测出的方向盘的信息来识别把持或非把持。或者，把持识别部34可以基于车内摄像头24的拍摄结果来识别把持或非把持，也可以将这些信息组合起来来识别把持或非把持。
88.通知控制部35控制通知装置16。更具体而言，通知控制部35基于外界识别部31的识别结果、行驶控制部32的行驶辅助控制的执行状态、驾驶员状态识别部33的识别结果等，来执行针对通知装置16的通知控制。例如，在由驾驶员状态识别部33识别出驾驶员的不能驾驶状态(以下，也称为异常常态)时，通知控制部35驱动显示器26和扬声器27，在视觉上和听觉上向乘客进行通知。
89.以下，为了便于说明，不区分控制装置17的各功能部而仅记载为“控制装置17”。
90.接下来，参照图2～图4，对由控制装置17进行的驾驶员的状态识别进行说明。
91.图2是示出车内摄像头24的图像的图。控制装置17在车内摄像头24拍摄到的驾驶席的图像中设定规定区域37作为驾驶员的头部在驾驶时应处在的区域。在本实施方式中，控制装置17将规定区域37设定成纵长的矩形。在其他实施方式中，也可以将规定区域37设定成矩形以外的形状。以与就座于驾驶席的驾驶员的头部的位置及大小相匹配地适当设定规定区域37的位置及大小为宜。另外，也可以与驾驶员的头部的形状相匹配地设定规定区域37的形状。
92.控制装置17对车内摄像头24的图像进行解析，并且逐次检测驾驶员的头部。具体而言，控制装置17从驾驶席的图像中提取示出驾驶员的面部的轮廓的边缘，将由通过提取出的边缘的左右的端部的铅垂线、通过边缘的上下的端部的水平线包围的矩形的区域检测为头部(面部)。规定区域37被设定为相对于头部在左右以及上下加上规定的余量后得到的大小，在驾驶员处于正常状态时，驾驶员的面部位于规定区域37的大致中央。控制装置17根据逐次检测出的驾驶员的头部的位置来取得驾驶员的头部的轨迹。
93.另外，控制装置17从驾驶员的面部中检测眼睛、鼻子、嘴等特征部。控制装置17基于驾驶员的面部的轮廓及特征部的位置来检测面部的朝向。面部的朝向作为相对于在驾驶时驾驶员的面部应朝向的前方的偏转方向及偏转程度(角度)而被计算出。控制装置17根据逐次检测出的驾驶员的面部的朝向来取得驾驶员的面部的朝向的变化。
94.图3是车内摄像头24的图像中的头部的位置变化的说明图。在处于图2的正常状态的驾驶员例如出现急病的情况下，如图3的(a1)所示，将头部向前方大幅倾斜的情况较多。在该情况下，如图3的(a2)所示，控制装置17检测到驾驶员的头部从规定区域37向下方移出了的情况。
95.另一方面，如图3的(b1)所示，例如在通过侧窗目视确认白线的情况下、在目视确认车辆1的后方的情况下等，驾驶员在驾驶时有时会将头部向左右移动。在该情况下，如图3的(b2)所示，控制装置17检测到驾驶员的头部在车宽方向上从规定区域37移出了的情况。
96.这样，在驾驶员的头部从规定区域37移出了的情况下，控制装置17识别是在车宽方向上移出了还是在上下方向上移出了。
97.图4是车内摄像头24的图像中的面部的朝向变化的说明图。处于图4的(a)的正常状态的驾驶员例如为了目视确认侧后视镜、斜后方的其他车辆，如图4的(b)所示，有时会将面部朝向车宽方向(左或右)。在该情况下，驾驶员的面部在车宽方向上以变薄的方式发生了变形，并且特征部在车宽方向上发生了变形或发生了移动，由此控制装置17检测到驾驶员的面部朝向了车宽方向。更详细而言，例如左右眼中的一方在车宽方向上移动且左右眼的距离变短，由此检测到面部的朝向在车宽方向上发生了变化。
98.另一方面，当驾驶员例如出现急病时，从图4的(a)的正常状态如图4的(c)所示那样将头部向前方大幅倾斜的情况较多。在该情况下，驾驶员的面部在上下方向上以变薄的方式发生了变形，并且特征部在上下方向上发生了变形或发生了移动，由此控制装置17检测到驾驶员的面部朝向了上下方向。更详细而言，例如左右眼向下方移动且左右眼与嘴的距离变短，由此检测到面部的朝向向下方发生了变化。
99.另外，控制装置17也可以根据不再检测出特征点来判定面部朝向。例如，在不再检测出右眼的情况下，控制装置17检测到驾驶员的面部朝向了右方。另外，在不再检测出嘴的情况下，控制装置17检测到驾驶员的面部朝向了下方。
100.这样，在驾驶员的面部的朝向发生了变化的情况下，控制装置17识别是在车宽方向上发生了偏转还是在上下方向上发生了偏转。
101.控制装置17基于从车内摄像头24的图像中以这样的方式取得的驾驶员的状态信息来执行以上例示的各种行驶辅助控制。
102.接下来，参照图5～图8，对控制装置17进行的车辆1的行驶辅助控制进行说明。在此，以控制装置17进行的行驶辅助控制中的误踩下抑制控制为例进行说明。
103.图5是由控制装置17进行的行驶辅助控制的流程图。当开始行驶辅助控制时，控制装置17从车内摄像头24的图像中检测驾驶员的头部的位置(步骤st1)。接下来，控制装置17从车内摄像头24的图像中检测驾驶员的面部的朝向(步骤st2)。
104.接着，控制装置17判定驾驶员的头部是否处于规定区域37内(步骤st3)。例如，在驾驶员的面部的整体处于规定区域37内的情况下，控制装置17判定为头部处于规定区域37内。另一方面，在驾驶员的面部的一部分从规定区域37移出或者在规定区域37内没有驾驶员的面部的情况下，控制装置17判定为头部不在规定区域37内。
105.在步骤st3的判定中，在驾驶员的头部处于规定区域37内的情况下(是)，控制装置17判定驾驶员的面部的偏转程度是否为规定阈值以下(步骤st4)。在步骤st4的判定中，在驾驶员的面部的偏转程度为规定阈值以下的情况下(是)，控制装置17识别为驾驶员处于能够驾驶的正常状态(步骤st5)，执行正常时控制(步骤st6)，并重复上述处理。关于正常时控制，在后面进行说明。
106.另一方面，在步骤st3的判定中，在驾驶员的头部不在规定区域37内的情况下(否)，控制装置17判定驾驶员的头部是否从规定区域37向左右移出(步骤st7)。在步骤st7的判定中，在驾驶员的头部从规定区域37向左右移出的情况下(是)，控制装置17使处理进行至步骤st9。在步骤st7的判定中，在驾驶员的头部从规定区域37向上下移出的情况下(否)，控制装置17使处理进行至步骤st11。
107.另外，在步骤st4的判定中，在驾驶员的面部的偏转程度比规定阈值大的情况下(否)，控制装置17进行步骤st8的判定。在步骤st8中，控制装置17判定驾驶员的面部是否向左右发生了偏转，即，判定是否由于驾驶员的面部或特征部在车宽方向上发生了变形或发生了移动而导致偏转程度超过了阈值。在步骤st8的判定中，在驾驶员的面部向左右发生了偏转的情况下(是)，控制装置17使处理进行至步骤st9。在步骤st8的判定中，在驾驶员的面部向上下发生了偏转的情况下(否)，控制装置17使处理进行至步骤st11。
108.在步骤st9中，控制装置17识别为处于第1异常状态，在第1异常状态下，驾驶员有可能处于不能驾驶状态而处于不能驾驶状态的可能性较低。在控制装置17在步骤st9中识别为驾驶员处于第1异常状态时，执行以第1限制程度对基于驾驶员的驾驶操作的驱动装置6的控制量施加限制的第1异常时控制(步骤st10)，并重复上述处理。关于第1异常时控制，在后面进行说明。
109.在步骤st11中，控制装置17识别为处于第2异常状态,在第2异常状态下，驾驶员有可能处于不能驾驶状态且处于不能驾驶状态的可能性较高。当在步骤st11中识别为驾驶员处于第2异常状态时，控制装置17执行以第2限制程度对基于驾驶员的驾驶操作的驱动装置6的控制量施加限制的第2异常时控制(步骤st12)，并重复上述处理。第2限制程度是比第1限制程度大的限制程度。关于第2异常时控制，在后面进行说明。
110.这样，控制装置17识别为是驾驶员的头部向左右移出或者驾驶员的面部向左右发生了偏转的第1异常状态、以及驾驶员的头部向上下移出或者驾驶员的面部向上下发生了偏转的第2异常状态。由此，控制装置17能够更高精度地检测驾驶员的不能驾驶状态。并且，在驾驶员处于不能驾驶状态的可能性高的第2异常状态时，控制装置17以比驾驶员处于不能驾驶状态的可能性低的第1异常状态时的第1限制程度大的第2限制程度来控制控制量。由此，例如像油门踏板的误踩下这样的驾驶员非有意的驾驶操作所引起的车辆1的行驶受到了抑制，车辆1的行驶适当地得到了辅助。
111.在正常驾驶时，驾驶员例如为了通过侧窗目视确认白线，有时会将头部向左右移动。另一方面，在头部在上下方向上从规定区域37移出的情况下，与头部在车宽方向上从规定区域37移出的情况相比，驾驶员处于不能驾驶状态的可能性高。在本实施方式中，在驾驶员的头部在车宽方向上从规定区域37移出的情况下(st7：是)，控制装置17在步骤st9中识别为是第1异常状态。另外，在驾驶员的头部在上下方向上从规定区域37移出的情况下(st7：否)，控制装置17在步骤st11中识别为是第2异常状态。即，在驾驶员的头部在上下方向上从规定区域37移出时，控制装置17以比第1限制程度大的第2限制程度来限制控制量。由此，根据驾驶员的状态而适当地辅助车辆1的行驶。
112.在正常驾驶时，驾驶员例如为了目视确认侧后视镜、斜后方的其他车辆，有时会将面部朝向车宽方向(左或右)。另一方面，在驾驶员的面部朝向了上下方向的情况下，与面部朝向了车宽方向的情况相比，驾驶员处于不能驾驶状态的可能性高。在本实施方式中，在由于驾驶员的面部及特征部中的至少一方在车宽方向上变形或者移动而导致偏转程度比阈值大的情况下(st8：是)，控制装置17在步骤st9中识别为是第1异常状态。另外，在由于驾驶员的面部及特征部中的至少一方在上下方向上移动而导致偏转程度比阈值大的情况下(st8：否)，控制装置17在步骤st11中识别为是第2异常状态(st11)。即，在驾驶员的面部朝向了上下方向时，控制装置17以比第1限制程度大的第2限制程度来限制控制量。由此，根据
驾驶员的状态而适当地辅助车辆1的行驶。
113.图6是图5中的正常时控制的流程图。在正常时控制中，控制装置17最初判定是否正在向乘客进行通知，即判定是否正在执行上述的通知控制(步骤st21)。在步骤st21的判定中，在正在进行通知的情况下(是)，控制装置17结束通知控制(步骤st22)，使处理进行至步骤st23。在步骤st21的判定中，在未进行通知的情况下(否)，控制装置17使处理直接进行至步骤st23。
114.在步骤st23中，控制装置17判定是否有驾驶员的油门操作(油门踏板的踩下操作)。在步骤st23的判定中，在没有油门操作的情况下(否)，控制装置17解除基于驾驶员的油门操作的对驱动装置6的控制量的限制。另一方面，在步骤st23的判定中，在有油门操作的情况下(是)，控制装置17判定该油门操作是否是在正常状态下开始的操作(步骤st25)。
115.在步骤st25的判定中，在油门操作是在正常状态下开始的操作的情况下(是)，控制装置17接着判定是否满足规定的限制解除条件(步骤st26)。规定的限制解除条件例如可以是操作了设置于驾驶席的限制解除操作件、反复输入了油门操作。在步骤st26的判定中，在满足规定的限制解除条件的情况下(是)，控制装置17使处理进行至步骤st24而解除限制。
116.在步骤st26的判定中不满足规定的限制解除条件的情况下(否)、以及在步骤st24之后，控制装置17判定限制是否被解除(步骤st27)。在步骤st27的判定中，在限制被解除的情况下(是)，控制装置17根据油门踩下量控制驱动装置6(步骤st28)，并重复上述处理。
117.另一方面，在步骤st25的判定中油门操作不是在正常状态下开始的操作的情况下(否)、以及在步骤st27的判定中限制未被解除的情况下(否)，控制装置17使处理进行至步骤st29。在步骤st29中，由于在步骤st10的第1异常时控制或步骤st12的第2异常时控制中施加的限制未被解除，因此控制装置17继续限制而控制驱动装置6(步骤st29)，并重复上述处理。
118.图7是图5中的第1异常时控制的流程图。在第1异常时控制中，控制装置17判定是否有驾驶员的油门操作(步骤st31)。在步骤st31的判定中，在有油门操作的情况下(是)，控制装置17判定该油门操作是否是从正常状态起持续进行着的操作(步骤st32)。
119.在步骤st31的判定中没有油门操作的情况下(否)、以及在步骤st32的判定中油门操作是从正常状态起持续进行着的操作的情况下(是)，控制装置17使处理进行至步骤st33。在步骤st33中，控制装置17根据油门踩下量控制驱动装置6(步骤st33)，并重复上述处理。
120.在步骤st32的判定中，在油门操作不是从正常状态起持续进行着的操作的情况下(否)，控制装置17执行通知控制(步骤st34)。接着，控制装置17判定是否识别出方向盘的把持(步骤st35)。在步骤st35的判定中，在识别出把持的情况下(是)，控制装置17以第1限制程度控制驱动装置6(步骤st36)。另一方面，在步骤st35的判定中，在未识别出把持的情况下(否)，控制装置17以比第1限制程度大的限制程度控制驱动装置6(步骤st37)。
121.第1限制程度例如可以是20％。即，在以第1限制程度进行限制的情况下，节气门开度在将最大值设为100％时被限制20％，其上限值为80％。或者，也可以在进行了超过上限值的操作时，通过控制装置17忽略超过上限值的操作来限制节气门开度。无论在哪种情况下，控制装置17均设定节气门开度的上限值，即便在油门踩下量超过上限值而达到了100％
时，也将节气门开度限制在80％来控制驱动装置6。
122.第2限制程度例如可以是90％。即，在以第2限制程度进行限制的情况下，节气门开度被限制90％，其上限值为10％。即，控制装置17设定节气门开度的上限值，例如即便在油门踩下量超过上限值而达到了100％时，也将节气门开度限制在10％来控制驱动装置6。或者，也可以将第2限制程度设定为100％。在这种情况下，忽略油门踩下量。换言之，驾驶员的驾驶操作被禁止。
123.这样，控制装置17设定驾驶员的驾驶操作量的上限值，在驾驶操作量超过了上限值的情况下不使用驾驶操作量，由此限制基于驾驶员的驾驶操作的控制量。并且，在第2异常状态时，控制装置17将驾驶操作量的上限值设定得比第1异常状态时小。由此，在驾驶员处于不能驾驶状态的可能性高的第2异常状态时，驾驶操作量的上限值被设定得比第1异常状态时小，基于驾驶员非有意的驾驶操作的车辆1的行驶适当地受到了抑制。
124.驾驶员的头部从规定区域37移出后的驾驶操作不是驾驶员有意的驾驶操作的可能性较高。在本实施方式中，在驾驶员的头部从规定区域37移出后开始了驾驶员的驾驶操作的情况下(st32：否)，控制装置17限制基于驾驶员的驾驶操作的控制量(st36、st37)。由此，基于驾驶员非有意的驾驶操作的车辆1的行驶适当地受到了抑制。
125.自驾驶员的头部从规定区域37移出之前起持续进行着的驾驶操作是驾驶员有意的驾驶操作的可能性较高。在本实施方式中，在自驾驶员的头部从规定区域37移出之前起持续进行着驾驶员的驾驶操作的情况下(st32：是)，控制装置17不限制基于驾驶员的驾驶操作的控制量(st33)。由此，驾驶员有意的驾驶操作被适当地反映在车辆1的行驶中。
126.图8是图5中的第2异常时控制的流程图。在第2异常时控制中，控制装置17判定是否有驾驶员的油门操作(步骤st41)。在步骤st41的判定中，在有油门操作的情况下(是)，控制装置17判定该油门操作是否是从正常状态起持续进行着的操作(步骤st42)。
127.在步骤st41的判定中没有油门操作的情况下(否)、以及在步骤st42的判定中油门操作是从正常状态起持续进行着的操作的情况下(是)，控制装置17使处理进行至步骤st43。在步骤st43中，控制装置17根据油门踩下量控制驱动装置6，或者以第2限制程度控制驱动装置6(步骤st43)，并重复上述处理。步骤st43中的前者的控制是如下控制：虽然在上下方向上移出，但认为从正常状态起持续进行着的油门操作是正常操作。步骤st43中的后者的控制是如下控制：由于在上下方向上移出，因此认为从正常状态起持续进行着的油门操作是异常操作。
128.在步骤st42的判定中，在油门操作不是从正常状态起持续进行着的操作的情况下(否)，控制装置17执行通知控制(步骤st44)。接着，控制装置17判定是否识别出方向盘的把持(步骤st45)。在步骤st45的判定中，在识别出把持的情况下(是)，控制装置17以第2限制程度控制驱动装置6(步骤st46)，并重复上述处理。另一方面，在步骤st45的判定中，在未识别出把持的情况下(否)，控制装置17以比第2限制程度大的限制程度来控制驱动装置6(步骤st47)，并重复上述处理。
129.这样，在驾驶员处于第2异常状态时进行的第2异常时控制中，控制装置17以比第1异常时控制大的限制程度来限制基于驾驶员的驾驶操作的控制(st46、st47)。由此，基于驾驶员非有意的驾驶操作的车辆1的行驶受到了抑制。
130.在此，驾驶员的头部从规定区域37移出后的驾驶操作不是驾驶员有意的驾驶操作
的可能性较高。因此，在第2异常时控制中，在驾驶员的头部从规定区域37移出后开始了驾驶员的驾驶操作的情况下(st42：否)，控制装置17以比第1异常时控制大的限制程度来限制基于驾驶员的驾驶操作的控制(st46、st47)。由此，基于驾驶员非有意的驾驶操作的车辆1的行驶适当地受到了抑制。
131.另外，控制装置17也可以在步骤st43、st46、st47中禁止基于驾驶员的驾驶操作的控制，从而代替以第2限制程度或者比第2限制程度大的限制程度来控制驱动装置6。由此，适当地防止了基于驾驶员非有意的驾驶操作的车辆1的行驶。
132.此外，若在驾驶员的头部移入时解除控制量的限制，则车辆1的行为会急剧地变化。如图6所示，在本实施方式中，在驾驶员的头部从规定区域37移出后，在驾驶员进行着驾驶操作的状态下移入了规定区域37的情况下，步骤st25中的判定为“否”。在该情况下，控制装置17继续限制基于从头部移入规定区域37之前起持续进行着的驾驶员的驾驶操作的控制量(st29)。由此，抑制了头部移入后的车辆1的急剧的行为变化。
133.驾驶员有时会在未进行驾驶操作时移动头部。在本实施方式中，如图7和图8所示，在驾驶员的头部从规定区域37移出之后开始了驾驶员的驾驶操作的情况下，步骤st32及步骤st42中的判定均为“否”。在该情况下，控制装置17执行针对通知装置16的通知控制(st34、st44)而向车辆1的乘客进行通知。由此，防止了在未进行驾驶操作时通知装置16进行不必要的通知，并且在驾驶员有可能处于不能驾驶状态时，由通知装置16向乘客进行通知。
134.如图6所示，在驾驶员的头部从规定区域37移出后又移入了规定区域37的情况下(st21：是)，控制装置17结束通知控制(st22)。由此，在驾驶员的头部移入了的情况下，视为驾驶员处在了能够驾驶状态，防止了通知装置16持续进行不必要的通知。
135.驾驶员未把持方向盘时的驾驶操作不是驾驶员有意的驾驶操作的可能性较高。在图6的第1异常时控制以及图7的第2异常时控制中，在识别出非把持的情况下(st35、st45：否)，控制装置17以与识别出把持的情况相比更大的限制程度来限制基于驾驶员的驾驶操作的控制量(st37、st47)。由此，基于驾驶员非有意的驾驶操作的车辆1的行驶适当地受到了抑制。
136.以上结束了具体的实施方式的说明，但本发明并不限定于上述实施方式、变形例，能够广泛地对本发明实施变形。例如，在上述实施方式中，作为由行驶辅助装置3辅助的行驶装置的例子，限制了驱动装置6的控制量，但也可以限制制动装置7、转向装置8的控制量。
137.另外，在图7的步骤st32的判定中，在油门操作是从正常状态起持续进行着的操作的情况下(是)，控制装置17也可以进行与步骤st35相同的判定处理，即也可以进行判定是否识别出方向盘的把持的处理。同样地，在图8的步骤st42的判定中，在油门操作是从正常状态起持续进行着的操作的情况下(是)，控制装置17也可以进行与步骤st45相同的判定处理，即也可以进行判定是否识别出方向盘的把持的处理。
138.另一方面，上述实施方式所示出的结构要素未必全部是必须的，只要不脱离本发明的主旨，就能够适当地取舍选择。

技术特征：
1.一种行驶辅助装置，该行驶辅助装置是车辆的行驶辅助装置，所述行驶辅助装置的特征在于，具备：状态信息取得部，其取得驾驶员的状态信息；行驶装置，其用于使所述车辆行驶；以及控制装置，其基于所述驾驶员的驾驶操作来控制所述行驶装置，并且基于所述驾驶员的所述状态信息来控制所述行驶装置以辅助所述驾驶操作，所述控制装置基于所述状态信息来检测所述驾驶员的头部的位置或所述驾驶员的面部的朝向，在所述头部的所述位置发生了移动的情况下或者在所述面部的所述朝向发生了变化的情况下，所述控制装置限制针对所述行驶装置的基于所述驾驶操作的控制量，在所述头部在车宽方向上发生了移动或者所述面部在所述车宽方向上发生了偏转的第1状态时，所述控制装置以第1限制程度来限制所述控制量，在所述头部在上下方向上发生了移动或者所述面部在所述上下方向上发生了偏转的第2状态时，所述控制装置以比所述第1限制程度大的第2限制程度来限制所述控制量。2.根据权利要求1所述的行驶辅助装置，其特征在于，所述控制装置基于所述状态信息来判定所述驾驶员的所述头部是否位于作为在驾驶时应处在的区域而预先设定的规定区域，在所述头部从所述规定区域移出了的情况下，所述控制装置限制所述控制量，所述第1状态包括所述驾驶员的所述头部在所述车宽方向上从所述规定区域移出了的状态，所述第2状态包括所述驾驶员的所述头部在所述上下方向上从所述规定区域移出了的状态。3.根据权利要求1或2所述的行驶辅助装置，其中，所述控制装置基于所述状态信息来检测所述驾驶员的面部并检测所述面部中的多个特征部，至少基于所述特征部的位置来计算所述面部的所述朝向相对于前方的偏转程度，在所述偏转程度超过了规定阈值的情况下，所述控制装置限制所述控制量，所述第1状态包括由于所述驾驶员的所述面部及所述特征部中的至少一方在所述车宽方向上发生了变形或者发生了移动而导致所述偏转程度比所述阈值大的状态，所述第2状态包括由于所述驾驶员的所述面部及所述特征部中的至少一方在所述上下方向上发生了移动而导致所述偏转程度比所述阈值大的状态。4.根据权利要求1或2所述的行驶辅助装置，其中，所述控制装置设定所述驾驶员的驾驶操作量的上限值，在所述驾驶操作量超过了所述上限值的情况下不使用所述驾驶操作量，由此限制基于所述驾驶员的所述驾驶操作的所述控制量，在所述第2状态时，所述控制装置将所述上限值设定得比所述第1状态时小。5.根据权利要求2所述的行驶辅助装置，其中，在所述驾驶员的所述头部从所述规定区域移出之后开始了所述驾驶员的所述驾驶操作的情况下，所述控制装置限制基于所述驾驶员的所述驾驶操作的所述控制量。6.根据权利要求5所述的行驶辅助装置，其中，在自所述驾驶员的所述头部从所述规定区域移出之前起持续进行着所述驾驶员的所述驾驶操作的情况下，所述控制装置不限制基于所述驾驶员的所述驾驶操作的所述控制
量。7.根据权利要求2所述的行驶辅助装置，其中，在所述驾驶员的所述头部从所述规定区域移出之后，在所述驾驶员进行着所述驾驶操作的状态下所述头部移入了所述规定区域的情况下，所述控制装置继续限制基于从所述头部移入所述规定区域之前起持续进行着的所述驾驶员的所述驾驶操作的所述控制量。8.根据权利要求2所述的行驶辅助装置，其中，所述行驶辅助装置还具备用于向所述车辆的乘客进行通知的通知装置，在所述驾驶员的所述头部从所述规定区域移出之后开始了所述驾驶员的所述驾驶操作的情况下，所述控制装置执行针对所述通知装置的通知控制来向所述车辆的所述乘客进行通知。9.根据权利要求8所述的行驶辅助装置，其中，在所述驾驶员的所述头部从所述规定区域移出后又移入了所述规定区域的情况下，所述控制装置结束所述通知控制。10.根据权利要求1或2所述的行驶辅助装置，其中，在所述第2状态时，所述控制装置禁止基于所述驾驶员的所述驾驶操作的控制。11.根据权利要求2所述的行驶辅助装置，其中，在所述第2状态时，在所述驾驶员的所述头部从所述规定区域移出之后开始了所述驾驶员的所述驾驶操作的情况下，所述控制装置禁止基于所述驾驶员的所述驾驶操作的控制。12.根据权利要求1或2所述的行驶辅助装置，其中，所述控制装置基于所述驾驶员的所述状态信息来识别所述驾驶员对方向盘的把持或非把持，在所述第1状态时或所述第2状态时识别出所述非把持的情况下，所述控制装置以与识别出所述把持的情况相比更大的限制程度来限制基于所述驾驶员的所述驾驶操作的所述控制量。

技术总结
本发明提供车辆的行驶辅助装置，能够更高精度地检测驾驶员的不能驾驶状态并适当地辅助车辆的行驶。行驶辅助装置(3)的控制装置(17)基于驾驶员的状态信息来检测驾驶员的头部的位置(ST1)，在头部的位置发生了移动的情况下(ST3：否)，限制基于针对行驶装置(6)的驾驶操作的控制量(ST10)。在头部在车宽方向上发生了移动的第1状态时(ST7：是、ST9)，控制装置(17)以第1限制程度限制控制量(ST10)，在头部在上下方向上发生了移动的第2状态时(ST7：否、ST11)，控制装置(17)以比第1限制程度大的第2限制程度限制控制量(ST12)。限制程度限制控制量(ST12)。限制程度限制控制量(ST12)。


技术研发人员：滨田和真
受保护的技术使用者：本田技研工业株式会社
技术研发日：2023.02.24
技术公布日：2023/9/13