电子设备、方法和计算机程序与流程

1.本公开总体上涉及汽车用户界面领域，并且具体地，涉及用于汽车用户界面的设备、方法和计算机程序。


背景技术：

2.用于车辆系统的汽车用户界面涉及车辆电子设备的控制、驾驶功能、舒适功能(例如，导航、通信、娱乐)和驾驶员辅助(例如，距离检查)。
3.近期的汽车集成了交互式屏幕(触摸屏)，逐渐取代了传统的驾驶舱。通常，由汽车系统的用户直接操作按钮或交互，并且汽车系统输出反馈作为预定义的行为。
4.下一代车载用户界面也依赖于手势识别技术。手势识别确定是否在不接触触摸屏的情况下执行可识别的手或手指手势。
5.尽管依赖于触摸屏技术和手势识别技术的汽车用户界面是已知的，但是通常期望提供更好的用于控制车辆功能的技术。


技术实现要素：

6.根据第一方面，本公开提供了一种电子设备，包括电路，该电路被配置为基于由成像系统捕获的图像的图像分析来执行手主人识别，以获得手主人状态。
7.根据第二方面，本公开提供了一种方法，包括基于由成像系统捕获的图像的图像分析来执行手主人识别，以获得手主人状态。
8.根据第三方面，本公开提供了一种包括指令的计算机程序，当该程序由计算机执行时，使计算机基于由成像系统捕获的图像的图像分析来执行手主人识别，以获得手主人状态。
9.在从属权利要求、下面的描述和附图中阐述了进一步的方面。
附图说明
10.参考附图通过示例的方式说明实施方式，其中：
11.图1示意性地示出了交互式汽车反馈系统的实施方式，交互式汽车反馈系统用于识别用户的手势并基于所识别的手势执行相应的动作；
12.图2示意性地示出了车载成像系统的实施方式，车载成像系统包括用于在车载场景中识别手主人的tof成像系统；
13.图3示意性地示出了用于基于用户执行的操作并基于用户来调整汽车系统的输出行为的过程的实施方式；
14.图4示意性地示出了基于手主人状态的汽车工作模式选择的过程的实施方式；
15.图5示意性地示出了车载场景中的itof成像系统的实施方式，其中，由itof成像系统捕获的图像用于手主人识别；
16.图6a更详细地示出了由用于汽车座椅占用检测的车载tof成像系统获得的深度图
像的示例，其中，深度图像显示乘客的座椅被占用；
17.图6b更详细地示出了由用于汽车座椅占用检测的车载tof成像系统获得的深度图像的示例，其中，深度图像显示驾驶员的座椅被占用；
18.图7示出了由捕获车载场景中的场景的tof成像系统生成的深度图像，其中，在深度图像中检测到活动手；
19.图8示意性地描述了手主人识别过程的实施方式；
20.图9a示意性地示出了对由车载tof成像系统捕获的图像执行的图像分析过程的实施方式；
21.图9b示出了下臂分析结果，其中，确定了臂的底部的位置；
22.图10示意性地示出了为获得臂角度而执行的臂角度确定过程的实施方式；
23.图11a更详细地示意性地示出了手主人状态确定的实施方式，其中，手主人状态指示检测到的手属于驾驶员；
24.图11b更详细地示意性地示出了手主人状态确定的实施方式，其中，手主人状态指示检测到的手属于前排座椅乘客；
25.图12a示意性地示出了基于尖端标准的指尖分析过程的实施方式，以获得尖端分数；
26.图12b示意性地示出了基于检测到的尖端位置和手掌位置获得的手指姿势检测结果的实施方式；
27.图13示意性地示出了臂分析过程的实施方式，以获得手参数；
28.图14a示意性地示出了基于手参数执行的臂投票过程的实施方式，以获得臂投票结果；
29.图14b示意性地示出了在图12a中执行的臂投票的实施方式；
30.图14c示意性地示出了在图12a中执行的臂投票的另一实施方式；
31.图15a更详细地示出了关于图14a描述的臂投票过程的实施方式，其中，臂投票结果归属于驾驶员；
32.图15b更详细地示出了关于图14a描述的臂投票过程的实施方式，其中，臂投票结果归属于乘客；
33.图16示意性地示出了分数确定过程的实施方式，其中，计算驾驶员的分数和乘客的分数；
34.图17示出了可视化用于确定所识别的活动手的手主人状态的方法的流程图，其中，比较计算的驾驶员的分数和乘客的分数；
35.图18示出了可视化用于在捕获的图像中为所识别的活动手生成手主人状态的方法的流程图；
36.图19示出了可视化用于手主人状态识别的方法的流程图，其中，计算手主人的历史统计数据并执行臂投票结果和右手驾驶(rhd)切换；
37.图20示出了可视化用于手主人状态识别的方法的实施方式的流程图；
38.图21示出了描绘车辆控制系统的示意性配置的示例的框图；
39.图22示意性地示出了为基于输入用户调整汽车系统行为而执行的手主人检测过程的实施方式；
40.图23更详细地示出了在捕获的图像中定义的分隔线的实施方式；以及
41.图24示意性地示出了手主人检测结果，其中，手主人状态被设置为驾驶员，同时手主人与车载信息娱乐系统交互。
具体实施方式
42.在参考图1至图24给出实施方式的详细描述之前，进行一些一般性说明。
43.汽车系统变得越来越智能。在下面描述的实施方式中，来自与娱乐系统或汽车驾驶系统交互的用户手的信息可以用于使驾驶舱内容适应给定用户。
44.实施方式公开了一种电子设备，该电子设备包括电路，该电路被配置为基于由成像系统捕获的图像的图像分析来执行手主人识别，以获得手主人状态。
45.在车载场景等中，可以在车辆的车厢中执行手主人识别。
46.电子设备的电路可以包括处理器，例如可以是cpu、存储器(ram、rom等)、存储器和/或存储装置、接口等。电路可以包括或可以连接到输入装置(鼠标、键盘、相机等)、输出装置(显示器(例如，液晶、(有机)发光二极管等))、(无线)接口等，这对于电子设备(计算机、智能手机等)通常是已知的。此外，电路可以包括或可以连接到用于感测静止图像或视频图像数据的传感器(图像传感器、相机传感器、视频传感器等)等。具体地，电子设备的电路可以包括tof成像系统(itof相机)。
47.在车载场景中，tof成像系统可以照射其视场和其中的物体，例如驾驶员的手、乘客的手、乘客的腿、驾驶员的腿、控制台、信息娱乐系统等。在手主人识别检测过程中，包括tof传感器的tof成像系统可以检测驾驶员和/或乘客与汽车的信息娱乐系统等的交互。此外，在这样的手主人识别检测过程中，可以单独地识别驾驶员和前排座椅乘客。
48.用户的手通常被检测为与例如车辆的车厢中的娱乐系统或汽车驾驶系统交互的活动手。
49.在车载场景中，电路可以检测乘员输入动作并获取乘员信息，该乘员信息可以包括手主人信息，基于该信息可以生成手主人状态。手主人状态可以是任何状态信息，例如，指示检测到的手属于驾驶员、属于(前排座椅)乘客、或者不知道该手属于谁等。汽车系统可以使用手主人状态来调整汽车驾驶舱的输出，或者允许或不允许某些功能。当驾驶员不被允许时，汽车系统可以使用手主人状态来允许例如乘客与包括信息娱乐系统的汽车系统交互，并且允许驾驶员调整乘客可能无法访问的汽车的配置等。
50.由成像系统捕获的图像可以是深度图像、置信度图像等。成像系统可以是包括至少一个相机的任何成像系统，其中，相机可以是深度相机系统、红-绿-蓝(rgb)相机、飞行时间(tof)相机、它们的组合等。车厢内监控深度相机系统可以固定在汽车的天花板上，并且它可以在车厢内定向，具有面向下的视场。优选地，视场被配置为足够宽以包括驾驶员、中央控制台区域和乘客。
51.手主人识别过程可以例如组合由软件计算的几个标准，如相机朝向标准、手掌位置标准、手掌轨迹标准、臂角度和臂位置标准、指尖分析标准等。还可以监控手部动作和手主人历史。在手主人识别中，可以执行分数计算和投票结果计算，其可以用于识别手主人并通过减少错误检测来生成手主人状态。可以在日光、弱光和夜间条件下执行手主人识别。
52.电路可以被配置为将驾驶员方向盘区定义为捕获的图像中的感兴趣区域(roi)，
并且基于所定义的驾驶员方向盘区执行手主人识别。驾驶员方向盘区可以是包括车辆的方向盘的至少一部分的区域。随着其映射到真实空间中的驾驶员方向盘区，驾驶员方向盘区对应于捕获的图像中的感兴趣区域(roi)。
53.电路可以被配置为检测捕获的图像中的活动手，捕获的图像捕获作为tof成像系统的成像系统的视场，并且基于检测到的活动手执行手主人识别。活动手可以是驾驶员的手或乘客的手。活动手可以是与包括信息娱乐系统的汽车系统交互的手。可以使用专用流水线对活动手进行分割和跟踪。可以通过定义捕获的图像中的边界框、捕获的图像中的roi、检测捕获的图像中活动手的二维(2d)/三维(3d)位置等来分割和跟踪活动手。
54.电路可以被配置为定义最小帧数，在最小帧数的帧中在驾驶员方向盘区中应当检测到活动手。最小帧数可以是预定义的数量。最小帧数可以是本领域技术人员适当选择的任何整数。在驾驶员方向盘区中可以至少部分地检测到活动手。
55.电路可以被配置为计数帧数，在帧数的帧中在驾驶员方向盘区中检测到活动手，并且通过将最小帧数与计数的帧数进行比较来执行手主人识别。在帧数的帧中在驾驶员方向盘区中检测到活动手的帧数可以是任何整数。在帧中在驾驶员方向盘区中检测到活动手的帧可以是连续的帧，也可以不是连续的帧。在驾驶员方向盘区中可以至少部分地检测到活动手。
56.电路可以被配置为，当最小帧数小于计数的帧数时，获得指示手主人是驾驶员的手主人状态。
57.电路可以被配置为基于捕获的图像执行图像分析，以获得尖端位置、手掌位置和指示下臂位置的臂位置。对捕获的图像执行的图像分析可以包括像素分割(2d或3d)，以提取例如指尖位置、手指方向(可以通过对3d点云应用主成分分析获得)、手掌位置(可以通过计算2d手掌的重心估计)、手掌朝向(可以通过对分割的手掌应用主成分分析获得)、臂朝向(可以从手指方向计算)、下部区域、下臂、手指姿势等。
58.电路可以被配置为基于手掌位置和下臂位置执行臂角度确定，以获得臂角度。臂角度可以包括关于臂朝向等的信息。
59.电路可以被配置为基于尖端位置执行指尖分析，以获得尖端分数。指尖分析可以包括通过定位检测到的指尖相对于手掌中心的位置来检测一个手指(1f)姿势或两个手指(2f)姿势。这可以给出关于手主人的信息。基于尖端和手掌位置，可以确定尖端-手掌方向。可以为乘客的手和驾驶员的手中的每一个预定义尖端-手掌方向的特定范围。尖端分数可以是指示检测到的尖端是驾驶员的指尖还是乘客的指尖的分数。
60.电路可以被配置为基于手掌位置、下臂位置和臂角度执行臂分析，以获得手掌分数、下臂分数和臂角度分数。手掌位置可以使用置信度图像或2d图像来确定。臂分析分数可以用于从乘客的臂中区分驾驶员的臂。下臂位置可以用于检测其进入视场的位置，例如，下臂位置。臂角度可以是在将捕获的图像分隔成两部分的分隔线和检测到的手之间定义的角度。
61.电路可以被配置为基于手掌位置、下臂位置和臂角度来执行臂投票，以获得臂投票结果。臂投票可以由布尔值表示。臂投票结果可以影响定义手主人状态的手主人分数。具体地，可以通过臂投票来避免假阳性手状态。
62.电路可以被配置为基于臂投票结果、尖端分数、手掌分数、下臂分数和臂角度分数
执行分数确定，以获得驾驶员的分数和乘客的分数。
63.电路可以被配置为，当驾驶员的分数高于乘客的分数时，获得指示手主人是驾驶员的手主人状态。
64.电路可以被配置为，当驾驶员的分数低于乘客的分数时，获得指示手主人是乘客的手主人状态。
65.电路可以被配置为，当驾驶员的分数和乘客的分数的绝对差值大于阈值时，获得指示手主人未知的手主人。阈值可以是本领域技术人员适当选择的任何值。
66.根据一个实施方式，电路可以被配置为，当捕获的图像是深度图像时，基于深度图像执行座椅占用检测，以获得座椅占用检测状态。可以用本领域技术人员已知的任何座椅占用方法来执行座椅占用检测。
67.根据一个实施方式，电路可以被配置为基于左手驾驶(lhd)配置或右手驾驶(rhd)配置来执行手主人识别。
68.实施方式还公开了一种方法，该方法包括基于由成像系统捕获的图像的图像分析来执行手主人识别，以获得手主人状态。
69.实施方式还公开了一种包括指令的计算机程序，当该程序由计算机执行时，使计算机基于由成像系统捕获的图像的图像分析来执行手主人识别，以获得手主人状态。
70.现在参考附图描述实施方式。
71.交互式汽车反馈系统
72.图1示意性地示出了交互式汽车反馈系统的实施方式，其用于识别用户的手势并基于所识别的手势执行相应的动作。
73.在车载场景中，手势识别100识别由车辆的驾驶员或乘客执行的手势。所执行的这一过程可以由交互式汽车反馈系统(例如汽车系统101)来执行。检测到的手势通常可以包括按压作为交互式屏幕的一部分的按钮，或者执行从驾驶员或乘客到汽车系统101的直接交互。基于识别的手势，汽车系统101执行输出动作102的过程。例如，汽车系统101执行预定义的输出动作，例如预定义的行为。在所识别的手势正在按压按钮的情况下，来自按压的按钮的信号可以用于确定输出动作，并且所识别的手势可以用于执行手主人状态确定。
74.例如，汽车系统101检测在汽车的信息娱乐系统上执行的操作，例如多媒体播放器操作、导航系统操作、汽车配置调整操作、警告闪光器激活操作等，和/或在汽车的控制台上执行的操作，例如手动制动操作等。
75.车载tof成像系统
76.图2示意性地示出了车载成像系统的实施方式，其包括用于在车载场景中识别手主人的tof成像系统。
77.tof成像系统200在车载场景中用光脉冲主动照射其视场201。tof成像系统200分析发射光的飞行时间以获得视场201的图像，例如深度图像和置信度图像。基于所获得的图像，处理器202执行手主人识别以获得手主人状态。基于由处理器202确定的手主人状态，车辆的信息娱乐系统203执行预定义的动作。处理器202可以实施为下面图21的微型计算机7610。
78.在图2的实施方式中，tof成像系统200可以是间接tof成像系统(itof)，其在其视场201内发射红外光的光脉冲。在tof成像系统200的视场201中包括的物体将发射的光反射
回tof成像系统200。tof成像系统200可以通过分析发射的红外光的飞行时间来捕获车辆内部视场201的置信度图像和深度图(例如，深度图像)。tof成像系统200的itof传感器的视场201中包括的物体可以是车辆的仪表板、车辆的控制台、驾驶员的手、乘客的手等。可替代地，tof成像系统200可以是直接tof成像系统(dtof成像系统)，或者包括rgb相机和tof传感器的成像系统，任何本领域技术人员已知的2d/rgb视觉系统等。
79.图3示意性地示出了用于基于用户执行的操作并基于用户(例如，手主人状态)来调整汽车系统的输出行为的过程的实施方式，其中，用户是车辆的驾驶员或乘客。
80.在204，检测由用户执行的操作。在205，如果操作是“手动制动”，则过程在206进行。如果操作不是“手动制动”，则过程在209进行。在206，如果手主人状态被设置为“驾驶员”，则在208，汽车系统允许执行操作。在206，如果手主人状态没有被设置为“驾驶员”，则在207，汽车系统不允许执行操作。在209，如果操作是“多媒体播放器”，则过程在213进行。如果操作不是“多媒体播放器”，则过程在210进行。在210，如果手主人状态被设置为“驾驶员”并且汽车停止，或者如果手主人状态被设置为“乘客”，则在212，汽车系统允许执行操作。如果手主人状态没有被设置为“驾驶员”并且汽车没有停止，或者如果手主人状态没有被设置为“乘客”，则在211，汽车系统不允许执行操作。在213，如果操作是“导航系统”，则过程在214进行。如果操作不是“导航系统”，则过程在217进行。在214，如果手主人状态被设置为“驾驶员”并且汽车停止，或者如果手主人状态被设置为“乘客”，则在216，汽车系统允许执行操作。如果手主人状态没有被设置为“驾驶员”并且汽车没有停止，或者如果手主人状态没有被设置为“乘客”，则在215，汽车系统不允许执行操作。在217，如果操作是“汽车配置调整”，则过程在218进行。如果操作不是“汽车配置调整”，则过程在221进行。在218，如果手主人状态被设置为“乘客”，则在220，汽车系统不允许执行操作。在218，如果手主人状态没有被设置为“乘客”，则在219，汽车系统允许执行操作。在205，如果操作是“警告闪光器”，则过程在222进行。在222，如果手主人状态被设置为“驾驶员”，则在224，汽车系统允许执行操作。在222，如果手主人状态没有被设置为“驾驶员”，则在223，汽车系统不允许执行操作。
81.在图2的实施方式中，车载成像系统获取关于与娱乐系统203交互的活动手(例如驾驶员的手或乘客的手)的信息。娱乐系统203可以允许乘客执行驾驶员不能执行的交互。此外，娱乐系统203可以例如允许驾驶员执行乘客不应该访问的交互，例如调整汽车的配置。
82.图4示意性地示出了基于手主人状态的汽车工作模式选择的过程的实施方式。基于活动手的这一信息，汽车系统可以包括三种工作模式，即，以驾驶员为中心的交互模式、以乘客为中心的交互模式和独立于手主人的动作的传统交互模式。
83.在225，检测手主人状态。在226，如果手主人状态被设置为“驾驶员”，则在227，工作模式被设置为以驾驶员为中心的交互模式。如果手主人状态没有被设置为“驾驶员”，则过程在228进行。在228，如果手主人状态被设置为“乘客”，则在229，工作模式被设置为以乘客为中心的交互模式。如果手主人状态没有被设置为“乘客”，则过程在230进行。在230，工作模式被设置为传统交互模式。
84.由处理器202执行的手主人识别和手主人状态确定是基于手参数和历史的计算来执行的，如下面的图8至图20中所描述的。手主人识别可以组合用于手分析、臂分析和基于规则的分析的单帧分析以及帧历史。
85.图5示意性地示出了车载场景中的tof成像系统的实施方式，其中，由tof成像系统捕获的图像用于手主人识别。
86.tof成像系统200(参见图2)，例如固定在车辆天花板上的，包括itof传感器，该itof传感器通过用光脉冲主动照射其在车辆内部的视场201来捕获车载场景。tof成像系统200通过分析发射的红外光的飞行时间来捕获车辆内部车厢的置信度图像和深度图(例如，深度图像)。例如，tof成像系统200在其视场201内捕获车辆的人机界面(hmi)301，其与上述车辆的信息娱乐系统(图2中的203)相关。此外，tof成像系统200在其视场201内捕获前排座椅乘客的手、前排座椅乘客的腿、驾驶员的手(例如活动手303)、驾驶员的腿、方向盘(例如车辆的方向盘302)等。
87.基于tof成像系统200的捕获的图像，确定检测到的活动手(例如，活动手303)的主人。为了使tof成像系统200检测活动手303的主人，例如通过在itof传感器的视场201中定义感兴趣区域(roi)(例如驾驶员方向盘区300)来分析itof传感器深度图像和/或itof传感器置信度图像。驾驶员方向盘区300对应于捕获的图像中的相同区域，即roi。
88.tof成像系统的itof传感器(参见图2和图5中的200)通过捕获其视场(参见图2和图5中的201)来获得深度图像(参见图6a和图6b)。深度图像是包含与场景中物体表面从视点(即从itof传感器)的真实距离相关的信息的图像或图像信道。可以通过返回信号的相位延迟来测量深度(真实距离)。因此，可以直接从相位图像确定深度图像，该相位图像是在itof传感器的像素中确定的所有相位延迟的集合。
89.占用检测
90.图6a更详细地示出了由用于汽车座椅占用检测的车载tof成像系统获得的深度图像的实施方式，其中，深度图像显示乘客的座椅被占用。这里，通过捕获车辆的车厢获得的深度图像描绘了车辆的控制台和位于控制台右侧的乘客的腿400。在图6a的实施方式中，仅检测到一个人，因此座椅乘员是乘客。
91.图6b更详细地示出了由用于汽车座椅占用检测的车载tof成像系统获得的深度图像的实施方式，其中，深度图像显示驾驶员的座椅被占用。这里，深度图像描绘了车辆的控制台和位于控制台左侧的驾驶员的腿401。在图6b的实施方式中，仅检测到一个人，因此座椅乘员是驾驶员。
92.分析由tof成像系统200获得的图6a和图6b中的深度图像，以检测驾驶员的汽车座椅占用和/或乘客的汽车座椅占用。例如，可以通过使用先前制作的参考图像移除深度图像中的背景来执行分析。从背景图像，其中，仅保留视场中的静态部分，计算每个驾驶员和乘客区域的斑点。斑点对应于深度范围内的物体的表面，并且是静态的。在关于阈值的斑点大小令人满意的情况下，确定驾驶员和/或乘客的存在。该分析检测汽车座椅上是否有任何乘员。
93.在车内只检测到一个人的情况下，最终决定是显而易见的，即，汽车座椅由驾驶员或乘客占据。在只有一个人(即，驾驶员或乘客)在车上的情况下，没有必要执行任何进一步的驾驶员/乘客检测。此外，可以防止手主人状态检测中的假阳性和假阴性，并且可以准备用于关于手主人状态的最终决定的过滤。
94.在图6a和图6b的实施方式中，基于深度图像执行汽车座椅占用检测。可替代地，可以使用嵌入在车辆的每个座椅内的座椅压力传感器等来执行汽车座椅占用检测。还可替代
地，汽车座椅占用检测是可选的，并且本领域技术人员可以不执行车辆的座椅的占用检测。
95.手检测
96.图7示出了由捕获车载场景中的场景的tof成像系统生成的深度图像，其中，在深度图像中检测到活动手。所捕获的场景包括车辆的驾驶员的右手501和驾驶员的右腿502。对深度图像执行物体/手识别方法以跟踪活动手，例如手501。在检测到手的情况下，通过物体/手检测过程确定并提供与深度图像中检测到的手501相关的活动边界框500。
97.图7仅示出了由车载tof成像系统捕获的深度图像的子部分。由手主人识别过程执行物体检测，例如手检测。
98.可以基于本领域技术人员已知的任何物体检测方法来执行物体检测。shuran song和jianxiong xiao在第13届欧洲计算机视觉会议(eccv2014)议程中发表的论文“深度图像中用于3d物体检测的滑动形状(sliding shapes for 3d object detection in depth images)”中描述了示例性的物体检测方法。
99.手主人识别
100.图8示意性地描述了手主人识别过程的实施方式。tof成像系统(参见图2和图5中的200)在其视场(参见图2和图5中的201)内照射车载场景并捕获图像，例如深度图像。在深度图像中定义感兴趣区域(roi)，例如tof成像系统的视场中的驾驶员方向盘区(参见图5中的300)。
101.在600，获得预定义的驾驶员方向盘区。预定义的驾驶员方向盘区对应于捕获的图像中的相同区域，即，预定义的roi。该预定义的roi可以例如预先(在制造、系统设置等时)设置为过程的预定义参数。在601，获得预定义的最小帧数m，在预定义的最小帧数m的帧中在驾驶员方向盘区中应当识别到活动手。最小帧数m被设置为使得如果所识别的活动手至少部分地在驾驶员方向盘区内，则所识别的活动手被认为是驾驶员的手。在602，计数帧数n，在帧数n的帧中至少部分地在驾驶员方向盘区中识别到活动手。n个帧可以是连续的帧，在那方面不限制本实施方式。在603，如果在602处获得的在帧数n的帧中至少部分地在驾驶员方向盘区中识别到活动手的帧数n高于在601处获得的在预定义的最小帧数m的帧中在驾驶员方向盘区中应当识别到活动手的预定义的最小帧数m，则该方法在604进行。在604，确定指示活动手的手主人是驾驶员的手主人状态。
102.图像分析
103.图9a示意性地示出了对车载tof成像系统捕获的图像执行的图像分析过程的实施方式。
104.由车载tof成像系统捕获的图像，例如捕获的图像700，经受图像分析701，以获得检测到的活动手的尖端位置702、手掌位置703和臂位置704。臂位置704包括关于下臂位置的信息(参见图7b)。图像分析701可以包括图像分割的过程，以在捕获的图像中检测手和臂。
105.可以例如由图像分析701通过计算在由tof成像系统生成的深度图像中检测到的二维(2d)手掌的重心来估计手掌位置703，在那方面不限制本实施方式。可替代地或附加地，可以使用由tof成像系统生成的置信度图像来确定手掌位置(参见图2和图5中的200)。也可以通过对通过图像分割和分析检测到的手掌应用主成分分析来获得手掌朝向。
106.例如，臂位置704可以与所识别的活动手组合在其进入视场的地方进行检测(参见
图2和图5中的201)。所识别的活动手进入视场的位置在这里表示为下臂位置(参见图7b)。
107.可以如关于图6a和图6b所描述的那样执行座椅乘员检测。可以如关于图7所描述的那样执行图像分割的过程。
108.本领域技术人员可以通过图像分析过程提取用于执行手主人识别的任何期望的信息。例如，用于获得指尖位置的图像分析701可以是本领域技术人员已知的任何图像分析方法。在专利文献wo 2019/134888 a1索尼公司(sony corp.)2019年7月11日(11.07.2019)中描述了示例性图像分析方法，其中，示例性手势识别算法用于提取在捕获的图像中检测到的特征点，例如指尖等。
109.在专利文献wo 2015/104257 a1索尼公司(sony corp.)2015年7月16日(16.07.2015)中描述了用于获得手参数(例如指尖位置、手掌位置、臂位置、手和手指姿势等)的另一示例性图像分析方法，其中，通过选择手掌中心、手尖、指尖等中的至少一个来确定检测到的用户的手中的兴趣点(poi)。
110.在图9a的实施方式中，在捕获的图像中执行的分割过程可以是在二维(2d)图像或三维(3d)图像上执行的像素分割，以提取用于生成手主人状态的信息，例如尖端位置702、手掌位置703和臂位置704。也可以通过图像分析获得其他信息，例如指尖位置和朝向、手掌位置和朝向、臂位置和朝向、手和手指姿势、手的边界框等，在那方面不限制本实施方式。
111.图9b示出了下臂分析结果，其中，确定了臂的底部的位置。识别活动手706，并且检测耦接到所识别的手706的臂的位置，其中活动手706进入tof传感器的视场。在图9b的实施方式中，通过计算视场的下臂区域705中的臂轮廓的质心(即，平均中心)来确定下臂位置。下臂区域705是最靠近车辆后部的捕获的图像的边缘。可以从手的轮廓计算平均中心，并且可以从手分割估计手的轮廓。可以在14个像素的高度和与捕获的图像的宽度相同的宽度上计算臂的轮廓，即，手的轮廓，在那方面不限制本实施方式。可替代地，臂的轮廓可以被认为在14个像素高度内，而不考虑宽度，在那方面不限制本实施方式。还可替代地，高度和宽度可以是由本领域技术人员选择的任何合适的高度和宽度。
112.图10示意性地示出了为获得臂角度而执行的臂角度确定过程的实施方式。
113.基于通过图像分析获取的手掌位置703和臂位置704(参见图9a中的701)，执行臂角度确定800，以获得检测到的臂的角度，例如臂角度801。
114.臂角度确定800包括当考虑竖直线(即，分隔线)时检测臂角度，作为0
°
角将捕获的图像分成两部分。通过考虑分隔线的斜率，即，臂角度(参见图11a和图11b中的901)，从分隔线(参见图11a和图11b中的900)确定臂角度。可以在捕获的2d图像中确定臂角度，例如置信度图像和/或rgb图像。在这种情况下，2d图像中的臂矢量直接定义了臂角度。也可以在捕获的3d深度图像中确定臂角度。在这种情况下，可以从tof成像系统生成的深度图像以3d(矢量)确定臂方向，即，臂朝向(参见图11a和图11b中的902)。然后，将臂的方向以2d投影到由tof成像系统生成的置信度图像上，并在该2d图像中确定臂角度。
115.在本实施方式中，基于手掌位置703和臂位置704获得臂角度801，在那方面不限制本实施方式。可替代地，可以从手指的方向并且相对于驾驶员/乘客区域之间的分隔线来计算臂角度。在这种情况下，可以通过对三维(3d)点云等应用主成分分析来计算手指的方向。还可替代地，可以根据指尖-手掌的方向和臂位置来计算臂角度，其中，可以基于指尖位置和手掌位置等来计算指尖-手掌的方向。
116.图11a更详细地示意性地示出了手主人状态确定的实施方式，其中，手主人状态指示检测到的手属于驾驶员，并且图11b更详细地示意性地示出了手主人状态确定的实施方式，其中，手主人状态指示检测到的手属于前排座椅乘客。例如，这样的手参数是通过图像分析701和臂角度确定800获取的指尖位置702、手掌位置703、臂位置704、臂角度801，如关于图9a和图10所分别描述的。
117.车载tof成像系统(参见图2和图5中的200)捕获其视场201内的场景，以获得捕获的图像。在其视场201内的场景包括hmi 301、方向盘302的一部分和活动手，这里是驾驶员的右手。在捕获的图像中，定义了与场景中的相同区域相对应的驾驶员方向盘区300。通过图像分析(图9a中的701)获取检测到的活动手的指尖位置702、手掌位置703和下臂位置704。基于检测到的活动手的指尖位置702、手掌位置703和下臂位置704，通过臂角度确定过程800(参见图10)获取臂角度801。臂角度801包括臂角度901和臂朝向902。臂朝向902是基于下臂位置704和手掌位置703确定的检测到的活动手的朝向(参见图5中的303)。这里，由虚线表示臂朝向902。臂角度901是在臂朝向902和分隔线900之间形成的角度，分隔线将捕获的图像划分成两部分，从而将捕获的场景划分成两部分。这里，由双箭头表示臂角度901。下臂位置704是下臂在预定义区域内的位置，例如下臂区域903，其是预定义阈值。下臂区域903被定义为捕获的图像的顶部边缘区域，其对应于最靠近捕获场景的后部并且因此最靠近车辆的后部的边缘区域。预定义阈值可以是16个像素的阈值或图像高度的5％等，在那方面不限制本实施方式。
118.在图11a的实施方式中，臂角度901相对于分隔线900是正的，因此臂朝向902在图11a中从左指向右，从tof传感器的视角来看，臂朝向是从tof成像系统(参见图2和图5中的200)捕获的场景的左部分到右部分。因此，手主人状态被识别为驾驶员。
119.因此，在图11b的实施方式中，臂角度901相对于分隔线900是负的，因此臂朝向902在图11a中从右指向左，从tof传感器的视角来看，臂朝向902是从tof成像系统(参见图2和图5中的200)捕获的场景的右部分到左部分。因此，手主人状态被识别为乘客。
120.在图11a和图11b的实施方式中，分隔线900是竖直线，在那方面不限制本实施方式。可替代地，分隔线可以是斜线分隔线，例如关于图24描述的分隔线2200。分隔线900可以是0
°
的角度。臂角度901可以是30
°
的角度(场景的左部分)，臂角度901可以是(-)30
°
的角度(场景的右部分)等，在那方面不限制本实施方式。
121.指尖分析
122.图12a示意性地示出了基于尖端标准的指尖分析过程的实施方式，以获得尖端分数。基于尖端位置702，执行指尖分析1000，以获得尖端的分数1001，例如tipi，其中，i是手主人状态，例如，对于驾驶员i＝d，对于乘客i＝p。尖端分数tipi是从指尖分析1000(尖端标准)计算的分数，并且用于状态分数计算，如下面关于图16更详细描述的。
123.基于尖端位置702和手掌位置703确定尖端-手掌方向，这两者都是在关于图9a描述的图像分析过程中获取的。通过对3d点云等应用主成分分析来获得指尖-手掌方向，其是手指方向。
124.图12b示意性地示出了基于检测到的尖端位置702和手掌位置703获得的手指姿势检测结果的实施方式。手指姿势检测结果是一个手指(1f)或两个手指(2f)姿势检测的结果。检测器从手掌中心(即，手掌位置703)定位检测到的尖端的位置，即，尖端位置702。这导
致关于主人的第一信息。
125.手指姿势还在帧重叠期间被分析，例如，默认情况下为20，并且如果没有再次检测到其他1f/2f，则重置。基于尖端和手掌位置，确定尖端-手掌方向，其中，对于乘客和驾驶员手中的每一个存在尖端-手掌方向的特定范围。如上面图9a的实施方式中所描述的，通过计算2d手掌的重心来估计手掌位置703，并且可以通过对分割的手掌应用主成分分析来获得手掌朝向。
126.臂分析
127.图13示意性地示出了臂分析过程的实施方式，以获得手参数。
128.基于检测到的活动手的手掌位置703、(下)臂位置704和臂角度801，执行检测到的活动手的臂分析1100，以获得手参数。手参数包括手掌的分数1101，例如palmi，臂底部的分数1102，例如bottomi，以及角度的分数1103，例如anglei，其中，i是手主人状态，例如，对于驾驶员i＝d，对于乘客i＝p。臂分析1100包括手掌位置标准、下臂标准和臂角度标准，使得基于手掌位置标准计算palmi，基于下臂标准计算bottomi，并且基于臂角度标准计算anglei。
129.手掌位置标准是旨在从乘客的一个臂中区分驾驶员的臂的标准。这是通过确定手掌(即palmi)的分数1101来执行的。
130.下臂标准是旨在从乘客的下臂中区分驾驶员的下臂的标准。这是通过确定下臂(即bottomi)的分数1102来执行的。
131.臂角度标准是旨在从乘客的臂角度中区分驾驶员的臂角度的标准。这是通过确定臂角度(即anglei)的分数1103来执行的。例如，当考虑将捕获的图像分成两部分的分隔线作为0
°
角时，确定臂角度。角度的sin有助于最终分数，最终分数是确定手主人的分数，因此有助于所识别的活动手的手主人状态。例如，在左手驾驶(lhd)的情况下，当检测到正臂角度时，主人位于捕获的图像的右部分，这给了乘客更多的权重，即angle
p
。在lhd情况下，当检测到负臂角度时，主人位于捕获的图像的左部分，这给了驾驶员更多的权重，即，angled。
132.臂投票结果
133.图14a示意性地示出了基于手参数执行的臂投票过程的实施方式，以获得臂投票结果。
134.基于检测到的活动手的手掌位置703、(下)臂位置704和臂角度801，执行臂投票1200，以获得臂投票结果1201。臂投票结果1201是真值或假值，即布尔值。实施臂投票1200以通过分析臂标准，即，手掌位置标准、下臂标准和臂角度标准来避免假阳性手状态，如以上图13所描述的。臂投票1200的输出是布尔值，其影响如下图16所描述的获得的计算状态分数，并因此影响如下图17至图19所描述的手主人状态的确定。
135.图14b示意性地示出了如上图14a中执行的臂投票的实施方式。在1202，将获得的下臂位置(参见图14a中的704)与阈值进行比较。如果下臂位置小于阈值，则在1202，该值被设置为真，因此，投票结果1203归属于驾驶员。如果下臂位置大于阈值，则在1202，该值被设置为假，因此，投票结果1204归属于乘客。
136.图14c示意性地示出了如上图14a中执行的臂投票的另一实施方式。在1205，基于获得的臂角度位置(参见图10中的801)和获得的手掌位置(参见图9a中的703)，将臂投票结果归属于驾驶员1206、乘客1207或未知1208。
137.臂投票1200被实施为通过分析臂标准来避免假阳性的手主人状态。臂投票1200需要分隔线(参见图11a和图11b中的900)，其是在捕获的图像上定义的并将捕获的图像分隔成两部分。
138.图15a和图15b的实施方式更详细地示出了在关于图14a描述的臂投票过程中，基于在检测到的手的臂和分隔线900之间形成的角度，投票结果如何归属。分隔线900将捕获的图像分隔为左部分和右部分。在lhd配置中，位于捕获的图像的左部分的区域是驾驶员区域，并且位于捕获的图像的右部分的区域是乘客区域。在分隔线900和黑色粗线1300之间形成的角度是臂投票结果归属于未知的界值角度。界值角度可以是5
°
的角度，在那方面不限制本实施方式。界值角度可以是0度(0
°
)，或者界值角度可以是由本领域技术人员选择的任何合适的角度。
139.在图15a的实施方式中，手掌位置位于捕获的图像的左部分，因此，投票结果归属于驾驶员。臂角度901是正的，即，臂角度》0
°
，因此，投票结果归属于乘客。下臂区域903位于捕获的图像的右部分，因此，投票结果归属于乘客。分隔线900可以是0
°
的角度。臂角度901可以是30
°
的角度，在那方面不限制本实施方式。
140.在图15b的实施方式中，手掌位置位于捕获的图像的右部分，因此，投票结果归属于乘客。臂角度901是负的，臂角度《0
°
，因此，投票结果归属于驾驶员。下臂区域903位于捕获的图像的左部分，因此，投票结果归属于驾驶员。臂角度901可以是(-)30
°
(场景的右部分)的角度等，在那方面不限制本实施方式。
141.在lhd配置中，例如，如果在捕获的图像的左部分检测到手掌位置并且还检测到正角度，则通过对角度进行投票，例如，arm_right.has_angle_vote＝true，认为该臂是乘客的臂。否则，通过对位置进行投票，例如，arm_left.has_palm_position_vote＝true，认为臂位置来自驾驶员。然后，使用下臂标准，如果在图像的左部分检测到臂位置，其是臂进入捕获的图像的位置，则认为其属于驾驶员。因此，投票结果归属于位置，例如，arm_left.has_palm_position_vote＝true。
142.状态分数计算/分数确定
143.图16示意性地示出了分数确定过程的实施方式，其中，基于先前计算的标准的结果来计算两个状态分数，即驾驶员的分数和乘客的分数。
144.基于臂投票结果1201、手参数palmi、bottomi和anglei以及尖端参数tipi，计算两个状态分数1401和1402，即驾驶员的分数scored和乘客的分数score
p
。状态分数scorei是被计算并用于识别手主人的状态的分数。
145.在图16的实施方式中，状态分数scorei是
[0146][0147]
其中，是计算出的历史平均主要主人，li是历史最后状态，tipi是从手尖标准计算出的分数，palmi是从手掌位置标准计算出的分数，bottomi是从下臂标准计算出的分数，anglei是从臂角度标准计算出的分数，wh是历史权重，w
t
是尖端权重，w
palm
是手掌位置权重，而w
angle
是手掌角度权重。
[0148]
从上面的公式中可以看出，对每个分量应用权重，并且对所有权重进行归一化。
[0149]
历史平均主要主人是在考虑全局历史主人值的情况下计算的。全局历史主人是历史中(以前的)有效帧期间检测到的驾驶员/乘客数量的平均值。
[0150]
全局历史主人值占历史主人分数的50％。
[0151]
历史最后状态li将最后状态添加到最终分数中，例如，如果最后状态设置为未知主人，则li＝0。
[0152]
为了计算历史权重wh，这里使用主人历史分两部分计算第一分数。然后，最后一个主人占历史主人分数的50％。
[0153]
从臂投票过程计算权重手掌位置w
palm
和权重手掌角度w
angle
，如以上关于图14a至图15b所描述的。
[0154]
图17示出了可视化用于确定所识别的活动手的手主人状态的方法的流程图，其中，比较计算的驾驶员的分数和乘客的分数。
[0155]
在1500，使用比较运算符确定驾驶员的分数scored(参见图16)和乘客的分数score
p
(参见图16)是否相等。在1500，如果scored等于score
p
，该方法在1501进行，其中，在1501，手主人状态被设置为未知。在1500，如果scored不等于score
p
，该方法在1502进行。在1502，如果差|score
d-score
p
|高于阈值ε，其中，例如ε＝0.1，则该方法在1504进行。在1502，如果差|score
d-score
p
|低于阈值ε，其中，例如ε＝0.1，则该方法在1503进行。在1503，手主人状态被设置为最后已知。在1504，如果识别出的活动手穿过驾驶员的区域，例如驾驶员方向盘区(参见图5、图11a和图11b中的300)，则该方法在1505进行。在1504，如果识别出的活动手没有穿过驾驶员的区域，例如驾驶员方向盘区(参见图5、图11a和图11b中的300)，则该方法在1506进行。在1506，如果驾驶员的分数scored高于乘客的分数score
p
，则该方法在1505进行。在1506，如果驾驶员的分数scored低于乘客的分数score
p
，则该方法在1507进行。在1505，手主人状态被设置为驾驶员。在1507，手主人状态被设置为乘客。在1506之后，在分数之间的差太低的情况下，该过程返回至1502，并且重复执行该过程。
[0156]
手主人状态的生成
[0157]
图18示出了可视化用于在捕获的图像中为所识别的活动手生成手主人状态的方法的流程图，如上面关于图5至图17所描述的。
[0158]
在1600，获得捕获的图像中的驾驶员方向盘区(参见图5、图11a和图11b中的300)。在1601，如果在至少m帧(参见图8)中在驾驶员方向盘区中检测到活动手，则该方法在1602进行。在1602，识别手主人，并且手主人状态被设置为驾驶员。在1601，如果在至少m帧(参见图8)中没有在驾驶员方向盘区中检测到活动手，则该方法在1603进行。在1603，分别基于尖端标准、手掌标准和臂标准来分析尖端位置(参见图9a和图12a中的702)、手掌位置(参见图9a和图14a中的703)和臂位置(参见图9a和图14a中的704)，以获得用于计算驾驶员的分数scored和乘客的分数score
p
的分数tipi、palmi、bottomi和anglei。在1604，计算驾驶员的分数scored和乘客的分数score
p
(参见图16)。在1605，如果差|score
d-score
p
|高于阈值ε，其中，例如ε＝0.1，则该方法在1607进行。在1605，如果差|score
d-score
p
|低于阈值ε，其中，例如ε＝0.1，则该方法在1606进行。在1606，识别手主人，并且手主人状态被设置为未知。在1607，如果驾驶员的分数scored高于乘客的分数score
p
，则该方法在1608进行。在1607，如果驾驶员的分数scored低于乘客的分数score
p
，则该方法在1609进行。在1608，识别手主人，并
且手主人状态被设置为驾驶员。在1609，识别手主人，并且手主人状态被设置为乘客。
[0159]
图19示出了可视化用于手主人状态识别的方法的流程图，其中，计算手主人的历史统计数据并执行臂投票和右手驾驶(rhd)切换。
[0160]
在1700，获得2d图像和/或置信度图像。在1701，如果在连续模式中指示“手在方向盘上”的值高于阈值，则该方法在1708进行。如果在连续模式中指示“手在方向盘上”的值低于阈值，例如20个帧，则该方法在1703进行。在1702，“手在方向盘上”变量的值增加1，该值增量在上面的图18中的1601处使用。在1703，使用专用主人检测流水线，其中，专用主人检测流水线包括步骤1704至1707。在1704，基于尖端标准(参见图12a)、臂标准(参见图14a、图14b、图14c)和臂投票结果(参见图12a)计算尖端和手参数，以获得用于计算驾驶员的分数scored和乘客的分数score
p
的分数tipi、palmi、bottomi和anglei。在1705，计算驾驶员的分数scored和乘客的分数score
p
(参见图16)。在1708，如果在方向盘上识别出手，则该方法在1712进行。在1708，如果在方向盘上没有识别出手，则该方法在1709进行。在1709，计算在1706使用的历史统计数据，并且该方法在1706进行。在1706，基于比较的分数scored、score
p
执行判断过程(参见图17)，以获得手主人状态，例如驾驶员、例如乘客或例如未知。在1707，如果需要，取决于驾驶配置，例如lhd或rhd，可以反转判断过程的结果。也就是说，手主人状态驾驶员变成乘客，乘客变成驾驶员。无论是否lhd/rhd切换，判断过程的结果都是手主人状态，即驾驶员、乘客或未知。在图17的实施方式中，在1707处的rhd切换是可选的。当检测到活动手触摸方向盘达多个帧，例如20个帧时，激活连续模式。在1709处计算的历史统计数据是用于计算上面关于图16描述的驾驶员和乘客的分数的分数li。
[0161]
图20示出了可视化用于手主人状态识别的方法的实施方式的流程图。在1800，由tof成像系统的tof传感器(参见图2和图5中的200)获取图像，该tof传感器捕获tof成像系统的视场(参见图2和图5中的201)内的场景，例如，在车载场景中。在1801，执行图像中活动手的识别。在1802，基于在1801处捕获的图像中检测和识别的活动手，生成所识别的手的手主人状态。如上图17、图18和图19所描述的，手主人状态可以是例如驾驶员、例如乘客、例如未知或例如最后已知。
[0162]
实施
[0163]
图21示出了描绘作为可以应用根据本公开的实施方式的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图21所描绘的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500以及集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，例如控制器局域网(can)、本地互连网络(lin)、局域网(lan)或flexray(注册商标)等。
[0164]
每个控制单元包括：根据各种程序执行算术处理的微型计算机；存储部分，其存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动各种控制目标设备的驱动电路。每个控制单元进一步包括：网络接口(i/f)，用于经由通信网络7010与其他控制单元执行通信；以及通信i/f，用于通过有线通信或无线电通信与车辆内外的设备、传感器等通信。图21中所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信i/f 7620、专用通信i/f 7630、定位部分7640、信标接收部分7650、车载设备i/f 7660、声音/图像输出部
分7670、车载网络i/f 7680和存储部分7690。类似地，其他控制单元包括微型计算机、通信i/f、存储部分等。
[0165]
驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统相关的设备的操作。驱动系统控制单元7100可以具有作为防抱死制动系统(abs)或电子稳定控制(esc)等的控制设备的功能。
[0166]
驱动系统控制单元7100与车辆状态检测部分7110连接。驱动系统控制单元7100使用从车辆状态检测部分7110输入的信号执行算术处理，并且控制内燃机、驱动马达、电动转向设备、制动设备等。
[0167]
车身系统控制单元7200根据各种程序控制设置在车身上的各种设备的操作。例如，车身系统控制单元7200用作用于无钥匙进入系统，智能钥匙系统，电动车窗设备或诸如前照灯，倒车灯，制动灯，转向灯，雾灯等的各种灯的控制设备。
[0168]
电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。
[0169]
车外信息检测单元7400检测关于包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部分7410和车外信息检测部分7420中的至少一个连接。成像部分7410包括飞行时间(tof)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。例如，车外信息检测部分7420包括用于检测当前大气条件或天气条件的环境传感器和用于检测包括车辆控制系统7000的车辆周围的另一车辆、障碍物、行人等的周边信息检测传感器中的至少一个。
[0170]
车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500可以收集与车辆相关的情况相关的任何信息。车内信息检测单元7500例如与检测驾驶员和/或乘客的状态的驾驶员和/或乘客状态检测部分7510连接。驾驶员状态检测部分7510可以包括对驾驶员进行成像的相机、检测驾驶员生物信息的生物传感器、收集车辆内部声音的麦克风等。例如，生物传感器布置在座椅表面、方向盘等中，并检测坐在座椅中的乘员或握着方向盘的驾驶员的生物信息。
[0171]
集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部分7800连接。输入部分7800由能够由乘客输入操作的设备实现，例如，触摸面板、按钮、麦克风、开关、杆等。可以向集成控制单元7600提供通过对使用麦克风输入的语音进行语音识别而获得的数据。例如，输入部分7800可以是使用红外线或其它无线电波的遥控设备，或者外部连接的设备，例如支持车辆控制系统7000的操作的移动电话或个人数字助理(pda)等。例如，输入部分7800可以是相机。在这种情况下，乘客可以通过手势输入信息。可替代地，可以输入通过检测乘客佩戴的可穿戴设备的移动而获得的数据。此外，例如，输入部分7800可以包括输入控制电路等，该输入控制电路基于由乘客等使用上述输入部分7800输入的信息生成输入信号，并且将生成的输入信号输出到集成控制单元7600。乘客等通过操作输入部分7800向车辆控制系统7000输入各种数据或给出用于处理操作的指令。
[0172]
存储部分7690可以包括存储由微型计算机执行的各种程序的只读存储器(rom)和存储各种参数、操作结果、传感器值等的随机存取存储器(ram)。此外，存储部分7690可以由磁存储设备实现，例如硬盘驱动器(hdd)等、半导体存储设备、光存储设备、磁光存储设备等。
[0173]
通用通信i/f 7620是一种通用通信i/f，其协调与外部环境7750中存在的各种装置的通信。通用通信i/f 7620可以实现蜂窝通信协议，例如全球移动通信系统(gsm(注册商标))、全球微波接入互操作性(wimax(注册商标，或者另一无线通信协议，例如无线lan(也称为无线保真(wi-fi(注册商标))、蓝牙(注册商标)等。例如，通用通信i/f 7620可以通过基站或接入点连接到外部网络(例如，互联网、云网络或公司专用网络)上的装置(例如，应用服务器或控制服务器)。此外，例如，通用通信i/f 7620可以通过使用对等(p2p)技术连接到存在于车辆附近的终端(例如，该终端是驾驶员、行人或商店的终端或机器类型通信(mtc)终端)。
[0174]
专用通信i/f 7630是一种支持开发用于车辆中的通信协议的通信i/f。例如，专用通信i/f 7630可以实现标准协议，例如车辆环境中的无线接入(wave)，其是电气和电子工程师协会(ieee)802.11p作为较低层和ieee 1609作为较高层的组合、专用短程通信(dsrc)或蜂窝通信协议。专用通信i/f 7630通常将v2x通信作为包括车辆和车辆之间的通信(车辆到车辆)、道路和车辆之间的通信(车辆到基础设施)、车辆和住宅之间的通信(车辆到住宅)以及行人和车辆之间的通信(车辆到行人)中的一个或多个的概念来执行。
[0175]
例如，定位部分7640通过接收来自gnss卫星的全球导航卫星系统(gnss)信号(例如，来自全球定位系统(gps)卫星的gps信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部分7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(phs)或具有定位功能的智能电话的终端获得位置信息。
[0176]
例如，信标接收部分7650接收从在道路等上安装的无线电台发送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部分7650的功能可以包括在上述专用通信i/f 7630中。
[0177]
车载设备i/f 7660是协调微型计算机7610和存在于车辆内部的各种车载设备7760之间的连接的通信接口。车载设备i/f 7660可以使用无线通信协议建立无线连接，例如无线lan、蓝牙(注册商标)、近场通信(nfc)或无线通用串行总线(wusb)。此外，车载设备i/f 7660可以经由连接终端(图中未示出)(以及必要时的电缆)通过通用串行总线(usb)、高清多媒体接口(hdmi(注册商标))、移动高清晰度链路(mhl)等建立有线连接。例如，车载设备7760可以包括由乘员拥有的移动设备和可穿戴设备、以及被携带到车辆中或附接到车辆的信息设备中的至少一个。车载设备7760还可以包括搜索到任意目的地的路径的导航设备。车载设备i/f 7660与这些车载设备7760交换控制信号或数据信号。
[0178]
车载网络i/f 7680是调解微型计算机7610和通信网络7010之间的通信的接口。车载网络i/f 7680根据通信网络7010支持的规定协议发送和接收信号等。
[0179]
集成控制单元7600的微型计算机7610根据基于经由通用通信i/f7620、专用通信i/f 7630、定位部分7640、信标接收部分7650、车载设备i/f 7660和车载网络i/f 7680中的至少一个获得的信息的各种程序来控制车辆控制系统7000。微型计算机7610可以是图2的处理器202，并且微型计算机7610还可以实施图9a、图9b、图11a、图12a、图13和图16中更详细地描述的功能。例如，基于获得的关于车辆的内部和外部的信息，微型计算机7610可以计算驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可以执行旨在实现高级驾驶员辅助系统(adas)功能的
协作控制，该功能包括为车辆避免碰撞或减轻冲击，基于跟随距离的驾驶，保持车速的驾驶，车辆碰撞的警告，车辆偏离车道的警告等。此外，微型计算机7610可以基于获得的关于车辆周围的信息，通过控制驱动力生成设备，转向机构，制动设备等来执行旨在用于自动驾驶的协同控制，该协同控制使车辆不依赖于驾驶员的操作而自主地行驶。
[0180]
微型计算机7610可以基于经由通用通信i/f 7620、专用通信i/f 7630、定位部分7640、信标接收部分7650、车载设备i/f 7660或车载网络i/f 7680中的至少一个获得的信息来生成车辆与物体(例如周围建筑物或人等)之间的三维距离信息，并且生成包括关于车辆当前位置的周围信息的本地地图信息。此外，基于所获得的信息，微型计算机7610可以预测危险，例如车辆的碰撞、行人的接近等、或者进入封闭道路等，并生成警告信号。例如，警告信号可以是用于产生警告声音或打开警告灯的信号。
[0181]
声音/图像输出部分7670将声音和图像中的至少一个的输出信号(例如，修改的音频信号)发送到能够以视觉或听觉方式将信息通知给车辆的乘员或车辆的外部的输出设备。在图21的示例中，音频扬声器7710，显示部分7720和仪表板7730被示出为输出设备。例如，显示部分7720可以包括车载显示器和平视显示器中的至少一个。显示部分7720可以具有增强现实(ar)显示功能。输出设备可以是这些设备之外的其他设备，并且可以是另一设备，例如耳机、可穿戴设备，例如由乘客佩戴的眼镜型显示器等、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格、图表等的各种格式可视地显示由微型计算机7610执行的各种类型的处理获得的结果或从其它控制单元接收的信息。此外，在输出设备是音频输出设备的情况下。
[0182]
顺便提及，在图21所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。可替代地，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括图中未示出的另一控制单元。此外，由上述描述中的一个控制单元执行的部分或全部功能可以被分配给另一个控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。类似地，连接到控制单元之一的传感器或设备可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。
[0183]
顺便提及，用于实现参考图2和图5描述的根据本实施方式的电子设备的功能的计算机程序可以在控制单元等中的一个中实施。此外，还可以提供存储这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，例如，可以在不使用记录介质的情况下经由网络分发上述计算机程序。
[0184]
应当注意，上面的描述仅仅是示例配置。可以用附加的或其他的传感器、存储设备、接口等来实施替代配置。
[0185]
图22示意性地示出了为基于输入用户调整汽车系统行为而执行的手主人检测过程的实施方式。
[0186]
车辆(如汽车2100)包括汽车系统设置2101、汽车安全系统2102和汽车系统显示器2103。用户2104(其是汽车2100的驾驶员和/或乘客)能够看到在汽车系统显示器2103上显示的内容。汽车系统显示器2103由用户的手(例如，活动手)操作，并且手主人检测器2105检测活动手并识别手主人。手主人检测器2105基于手检测2106、手掌分析2107、尖端分析2108、座椅乘员检测2109和方向盘2110的预定义方向盘区来检测用户2104的活动手。由汽
车2100的系统获取由手主人检测器2105执行的过程的结果，使得基于输入用户来调整汽车系统行为。
[0187]
在图22的实施方式中，汽车系统显示器2103可以被包括在例如上面关于图2描述的信息娱乐系统203中。可以由上面关于图2描述的处理器202来实施手主人检测器2105。可以如上面图7中所描述的那样执行手检测2106。可以如上面图9a、图9b、图10和图13中所描述的那样执行手掌分析2107。尖端分析2108可以是如上面图12a中所描述的指尖分析1000。可以如上面图6a和图6b中所描述的那样执行座椅乘员的检测2109。方向盘2110可以是上面图5、图11a和图11b中描述的方向盘302。
[0188]
图23更详细地示出了在捕获的图像中定义的分隔线的实施方式。分隔线2200是将车载tof成像系统捕获的图像分成两部分的线。在该实施方式中，分隔线2200是在捕获的图像中定义的倾斜黑线。基于分隔线2200，可以执行所识别的活动手的角度。可以修改分隔线的位置，从而调整汽车配置和/或驾驶员和乘客(形态)的方法功能的灵敏度。
[0189]
图24示意性地示出了手主人检测结果，其中，手主人状态被设置为驾驶员，同时手主人与车载信息娱乐系统交互。在与车辆的信息娱乐系统(参见图2中的203)交互时，由车载tof成像系统(参见图2中的200)捕获活动手2300。由手主人检测器(参见图7)检测活动手2300，并且基于上面关于图2至图19描述的实施方式，识别手主人并且生成手主人状态，这里手主人状态被设置为驾驶员。
[0190]
***
[0191]
应当认识到，实施方式描述了具有方法步骤的示例性排序的方法。然而，仅仅是出于说明的目的而给出方法步骤的特定顺序，不应该被解释为具有约束力。
[0192]
还应注意，将图21的电子设备划分成单元仅出于说明目的，并且本公开不限于特定单元中的任何特定功能划分。例如，电路的至少一部分可以通过相应的编程处理器、现场可编程门阵列(fpga)、专用电路等来实施。
[0193]
如果没有另外说明，则在本说明书中描述的和在所附权利要求中要求的所有单元和实体可以实施为集成电路逻辑，例如在芯片上，并且如果没有另外说明，可以通过软件实施由这些单元和实体提供的功能。
[0194]
就至少部分使用软件控制的数据处理装置来实现上述公开的实施方式而言，将会理解，提供这种软件控制的计算机程序以及提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
[0195]
注意，本技术也可以被配置为如下所述。
[0196]
(1)一种电子设备，包括电路，电路被配置为基于成像系统(200)捕获的图像(700)的图像分析(701)来执行手主人识别(1706)，以获得手主人状态(1710，1711，1712)。
[0197]
(2)根据(1)的电子设备，其中，电路被配置为将驾驶员方向盘区(300)定义为捕获的图像(700)中的感兴趣区域，并且基于定义的驾驶员方向盘区(300)执行手主人识别(1706)。
[0198]
(3)根据(1)或(2)的电子设备，其中，电路被配置为检测捕获的图像(700)中的活动手(303)，捕获的图像捕获作为tof成像系统的成像系统(200)的视场(201)，并且基于检测的活动手(303)执行手主人识别(1706)。
[0199]
(4)根据(2)或(3)的电子设备，其中，电路被配置为定义最小帧数(m)，在最小帧数
m的帧中在驾驶员方向盘区(300)中应当检测到活动手(303)。
[0200]
(5)根据(4)的电子设备，其中，电路被配置为计数帧数(n)，在帧数n的帧中在驾驶员方向盘区(300)中检测到活动手(303)，并且通过将最小帧数(m)与计数的帧数(n)进行比较来执行手主人识别(1706)。
[0201]
(6)根据(5)的电子设备，其中，电路被配置为，当最小帧数(m)小于计数的帧数(n)时，获得指示手主人是驾驶员的手主人状态(1710、1711、1712)。
[0202]
(7)根据(1)至(6)中任一项的电子设备，其中，电路被配置为基于捕获的图像(700)执行图像分析(701)，以获得尖端位置(702)、手掌位置(703)和指示下臂位置的臂位置(704)。
[0203]
(8)根据(7)的电子设备，其中，电路被配置为基于手掌位置(703)和下臂位置(704)执行臂角度确定(800)，以获得臂角度(801)。
[0204]
(9)根据(7)的电子设备，其中，电路被配置为基于尖端位置(702)执行指尖分析(1000)，以获得尖端分数(tipi)。
[0205]
(10)根据(8)或(9)的电子设备，其中，电路被配置为基于手掌位置(703)、下臂位置(704)和臂角度(801)执行臂分析(1100)，以获得手掌分数(palmi)、下臂分数(bottomi)和臂角度分数(anglei)。
[0206]
(11)根据(8)或(10)的电子设备，其中，电路被配置为基于手掌位置(703)、下臂位置(704)和臂角度(801)执行臂投票(1200)，以获得臂投票结果(1201)。
[0207]
(12)根据(11)的电子设备，其中，电路被配置为基于臂投票结果(1201)、尖端分数(tipi)、手掌分数(palmi)、下臂分数(bottomi)和臂角度分数(anglei)执行分数确定(1400)，以获得驾驶员的分数(scored)和乘客的分数(score
p
)。
[0208]
(13)根据(12)的电子设备，其中，电路被配置为，当驾驶员的分数(scored)高于乘客的分数(score
p
)时，获得指示手主人是驾驶员的手主人状态(1710、1711、1712)。
[0209]
(14)根据(12)的电子设备，其中，电路被配置为，当驾驶员的分数(scored)低于乘客的分数(score
p
)时，获得指示手主人是乘客的手主人状态(1710、1711、1712)。
[0210]
(15)根据(12)的电子设备，其中，电路被配置为，当驾驶员的分数(scored)和乘客的分数(score
p
)的绝对差值大于阈值(ε)时，获得指示手主人未知的手主人状态(1710、1711、1712)。
[0211]
(16)根据(1)至(15)中任一项的电子设备，其中，电路被配置为，当捕获的图像(700)是深度图像时，基于深度图像执行座椅占用检测，以获得座椅占用检测状态。
[0212]
(17)根据(1)至(16)中任一项的电子设备，其中，电路被配置为基于左手驾驶(lhd)配置或右手驾驶(rhd)配置来执行手主人识别(1706)。
[0213]
(18)一种方法，包括基于成像系统(200)捕获的图像(700)的图像分析(701)来执行手主人识别(1706)，以获得手主人状态(1710，1711，1712)。
[0214]
(19)一种包括指令的计算机程序，当程序由计算机执行时，使计算机执行(18)的方法。
[0215]
(20)一种非暂时性计算机可读记录介质，其中存储计算机程序产品，当由处理器执行时，使计算机执行(18)的方法。

技术特征：
1.一种电子设备，包括电路，所述电路被配置为基于由成像系统(200)捕获的图像(700)的图像分析(701)来执行手主人识别(1706)，以获得手主人状态(1710，1711，1712)。2.根据权利要求1所述的电子设备，其中，所述电路被配置为将驾驶员方向盘区(300)定义为所述捕获的图像(700)中的感兴趣区域，并且基于所定义的驾驶员方向盘区(300)执行手主人识别(1706)。3.根据权利要求1所述的电子设备，其中，所述电路被配置为检测所述捕获的图像(700)中的活动手(303)，所述捕获的图像捕获作为tof成像系统的所述成像系统(200)的视场(201)，并且基于所检测到的活动手(303)执行手主人识别(1706)。4.根据权利要求2所述的电子设备，其中，所述电路被配置为定义最小帧数(m)，在所述最小帧数(m)的帧中在所述驾驶员方向盘区(300)中应当检测到活动手(303)。5.根据权利要求4所述的电子设备，其中，所述电路被配置为计数帧数(n)，在所述帧数(n)的帧中在所述驾驶员方向盘区(300)中检测到所述活动手(303)，并且通过将所述最小帧数(m)与所计数的帧数(n)进行比较来执行手主人识别(1706)。6.根据权利要求5所述的电子设备，其中，所述电路被配置为，当所述最小帧数(m)小于所计数的帧数(n)时，获得指示手主人是驾驶员的手主人状态(1710、1711、1712)。7.根据权利要求1所述的电子设备，其中，所述电路被配置为基于所述捕获的图像(700)执行图像分析(701)，以获得尖端位置(702)、手掌位置(703)和指示下臂位置的臂位置(704)。8.根据权利要求7所述的电子设备，其中，所述电路被配置为基于所述手掌位置(703)和所述下臂位置(704)执行臂角度确定(800)，以获得臂角度(801)。9.根据权利要求7所述的电子设备，其中，所述电路被配置为基于所述尖端位置(702)执行指尖分析(1000)，以获得尖端分数(tip
i
)。10.根据权利要求9所述的电子设备，其中，所述电路被配置为基于所述手掌位置(703)、所述下臂位置(704)和所述臂角度(801)执行臂分析(1100)，以获得手掌分数(palm
i
)、下臂分数(bottom
i
)和臂角度分数(angle
i
)。11.根据权利要求10所述的电子设备，其中，所述电路被配置为基于所述手掌位置(703)、所述下臂位置(704)和所述臂角度(801)执行臂投票(1200)，以获得臂投票结果(1201)。12.根据权利要求11所述的电子设备，其中，所述电路被配置为基于所述臂投票结果(1201)、所述尖端分数(tip
i
)、所述手掌分数(palm
i
)、所述下臂分数(bottom
i
)和所述臂角度分数(angle
i
)执行分数确定(1400)，以获得驾驶员的分数(score
d
)和乘客的分数(score
p
)。13.根据权利要求12所述的电子设备，其中，所述电路被配置为，当所述驾驶员的分数(score
d
)高于所述乘客的分数(score
p
)时，获得指示手主人是驾驶员的手主人状态(1710、1711、1712)。14.根据权利要求12所述的电子设备，其中，所述电路被配置为，当所述驾驶员的分数(score
d
)低于所述乘客的分数(score
p
)时，获得指示手主人是乘客的手主人状态(1710、1711、1712)。15.根据权利要求12所述的电子设备，其中，所述电路被配置为，当所述驾驶员的分数
(score
d
)和所述乘客的分数(score
p
)的绝对差值大于阈值(ε)时，获得指示手主人未知的手主人状态(1710、1711、1712)。16.根据权利要求1所述的电子设备，其中，所述电路被配置为，当所述捕获的图像(700)是深度图像时，基于所述深度图像执行座椅占用检测，以获得座椅占用检测状态。17.根据权利要求1所述的电子设备，其中，所述电路被配置为基于左手驾驶(lhd)配置或右手驾驶(rhd)配置来执行手主人识别(1706)。18.一种方法，包括基于由成像系统(200)捕获的图像(700)的图像分析(701)来执行手主人识别(1706)，以获得手主人状态(1710，1711，1712)。19.一种包括指令的计算机程序，当所述程序由计算机执行时，使所述计算机执行权利要求18所述的方法。

技术总结
一种电子设备，具有电路，所述电路被配置为基于成像系统(200)捕获的图像的图像分析来执行手主人识别，以获得手主人状态。以获得手主人状态。以获得手主人状态。


技术研发人员：瓦伦
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：2022.01.17
技术公布日：2023/10/6