一种智能座舱交互控制方法及系统与流程

1.本技术涉及智能座舱交互技术领域，特别涉及一种智能座舱交互控制方法及系统。


背景技术：

2.随着智能座舱系统的发展，语音交互控制在智能座舱上的应用越来越广泛。通过语音指令可以进行车辆控制，多媒体，生活服务，以及道路救援等多场景下的语音交互控制。由于人工智能语音系统和人说话方式的理解差异，导致人们通过语音指令进行座舱控制的时候必须表述非常清楚，否则语音系统会出现误解或者无法理解。
3.但是人类语音中提供的信息不是足够的，还需要通过其它手段提供更多辅助信息来帮助语音系统进行判断，从而提供更人性化的服务。


技术实现要素：

4.本技术为解决上述技术问题，提供一种智能座舱交互控制方法及系统；根据麦克风检测到的用户的语音指令，或者是根据相机检测到的用户的注视视线，同时任一麦克风检测到的该用户的语音指令，来完成对各区域的交互控制工作。
5.具体的，本技术提供一种智能座舱交互控制方法，包括以下步骤：
6.当检测到用户的语音指令时，系统根据所述语音指令获取用户位置，并根据所述语音指令和用户位置，控制距离该用户位置最近的区域执行交互动作。
7.当同时检测到用户的注视视线和语音指令时，系统根据相机标定结果匹配该用户的注视视线对应的区域，并根据所述语音指令控制该区域执行交互动作。
8.通过上述交互控制方法实现了单一的语音控制智能座舱，以及视线和语音协同控制智能座舱，提供了更个性化的智能座舱交互方式，为用户提供了更好的操控体验。
9.还包括：对智能座舱的各区域进行划分，并绘制所述各区域的位置分布图，以及对所述各区域的相机进行标定工作。
10.所述对智能座舱的各区域进行划分，具体划分为中控屏，仪表屏，前排左车窗，前排右车窗，后排左车窗，后排右车窗，左后视镜和右后视镜。
11.对智能座舱进行进一步的细分，提高了后续根据用户的注视视线和/或语音指令执行智能座舱交互的准确性。
12.对所述各区域的相机进行标定工作，还包括定义世界坐标系和相机坐标系；所述世界坐标系以当前车辆的中心为原点，宽度方向为x轴，长度方向为y轴，高度方向为z轴；各相机坐标系的原点为当前相机的光心，x轴与y轴分别与当前相机拍摄的用户的人脸图像的横轴和纵轴平行，z轴与当前相机光轴重合。
13.对所述各区域的相机进行标定工作，具体为：
14.s101：通过预设区域中的第一相机拍摄用户的人脸图像，以获得该用户在世界坐标系中的第一关键点坐标，并将所述第一关键点坐标转换为第一相机坐标系中的第二关键
点坐标。
15.s102：在所述预设区域的任一位置放置一参照点，获取该参照点在世界坐标系中的第一参照点坐标，并将所述第一参照点坐标转换为第一相机坐标系中的第二参照点坐标。
16.s103：根据所述第一相机和第n相机的相对位置，将所述第二关键点坐标和第二参照点坐标分别转换为第n相机坐标系中的第n+1关键点坐标和第n+1参照点坐标。
17.s104：根据第二关键点坐标和第二参照点坐标获得第一相机坐标系中的第一视线向量坐标；根据第n+1关键点坐标和第n+1参照点坐标获得第n相机坐标系中的第n视线向量坐标。
18.s105：根据所述第一视线向量坐标分别获得第一视线起点坐标和第一视线落点坐标；根据所述第n视线向量坐标分别获得第n视线起点坐标和第n视线落点坐标。
19.s106：将用户的人脸图像，第一视线起点坐标，第一视线落点坐标，第一视线向量坐标，第二关键点坐标，第n视线起点坐标，第n视线落点坐标，第n视线向量坐标和第n+1关键点坐标存储至系统中。
20.其中，n依次取值大于1的整数，直至n等于智能座舱中相机的数量。
21.对智能座舱各区域的相机进行标定工作，以供后续判断获得的视线向量坐标是否在上述的第一视线向量坐标或第n视线向量坐标的范围内。
22.当麦克风检测到用户的语音指令时，具体包括：
23.s201：根据所述语音指令获得其到任意两个麦克风的传播时延。
24.s202：根据所述传播时延获得用户到任意个麦克风依次连接形成的多边形中心的声源距离。
25.s203：根据所述声源距离获得所述用户到每一麦克风的距离，以获得距离该用户最近的麦克风所在的区域。
26.s204：根据所述语音指令，控制距离该麦克风最近的区域执行交互动作。
27.该过程实现了通过语音指令获得距离用户最近的麦克风区域，以控制该麦克风所在区域执行交互动作。
28.当一相机检测到用户的注视视线，同时任一麦克风检测到该用户的语音指令时，具体包括：
29.s211：通过所述相机拍摄该用户的人脸图像，以获取该用户的关键点坐标。
30.s212：当根据所述关键点坐标与所述相机的光心坐标获得的视线向量坐标在系统所存储的第一视线向量坐标或第n视线向量坐标的范围内时，系统控制所述相机所在区域执行与所述语音指令对应的交互动作。
31.在系统根据语音指令获取用户位置之前，还包括确定所述语音指令的类型，具体为：
32.对预设语音指令进行语音端点检测，以确定该预设语音指令的语音阈值；对所述语音指令进行频带方差检测，获得该语音指令对应的频带方差，并将所述频带方差与所述语音阈值进行比较；若所述频带方差大于所述语音阈值，则认为该语音指令为语音活动指令；若所述频带方差小于或等于所述语音阈值，则认为该语音指令为噪音。
33.上述过程实现对语音指令类型的判断，以获取当前语音指令是语音活动指令还是
噪音，只有当语音指令为语音活动指令时，系统才会根据该语音指令控制智能座舱执行对应的交互动作。
34.基于同一发明构思，本技术还提供一种智能座舱交互控制系统，所述系统包括：
35.第一检测模块：至少包括任意个相机和麦克风；所述相机用于检测用户的注视视线；所述麦克风用于检测用户的语音指令。
36.定位模块：用于根据用户的语音指令获得距离该用户最近的麦克风所在的区域。
37.相机标定模块：用于根据相机拍摄的用户的人脸图像和选定的参照点获得并存储用户的人脸图像，第一视线起点坐标，第一视线落点坐标，第一视线向量坐标，第二关键点坐标，第n视线起点坐标，第n视线落点坐标，第n视线向量坐标和第n+1关键点坐标。
38.获取模块：用于根据相机拍摄的用户的人脸图像获取该用户的关键点坐标。
39.判断模块：用于判断所述关键点坐标与所述相机的光心坐标获得的视线向量坐标是否在所述第一视线向量坐标或第n视线向量坐标的范围内，以获得用户的注视视线对应的区域。
40.控制模块：用于当检测到用户的语音指令时，根据所述语音指令和所述定位模块获得的区域，控制距离该麦克风最近的区域执行交互动作；还用于当同时检测到用户的注视视线和语音指令时，根据所述语音指令和所述判断模块的判断结果控制获得的区域执行交互动作。
41.所述系统还包括：
42.第二检测模块：用于对预设语音指令进行语音端点检测，以确定该预设语音指令的语音阈值。
43.第三检测模块：用于对所述语音指令进行频带方差检测，以根据所述语音阈值判断是否存在语音活动。
44.上述系统除了可以实现根据用户的注视视线和/或语音指令控制智能座舱执行交互动作，以为用户提供更加个性化的智能座舱交互方式和更优的操控体验。
45.与现有技术相比，本技术的有益效果在于：
46.本技术在语音指令的基础上提供了两种智能座舱交互控制方法，第一种是根据用户的语音指令定位用户位置，来完成对智能座舱区域的交互动作控制，第二种是根据用户的注视视线和语音指令，来完成对智能座舱区域的交互动作控制；本技术通过视线协同提供了更多辅助信息来帮助语音系统做交互判断，提供了更个性化的智能座舱交互方式，为用户提供了更好的操控体验；解决了现有技术中因人类语音提供的信息不足够，导致的语音系统会出现误判或无法理解的技术问题。
附图说明
47.图1为本技术所述的智能座舱交互控制方法流程图。
48.图2为图1所述的各区域相机的标定工作流程图。
49.图3为图1所述的各区域执行交互动作的方法流程图。
50.图4为图1所述的各区域执行交互动作的另一方法流程图。
51.图5为图1所述的智能座舱交互控制方法的系统框架图。
具体实施方式
52.本技术实施例提供一种智能座舱交互控制方法及系统，以解决现有技术中因人类语音提供的信息不足够，导致的语音系统会出现误判或无法理解的技术问题。
53.本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
54.提供一种智能座舱交互控制方法，包括以下步骤：将智能座舱划分为中控屏，仪表屏，前排左车窗，前排右车窗，后排左车窗，后排右车窗，左后视镜和右后视镜等区域，并对上述各区域绘制位置分布图；然后根据相机拍摄的用户人脸图像获得关键点坐标，所述关键点坐标与以预设区域的任一位置为参照点的参照点坐标形成视线向量坐标，系统保存所述用户人脸图像，视线向量坐标，以及与所述视线向量坐标的相关坐标参数；再进一步根据麦克风检测到的用户的语音指令，或者是根据相机检测到的用户的注视视线，同时任一麦克风检测到的该用户的语音指令，来完成对上述各区域的交互控制工作；提供了更个性化的智能座舱交互方式，为用户提供了更好的操控体验。
55.下面结合具体实施例及附图对本技术的一种智能座舱交互控制方法及系统，作进一步详细描述。
56.请参见图1，本技术实施例提供一种智能座舱交互控制方法，在控制智能座舱执行交互动作之前，需要执行以下操作：
57.对智能座舱的各区域进行划分，并绘制所述各区域的位置分布图，以及对所述各区域的相机进行标定工作。
58.需要说明的是，所述智能座舱的各区域具体划分为中控屏，仪表屏，前排左车窗，前排右车窗，后排左车窗，后排右车窗，左后视镜和右后视镜。
59.对所述各区域的相机进行标定工作，还包括定义世界坐标系和相机坐标系。
60.其中，所述世界坐标系以当前车辆的中心为原点，宽度方向为x轴，长度方向为y轴，高度方向为z轴。
61.各相机坐标系的原点为当前相机的光心，x轴与y轴分别与当前相机拍摄的用户的人脸图像的横轴和纵轴平行，z轴与当前相机光轴重合。
62.在完成对智能座舱区域的划分及绘制各区域的位置分布图后，便可执行相机的标定工作。
63.需要说明的是，对所述各区域的相机进行标定工作，请参见图2，具体为：
64.步骤s101：通过预设区域中的第一相机拍摄用户的人脸图像，以获得该用户在世界坐标系中的左眼瞳孔坐标l10，右眼瞳孔坐标r10和鼻尖坐标t10；并将所述左眼瞳孔坐标l10，右眼瞳孔坐标r10和鼻尖坐标t10分别转换为第一相机坐标系中的左眼瞳孔坐标l11，右眼瞳孔坐标r11和鼻尖坐标t11。
65.步骤s102：以所述预设区域的任一位置为参照点，获取该参照点在世界坐标系中的参照点坐标d10，并将所述参照点坐标d10转换为第一相机坐标系中的参照点坐标d11。
66.步骤s103：根据所述第一相机和第n相机的相对位置，将所述左眼瞳孔坐标l11，右眼瞳孔坐标r11和鼻尖坐标t11，以及参照点坐标d11分别转换为第n相机坐标系中的左眼瞳孔坐标l1n，右眼瞳孔坐标r1n和鼻尖坐标t1n，以及参照点坐标d1n。
67.步骤s104：根据左眼瞳孔坐标l11，右眼瞳孔坐标r11和鼻尖坐标t11，以及参照点坐标d11,获得第一相机坐标系中的视线向量坐标ld11，视线向量坐标rd11和视线向量坐标
td11；根据左眼瞳孔坐标l1n，右眼瞳孔坐标r1n和鼻尖坐标t1n，以及参照点坐标d1n，获得第n相机坐标系中的视线向量坐标ld1n，视线向量坐标rd1n和视线向量坐标td1n。
68.步骤s105：根据所述视线向量坐标ld11，视线向量坐标rd11和视线向量坐标td11分别获得视线起点坐标l11，视线起点坐标r11和视线起点坐标t11，以及视线落点坐标d11；根据视线向量坐标ld1n，视线向量坐标rd1n和视线向量坐标td1n分别获得视线起点坐标l1n，视线起点坐标r1n和视线起点坐标t1n，以及视线落点坐标d1n。
69.步骤s106：将用户的人脸图像，视线起点坐标l11，视线起点坐标r11，视线起点坐标t11，视线落点坐标d11，视线向量坐标ld11，视线向量坐标rd11，视线向量坐标td11，左眼瞳孔坐标l11，右眼瞳孔坐标r11，鼻尖坐标t11；视线起点坐标l1n，视线起点坐标r1n，视线起点坐标t1n，视线落点坐标d1n，视线向量坐标ld1n，视线向量坐标rd1n和视线向量坐标td1n，左眼瞳孔坐标l1n，右眼瞳孔坐标r1n和鼻尖坐标t1n存储至系统中。
70.其中，n依次取值大于1的整数，直至n等于智能座舱中相机的数量。
71.在完成对各区域相机的标定工作后，便可执行以下步骤。
72.当检测到用户的语音指令时，系统根据所述语音指令获取用户位置，并根据所述语音指令和用户位置，控制距离该用户位置最近的区域执行交互动作。
73.当同时检测到用户的注视视线和语音指令时，系统根据相机标定结果匹配该用户的注视视线对应的区域，并根据所述语音指令控制该区域执行交互动作。
74.在系统根据语音指令获取用户位置之前，还包括确定所述语音指令的类型，具体为：
75.对预设语音指令进行语音端点检测，以确定该预设语音指令的语音阈值；对所述语音指令进行频带方差检测，获得该语音指令对应的频带方差，并将所述频带方差与所述语音阈值进行比较；若所述频带方差大于所述语音阈值，则认为该语音指令为语音活动指令；若所述频带方差小于或等于所述语音阈值，则认为该语音指令为噪音。
76.需要说明的是，噪音频谱各频带变化比较平缓，语音活动各频带之间变化比较剧烈。
77.请参见图3，当检测到用户的语音指令时，具体为：
78.步骤s201：当麦克风检测到智能座舱中的环境声音时，根据所述环境声音获得麦克风收到的信号x(n)，声源信号s(n)，背景噪声w(n)，声传播衰减信号α，以及声波从声源到麦克风的传播时间τ；然后根据上述参数获得声源到任意两个麦克风的传播时延，具体计算公式如下：
79.xi(n)＝
∝is(n-τi)+wi(n)
80.xj(n)＝
∝js(n-τj)+wj(n)
81.r
ij
(τ)＝e[xi(n)xj(n-τ)]
[0082]rij
(τ)＝e[
∝i∝js(n-τi)s(n-τ
i-τ)]＝
∝i∝
jrss
(τ-(τ
i-τj))
[0083]
其中r是自相关函数，e是数学期望；当τ＝τ
i-τj＝τ
ij
时，r
ij
(τ)有最大值，此时的τ
ij
即声源到两个麦克风的传播时延。
[0084]
计算出传播时延后，便可执行步骤s202。
[0085]
步骤s202：以四个麦克风为例，以四个麦克风依次连接形成的正方形中心为原点建立坐标系，以四个麦克风所在平面为x轴和y轴，以所述平面中心的垂线为z轴。
[0086]
根据所述传播时延获得用户到上述坐标系原点的声源距离r，具体计算公式如下。
[0087]
τ
21
＝(r
2-r1)/c
[0088]
τ
31
＝(r
3-r1)/c
[0089]
τ
41
＝(r
4-r1)/c
[0090][0091]
其中，以声源坐标点s做垂直于x轴和y轴所在平面的垂线，该垂线与所述平面相交于一垂点a，所述垂点a与原点连接所在边v和x轴的夹角即为声源坐标点与原点连接所在边r与所述边v的夹角即为θ，边r的长度即为r，c为声音速度。
[0092]
根据所述cosθ和r可获得和sinθ，然后便可获得声源坐标点s(x,y,z)，其中，和z＝rsinθ。
[0093]
在完成声源距离r的计算后，便可执行步骤s203。
[0094]
步骤s203：根据所述声源距离r获得所述用户到每一麦克风的距离，以获得距离该用户最近的麦克风所在的区域，具体计算公式如下：
[0095][0096]
其中，l为四个麦克风依次连接形成的正方形边长，r1为声源坐标点s到麦克风p1的距离，r2为声源坐标点s到麦克风p2的距离，r3为声源坐标点s到麦克风p3的距离，r4为声源坐标点s到麦克风p4的距离。
[0097]
若r1》r2》r3》r4，则麦克风p4为距离声源最近的麦克风。
[0098]
完成声源到每一麦克风距离的计算后，便可执行步骤s204。
[0099]
步骤s204：根据所述语音指令，控制距离该麦克风最近的区域执行交互动作。
[0100]
以用户的语音指令是打开车窗为例，后排左车窗附近的麦克风为麦克风p4，系统则根据打开车窗这一语音指令控制后排左车窗的打开。
[0101]
请参见图4，当同时检测到用户的注视视线和语音指令时，具体为：
[0102]
步骤s211：当一相机检测到用户的注视视线，同时任一麦克风检测到该用户的语音指令时，通过所述相机拍摄该用户的人脸图像，以获取该用户的关键点坐标。
[0103]
步骤s212：当根据所述关键点坐标与所述相机的光心坐标获得的视线向量坐标在
系统所存储的第一视线向量坐标或第n视线向量坐标的范围内时，系统控制所述相机所在区域执行与所述语音指令对应的交互动作。
[0104]
以用户视线注视前排右车窗的同时说出打开车窗为例，前排右车窗区域的相机捕捉到用户的视线，并通过拍摄的人脸图像计算出了该用户左眼瞳孔坐标l01，右眼瞳孔坐标r01和鼻尖坐标t01；所述左眼瞳孔坐标l01，右眼瞳孔坐标r01和鼻尖坐标t01分别与拍摄相机的光心d01形成视线向量坐标ld01，视线向量坐标rd01和视线向量坐标td01；若上述视线向量坐标在相机标定后存储的视线向量坐标的范围内，系统则控制前排右车窗的打开。
[0105]
基于同一发明构思，请参见图5，本技术还提供一种智能座舱交互控制系统，所述系统包括：
[0106]
第一检测模块：至少包括任意个相机和麦克风。
[0107]
其中，所述相机用于检测用户的注视视线；所述麦克风用于检测用户的语音指令。
[0108]
定位模块：用于根据用户的语音指令获得距离该用户最近的麦克风所在的区域。
[0109]
相机标定模块：用于根据相机拍摄的用户的人脸图像和选定的参照点获得并存储用户的人脸图像，视线起点坐标l11，视线起点坐标r11，视线起点坐标t11，视线落点坐标d11，视线向量坐标ld11，视线向量坐标rd11，视线向量坐标td11，左眼瞳孔坐标l11，右眼瞳孔坐标r11，鼻尖坐标t11；视线起点坐标l1n，视线起点坐标r1n，视线起点坐标t1n，视线落点坐标d1n，视线向量坐标ld1n，视线向量坐标rd1n和视线向量坐标td1n，左眼瞳孔坐标l1n，右眼瞳孔坐标r1n和鼻尖坐标t1n。
[0110]
获取模块：用于根据相机拍摄的用户的人脸图像获取该用户的左眼瞳孔坐标，右眼瞳孔坐标和鼻尖坐标。
[0111]
判断模块：用于判断所述左眼瞳孔坐标，右眼瞳孔坐标和鼻尖坐标分别与所述相机的光心坐标获得的视线向量坐标是否在所述相机标定模块中存储的各视线向量坐标的范围内，以获得用户的注视视线对应的区域。
[0112]
控制模块：用于当检测到用户的语音指令时，根据所述语音指令和所述定位模块获得的区域，控制距离该麦克风最近的区域执行交互动作；还用于当同时检测到用户的注视视线和语音指令时，根据所述语音指令和所述判断模块的判断结果控制获得的区域执行交互动作。
[0113]
所述系统还包括：
[0114]
第二检测模块：用于对预设语音指令进行语音端点检测，以确定该预设语音指令的语音阈值。
[0115]
第三检测模块：用于对所述语音指令进行频带方差检测，以根据所述语音阈值判断是否存在语音活动。
[0116]
需要说明的是，若所述频带方差大于所述语音阈值，则认为用户的语音指令为语音活动指令；若所述频带方差小于或等于所述语音阈值，则认为该语音指令为噪音。
[0117]
综上所述，本技术提供一种智能座舱交互控制方法及系统；首先对智能座舱的各区域进行划分，然后根据相机拍摄的用户的人脸图像和选定的参照点完成对所述各区域的相机的标定工作，以及绘制所述各区域的位置分布图；再进一步根据麦克风检测到的用户的语音指令，或者是根据相机检测到的用户的注视视线，同时任一麦克风检测到的该用户的语音指令，来完成对各区域的交互控制工作。本技术实现了单一的语音控制智能座舱，以
及视线和语音协同控制智能座舱，提供了更个性化的智能座舱交互方式，为用户提供了更好的操控体验。
[0118]
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本技术的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本技术的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本技术的范围之内。
[0119]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0120]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
[0121]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的一些模块的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0122]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0123]
虽然对本技术的描述是结合以上具体实施例进行的，但是，熟悉本技术领域的人员能够根据上述的内容进行许多替换、修改和变化是显而易见的。因此，所有这样的替代、改进和变化都包括在附后的权利要求的精神和范围内。

技术特征：
1.一种智能座舱交互控制方法，其特征在于，包括以下步骤：当检测到用户的语音指令时，系统根据所述语音指令获取用户位置，并根据所述语音指令和用户位置，控制距离该用户位置最近的区域执行交互动作；当同时检测到用户的注视视线和语音指令时，系统根据相机标定结果匹配该用户的注视视线对应的区域，并根据所述语音指令控制该区域执行交互动作。2.根据权利要求1所述的智能座舱交互控制方法，其特征在于，还包括：对智能座舱的各区域进行划分，并绘制所述各区域的位置分布图，以及对所述各区域的相机进行标定工作。3.根据权利要求2所述的智能座舱交互控制方法，其特征在于，所述对智能座舱的各区域进行划分，具体划分为中控屏，仪表屏，前排左车窗，前排右车窗，后排左车窗，后排右车窗，左后视镜和右后视镜。4.根据权利要求3所述的智能座舱交互控制方法，其特征在于，对所述各区域的相机进行标定工作，还包括定义世界坐标系和相机坐标系；所述世界坐标系以当前车辆的中心为原点，宽度方向为x轴，长度方向为y轴，高度方向为z轴；各相机坐标系的原点为当前相机的光心，x轴与y轴分别与当前相机拍摄的用户的人脸图像的横轴和纵轴平行，z轴与当前相机光轴重合。5.根据权利要求4所述的智能座舱交互控制方法，其特征在于，对所述各区域的相机进行标定工作，具体为：s101：通过预设区域中的第一相机拍摄用户的人脸图像，以获得该用户在世界坐标系中的第一关键点坐标，并将所述第一关键点坐标转换为第一相机坐标系中的第二关键点坐标；s102：以所述预设区域的任一位置为参照点，获取该参照点在世界坐标系中的第一参照点坐标，并将所述第一参照点坐标转换为第一相机坐标系中的第二参照点坐标；s103：根据所述第一相机和第n相机的相对位置，将所述第二关键点坐标和第二参照点坐标分别转换为第n相机坐标系中的第n+1关键点坐标和第n+1参照点坐标；s104：根据第二关键点坐标和第二参照点坐标获得第一相机坐标系中的第一视线向量坐标；根据第n+1关键点坐标和第n+1参照点坐标获得第n相机坐标系中的第n视线向量坐标；s105：根据所述第一视线向量坐标分别获得第一视线起点坐标和第一视线落点坐标；根据所述第n视线向量坐标分别获得第n视线起点坐标和第n视线落点坐标；s106：将用户的人脸图像，第一视线起点坐标，第一视线落点坐标，第一视线向量坐标，第二关键点坐标，第n视线起点坐标，第n视线落点坐标，第n视线向量坐标和第n+1关键点坐标存储至系统中；其中，n依次取值大于1的整数，直至n等于智能座舱中相机的数量。6.根据权利要求5所述的智能座舱交互控制方法，其特征在于，当麦克风检测到用户的语音指令时，具体包括：s201：当麦克风检测到用户的语音指令时，根据所述语音指令获得其到任意两个麦克风的传播时延；
s202：根据所述传播时延获得用户到任意个麦克风依次连接形成的多边形中心的声源距离；s203：根据所述声源距离获得所述用户到每一麦克风的距离，以获得距离该用户最近的麦克风所在的区域；s204：根据所述语音指令，控制距离该麦克风最近的区域执行交互动作。7.根据权利要求6所述的智能座舱交互控制方法，其特征在于，当一相机检测到用户的注视视线，同时任一麦克风检测到该用户的语音指令时，具体包括：s211：通过所述相机拍摄该用户的人脸图像，以获取该用户的关键点坐标；s212：当根据所述关键点坐标与所述相机的光心坐标获得的视线向量坐标在系统所存储的第一视线向量坐标或第n视线向量坐标的范围内时，系统控制所述相机所在区域执行与所述语音指令对应的交互动作。8.根据权利要求7所述的智能座舱交互控制方法，其特征在于，在系统根据语音指令获取用户位置之前，还包括确定所述语音指令的类型，具体为：对预设语音指令进行语音端点检测，以确定该预设语音指令的语音阈值；对所述语音指令进行频带方差检测，获得该语音指令对应的频带方差，并将所述频带方差与所述语音阈值进行比较；若所述频带方差大于所述语音阈值，则认为该语音指令为语音活动指令；若所述频带方差小于或等于所述语音阈值，则认为该语音指令为噪音。9.一种采用如权利要求1-8任一所述的智能座舱交互控制方法的系统，其特征在于，所述系统包括：第一检测模块：至少包括任意个相机和麦克风；所述相机用于检测用户的注视视线；所述麦克风用于检测用户的语音指令；定位模块：用于根据用户的语音指令获得距离该用户最近的麦克风所在的区域；相机标定模块：用于根据相机拍摄的用户的人脸图像和选定的参照点获得并存储用户的人脸图像，第一视线起点坐标，第一视线落点坐标，第一视线向量坐标，第二关键点坐标，第n视线起点坐标，第n视线落点坐标，第n视线向量坐标和第n+1关键点坐标；获取模块：用于根据相机拍摄的用户的人脸图像获取该用户的关键点坐标；判断模块：用于判断所述关键点坐标与所述相机的光心坐标获得的视线向量坐标是否在所述第一视线向量坐标或第n视线向量坐标的范围内，以获得用户的注视视线对应的区域；控制模块：用于当检测到用户的语音指令时，根据所述语音指令和所述定位模块获得的区域，控制距离该麦克风最近的区域执行交互动作；还用于当同时检测到用户的注视视线和语音指令时，根据所述语音指令和所述判断模块的判断结果控制获得的区域执行交互动作。10.根据权利要求9所述的系统，其特征在于，所述系统还包括：第二检测模块：用于对预设语音指令进行语音端点检测，以确定该预设语音指令的语音阈值；第三检测模块：用于对所述语音指令进行频带方差检测，以根据所述语音阈值判断是否存在语音活动。

技术总结
本申请提供一种智能座舱交互控制方法及系统；所述智能座舱交互控制方法包括：对智能座舱的各区域进行划分，并对所述各区域绘制位置分布图；然后根据相机拍摄的用户人脸图像获得关键点坐标，所述关键点坐标与以预设区域的任一位置为参照点的参照点坐标形成视线向量坐标，系统保存所述用户人脸图像，视线向量坐标，以及与所述视线向量坐标的相关坐标参数；再进一步根据麦克风检测到的用户的语音指令，或者是根据相机检测到的用户的注视视线，同时任一麦克风检测到的该用户的语音指令，来完成对所述各区域的交互控制工作；本申请提供了更个性化的智能座舱交互方式，为用户提供了更好的操控体验。的操控体验。的操控体验。


技术研发人员：向勇阳 贺武 唐侨 赵彩智
受保护的技术使用者：深圳市德赛西威汽车电子有限公司
技术研发日：2023.05.23
技术公布日：2023/8/16