车辆交互方法、车辆以及存储介质与流程

1.本技术涉及车辆的人机交互领域，具体而言，涉及车辆交互方法、车辆以及存储介质。


背景技术：

2.目前，驾乘人员可以通过操控指令、语音命令等方式与车辆实现交互。尽管这些传统的方式能够实现对车辆的功能部件的控制，但是交互体验上的提升仍然是优先的。随着车辆走进千家万户，其作用不仅仅是作为运输工具存在，而是扮演了类似家庭成员的角色。如果一对夫妇在孩子降生时购买车辆，那么这辆车很有可能会伴随孩子的大部分童年时光。
3.有鉴于此，需要提出一种提升用车体验的车辆交互机制。


技术实现要素：

4.本技术的实施例提供了一种车辆交互方法、车辆以及存储介质，用于根据驾驶人员的情绪做出合适的反馈，从而提升车辆与人交互的体验。
5.根据本技术的一方面，提供一种车辆交互方法，包括如下步骤：确定对象的身份；在所述对象的身份与预置的身份信息匹配的情况下获取所述对象的面部图像；根据所述面部图像确定所述对象的情绪状态；以及通过车辆的外围设备呈现与所述情绪状态相适应的表情拟态。
6.在本技术的一些实施例中，可选地，根据所述对象携带的移动设备和/或所述对象携带的解锁设备发送的射频信号确定所述对象的身份。
7.在本技术的一些实施例中，可选地，所述外围设备包括如下至少一者：后视镜、大灯、喇叭、雨刷器、轮胎。
8.在本技术的一些实施例中，可选地，所述方法还包括：在所述对象的身份与预置的身份信息匹配的情况下解锁车辆。
9.在本技术的一些实施例中，可选地，所述方法还包括：在所述情绪状态呈现消极驾驶倾向的情况下播放提示语音。
10.在本技术的一些实施例中，可选地，呈现消极驾驶倾向的情绪状态包括如下至少一者：疲劳、醉态、愤怒。
11.在本技术的一些实施例中，可选地，所述方法还包括：在所述对象的身份与预置的身份信息匹配的情况下，响应于所述对象的解锁指令解锁车辆。
12.在本技术的一些实施例中，可选地，所述方法还包括：拒绝所述对象解锁车辆的指令。
13.在本技术的一些实施例中，可选地，所述情绪状态包括如下至少一者：高兴、平静、悲伤、疲劳、醉态、愤怒。
14.在本技术的一些实施例中，可选地，所述方法还包括：将所述外围设备恢复到呈现
所述表情拟态之前的状态。
15.在本技术的一些实施例中，可选地，所述方法还包括：响应于所述对象的落锁指令获取所述对象的第二面部图像；根据所述第二面部图像确定所述对象的第二情绪状态；以及通过所述外围设备呈现与所述第二情绪状态相适应的第二表情拟态。
16.根据本技术的另一方面，提供一种车辆，其包括：身份认证模块，其配置成确定对象的身份；图像获取模块，其配置成在所述身份认证模块确定所述对象的身份与预置的身份信息匹配的情况下，获取所述对象的面部图像；情绪分析模块，其配置成根据所述面部图像确定所述对象的情绪状态；以及外围设备，其配置成备呈现与所述情绪状态相适应的表情拟态。
17.根据本技术的另一方面，提供一种车辆，其包括：存储器，其配置成存储指令；以及处理器，其配置成执行所述指令以执行如上文所述的任意一种方法。
18.根据本技术的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种方法。
19.根据本技术的一些实施例提供的车辆交互方法、车辆以及存储介质，可以根据驾驶人员的情绪做出相应的反馈，从而借助车辆的外围设备呈现与驾驶人员的情绪相适应的表情拟态，提高用车体验。
附图说明
20.从结合附图的以下详细说明中，将会使本技术的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
21.图1示出了根据本技术的一个实施例的车辆交互方法；
22.图2示出了根据本技术的一个实施例的车辆。
具体实施方式
23.出于简洁和说明性目的，本文主要参考其示范实施例来描述本技术的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的车辆交互方法、车辆以及存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本技术的真实精神和范围。
24.本技术的一方面提供了一种车辆交互方法。如图1所示，车辆交互方法10(以下简称方法10)包括如下步骤：在步骤s102中确定对象的身份；在步骤s104中，若确定对象的身份与预置的身份信息匹配则获取对象的面部图像；在步骤s106中根据面部图像确定对象的情绪状态；以及在步骤s108中通过车辆的外围设备呈现与情绪状态相适应的表情拟态。方法10通过以上步骤能够根据驾乘人员的情绪状态让车辆做出相应的表情拟态，进而可以例如在驾乘人员高兴时一同庆祝，在驾乘人员沮丧时予以鼓励等，从而一方面可以提升客户的用车体验，另一方面也可以缓解乃至防止负面情绪给驾驶过程带来的危险。方法10的各个步骤的工作原理将在下文中详细描述。
25.方法10在步骤s102中确定对象的身份。这里的对象是指试图解锁或者开启车辆的人，因而可以针对试图或者开启解锁车辆的人进行身份识别。例如，如果对象靠近车辆且与
车辆的距离足够接近(例如，2米以内)，那么可以将该对象视作试图或者开启解锁车辆的人，因此可以对其进行身份识别。需要说明的是，这里的“试图”是车辆视角中的判断机制，车辆将满足一条条件的对象都视为试图或者开启解锁车辆的人，但这并不意味着靠近车辆的对象在意识中是否真正试图去解锁车辆。
26.尽管下文中在步骤s104中获取对象的面部图像并用于后续的表情识别，但是如果在步骤s102中是通过面部识别判断对象的身份的，那么在步骤s102中将通过车辆上配置的能够拍摄外部环境的相机首先拍摄对象的面部，并且拍摄到的图像可以在步骤s104中继续调用，这一调用过程也视为步骤s104中的一种“获取”形式。
27.在本技术的一些实施例中，在步骤s102中还可以根据对象携带的移动设备、对象携带的解锁设备发送的射频信号确定对象的身份。例如，车辆的车机系统可以与用户的移动设备进行配对，并且可以让用户在车机系统的大屏幕上进行操作。一旦用户的移动设备与车机系统通过无线方式(例如，蓝牙连接、wlan连接)配对成功等，后续二者在开机后将自动建立连接。因此，可以根据对象携带的移动设备确定对象的身份。如果对象携带的移动设备能够与车机系统建立无线连接，那么可以认为对象是能够解锁或者开启车辆的人。
28.另一方面，许多车辆配置了无钥匙进入/无钥匙启动功能。如果对象携带的解锁设备(例如，电子钥匙)所发送的信息表明其能够解锁或者开启车辆，那么携带的解锁设备的对象也被视为通过了身份认证。
29.方法10在步骤s104中，在确定对象的身份与预置的身份信息匹配的情况下获取对象的面部图像。此时可以通过例如车辆的外部摄像头实时捕捉面部图像，也可以调用步骤s102中产生的面部图像。预置的身份信息可以作为车主信息预存在车辆中，预置的身份信息可以是蓝牙标识、钥匙标识、人脸图像等。如果步骤s102的身份验证结果表明对象通过了身份验证，那么在步骤s104中将获取该对象的面部图像。
30.在一些示例中，可能车辆周围存在不止一个对象，此时可能无法判断哪一个或者哪几个是通过身份验证的对象。例如，其中一个为驾驶员，其他的为乘客。此外，车辆周围也可能存在无关的路人。此时，作为一种简单的处理方式，可以获取离车辆主驾驶位最近的对象的面部图像。具体而言，可以将其面部图像与左侧后视镜连线最短(例如，可以对连线进行像素计数)的那个对象作为处理目标，并针对其面部图像进行后续处理。
31.此外，也可以将径直走向车辆的对象的面部图像作为要获取要处理的面部图像。例如，可以根据多个按时序拍摄的画面中各个对象的移动轨迹来确定哪个是径直走向车辆的对象，并针对其面部图像进行后续处理。
32.另一方面，还可以获取多个对象的目标图像。例如，可以将车辆周围一定范围内(例如2米以内)的对象都作为处理目标，并且针对其面部图像进行后续处理。
33.在一些示例中，如果在步骤s102中是通过面部图像来识别对象身份的，那么在步骤s104中可以仅研究通过面部识别的那个对象。
34.方法10在步骤s106中根据面部图像确定对象的情绪状态。本技术在此并不限制如何根据对象的面部图像来获取其情绪状态。例如，可以通过神经网络模型来处理面部图像，并获取其对应情绪状态。在本技术的一些实施例中，情绪状态可以是高兴、平静、悲伤、疲劳、醉态、愤怒等。
35.此外，如果在步骤s104中获取到了多个面部图像，那么在步骤s106中可以分别获
取其情绪状态。在一些示例中，可以将多个对象中情绪状态数量最多的那个状态作为“对象的情绪状态”并参与后续的处理。例如，车辆周围存在3个对象，其中两个的情绪状态为“高兴”，另外一个的情绪状态为“平静”，那么在步骤s106中确定的对象的情绪状态为“高兴”。
36.在其他一些示例中，也可以将每一个对象的情绪状态作为“对象的情绪状态”并参与后续的处理。此时，可以为对象及其对应的情绪状态建立联系。例如，对象a：高兴；对象b：疲劳。
37.方法10在步骤s108中通过车辆的外围设备呈现与情绪状态相适应的表情拟态。本文中的表情拟态是指利用车辆的外围设备，并结合车辆的自身外形，使得用户从车辆外部观察或者体验，能够联想到某种类似于人、动物等的表情状态。外围设备是指能够从车辆外部直接观察到的设备，且这些设备一般处于车辆外轮廓上。此外，外围设备不限于呈现视觉感受，还可能呈现听觉等感受。具体而言，在本技术的一些实施例中，外围设备可以是后视镜、大灯、喇叭、雨刷器、轮胎等。
38.例如，如果“高兴”对应的表情拟态为“高兴”，那么可以通过将车辆的前轮左右来回摆动、后视镜快速开合、大灯远近光交替闪烁来表现“高兴”这种表情拟态。以此可以呼应对象面部所呈现的“高兴”情绪状态，从而提升用车体验。
39.再如，如果“悲伤”对应的表情拟态为“安抚”，那么可以通过将车辆的前轮朝向一侧转动后固定、后视镜慢速上下翻动、大灯开启近光来表现“安抚”这种表情拟态。以此可以呼应对象面部所呈现的“悲伤”情绪状态，从而可以安抚驾乘人员。此外，表情拟态“安抚”还可以伴有声音，例如，可以用车辆的喇叭吹奏舒缓的节奏等。
40.如上文所描述的，情绪状态可能关联到多个不同的对象，此时可以针对某一个特定对象(例如，驾驶人员)呈现表情拟态，也可以针对不同的对象(例如，驾驶人员和乘客)分别呈现表情拟态。例如，可仅针对驾驶人员呈现表情拟态。当靠近驾驶位的对象的情绪状态为“高兴”时，此时可以通过车辆的外围设备呈现“高兴”的表情拟态。在其他一些示例中，可以针对驾驶人员和乘客分别呈现表情拟态。如果靠近驾驶位的对象a的情绪状态为“高兴”，而靠近副驾驶位的对象b的情绪状态为“疲劳”，此时可以分别指向这两个对象分别呈现“高兴”的表情拟态和“唤醒”的表情拟态。具体而言，可以通过将车辆的前轮摆动至最左侧(以此指向对象a)、后视镜快速开合、大灯远近光交替闪烁来表现“高兴”的表情拟态。在完成“高兴”的表情拟态后，可以通过将车辆的前轮摆动至最右侧(以此指向对象b)、后视镜上翻、大灯的近光闪烁、喇叭吹奏鼓舞人心的音乐来表现“唤醒”的表情拟态。
41.在本技术的一些实施例中，在车辆通过其外围设备呈现表情拟态时还可以自动解锁车辆。在一些示例中，方法10还可以包括如下步骤(图中未示出)：在对象的身份与预置的身份信息匹配的情况下，自动解锁车辆。根据这一设置，驾乘人员在观察到表情拟态后即可确认车辆已经完成解锁，此时可以直接拉开车门进入车厢。
42.如果驾驶人员呈现不适合驾驶的消极状态，例如，处于极度悲伤的状态，或者处于醉酒状态，此时可以向驾驶人员发出提醒。在本技术的一些实施例中，方法10还可以包括如下步骤(图中未示出)：在情绪状态呈现消极驾驶倾向的情况下播放提示语音。如此，在车辆通过其外围设备呈现表情拟态的同时还可以播放提示信息(例如，“您需要休息，请勿疲劳驾驶”、“道路千万条，安全第一条”等)，进而降低驾驶人员的驾驶风险。在本技术的一些实施例中，呈现消极驾驶倾向的情绪状态可以是疲劳、醉态、愤怒等待。当驾驶人员处于这类
消极状态下时应当冷静考虑是否继续驾驶，方法10通过播放提示语音将给予驾驶人员再次审视自己的状态的机会。
43.在本技术的一些实施例中，也可以在车辆通过其外围设备呈现表情拟态时不自动解锁车辆。由于驾乘人员接近车辆的意图并未明确，自动解锁也可能造成驾乘人员困扰，尤其是在驾乘人员需要多次路过车辆的场景下。另一方面，在驾驶人员呈现消极驾驶倾向的情绪状态时也可以不自动解锁车辆，从而为驾驶人员提供再次审视自己的状态的机会。为此，方法10还可以包括如下步骤(图中未示出)：在对象的身份与预置的身份信息匹配的情况下，响应于对象的解锁指令解锁车辆。具体而言，如果驾乘人员携带的是电子钥匙，可以在驾乘人员触摸门把手时向车辆发送解锁指令，此时车辆将自动解锁。在其他一些示例中，驾乘人员也可以通过遥控钥匙发送解锁指令。
44.在本技术的一些实施例中，方法10还包括如下步骤(图中未示出)：拒绝对象解锁车辆的指令。在一些示例中，如果驾乘人员呈现消极驾驶倾向的情绪状态时也可以不允许解锁车辆，从而为驾驶人员提供再次审视自己的状态的机会。例如，可以在驾驶人员前三次尝试解锁时拒绝对象解锁车辆的指令，并且给出语音提示。当驾驶人员第四次发送解锁车辆的指令时则可以允许解锁车辆，从而避免因误判影响驾驶人员用车。
45.在本技术的一些实施例中，方法10还包括如下步骤(图中未示出)：将外围设备恢复到呈现表情拟态之前的状态。为了方便驾驶人员以熟悉的车身状态启动车辆，在车辆通过其外围设备呈现完表情拟态后还可以恢复到原先的状态，具体而言，可以恢复到上次停车时的状态。这种配置可以避免改动车身姿态给车辆起步带来的危险，降低驾驶人员的适应成本。
46.上文中描述了启动车辆之前可以通过外围设备呈现表情拟态，在其他一些示例中，还可以在停车时也呈现类似的表情拟态以作为告别礼仪。具体而言，在本技术的一些实施例中，方法10还包括如下步骤(图中未示出)：响应于对象的落锁指令获取对象的第二面部图像；根据第二面部图像确定对象的第二情绪状态；以及通过外围设备呈现与第二情绪状态相适应的第二表情拟态。此处描述的“第二面部图像”、“第二情绪状态”、“第二表情拟态”仅用于区分在不同时间、场合形成的“面部图像”、“情绪状态”、“表情拟态”，不意味着它们必然存在数值或者种类上的差异。
47.以上描述了方法10的一些实施例可以通过诸如蓝牙等方式确认车主等对象的身份，其后，可以再由车身外的摄像设备捕获车主等对象的影像，通过大数据分析车主当前的心情(例如，高兴、平静、悲伤等)，最后可以由车控系统控制车辆做出对应的反馈。这一过程中，可以让车辆主动感知人类的情感从而做出对应的反馈，让交互方式变的更加生动有趣。
48.根据本技术的另一方面，提供一种车辆。如图2所示，车辆20包括身份认证模块201、图像获取模块202、情绪分析模块203和外围设备204。车辆20能够根据驾乘人员的情绪状态让车辆做出相应的表情拟态，进而可以例如在驾乘人员高兴时一同庆祝，在驾乘人员沮丧时予以鼓励等，从而一方面可以提升客户的用车体验，另一方面也可以缓解乃至防止负面情绪给驾驶过程带来的危险。车辆20的各个部分的工作原理将在下文中详细描述。
49.车辆20的身份认证模块201被配置成确定对象的身份。这里的对象是指试图解锁或者开启车辆的人，因而可以针对试图或者开启解锁车辆的人进行身份识别。例如，如果对象靠近车辆且与车辆的距离足够接近(例如，2米以内)，那么可以将该对象视作试图或者开
启解锁车辆的人，因此可以对其进行身份识别。需要说明的是，这里的“试图”是车辆视角中的判断机制，并不意味着靠近车辆的对象在意识中是否真正试图去解锁车辆。
50.尽管下文中图像获取模块202可以获取对象的面部图像并用于后续的表情识别，但是如果身份认证模块201是通过面部识别判断对象的身份的，那么身份认证模块201将通过车辆上配置的能够拍摄外部环境的相机首先拍摄对象的面部，并且拍摄到的图像可以被图像获取模块202继续调用，这一调用过程也视为图像获取模块202的一种“获取”形式。
51.车辆20的图像获取模块202被配置成在身份认证模块201确定对象的身份与预置的身份信息匹配的情况下，获取对象的面部图像。此时可以通过例如车辆的外部摄像头实时捕捉面部图像，也可以调用身份认证模块201产生的面部图像。预置的身份信息可以作为车主信息预存在车辆中，预置的身份信息可以是蓝牙标识、钥匙标识、人脸图像等。如果身份认证模块201的身份验证结果表明对象通过了身份验证，那么图像获取模块202将获取该对象的面部图像。
52.在一些示例中，可能车辆周围存在不止一个对象。例如，其中一个为驾驶员，其他的为乘客。此外，车辆周围也可能存在无关的路人。此时，作为一种简单的处理方式，可以获取离车辆主驾驶位最近的对象的面部图像。具体而言，可以将其面部图像与左侧后视镜连线最短(例如，可以对连线进行像素计数)的那个对象作为处理目标，并针对其面部图像进行后续处理。
53.在其他示例中还可以通过其他方法识别对象身份并获取其面部图像，例如，图像获取模块202可以参考上文中关于方法10的具体步骤开展工作，相关内容一并引用于此。
54.车辆20的情绪分析模块203被配置成根据面部图像确定对象的情绪状态。本技术在此并不限制如何根据对象的面部图像来获取其情绪状态。例如，情绪分析模块203可以通过神经网络模型来处理面部图像，并获取其对应情绪状态。在本技术的一些实施例中，情绪状态可以是高兴、平静、悲伤、疲劳、醉态、愤怒等。
55.车辆20的外围设备204被配置成备呈现与情绪状态相适应的表情拟态。本文中的表情拟态是指利用车辆的外围设备，并结合车辆的自身外形，使得用户从车辆外部观察或者体验，能够联想到某种类似于人、动物等的表情状态。外围设备是指能够从车辆外部直接观察到的设备，且这些设备一般处于车辆外轮廓上。此外，外围设备不限于呈现视觉感受，还可能呈现听觉等感受。具体而言，在本技术的一些实施例中，外围设备可以是后视镜、大灯、喇叭、雨刷器、轮胎等。
56.车辆20的身份认证模块201、图像获取模块202、情绪分析模块203和外围设备204的工作原理的其他方面可以参考上文中关于方法10的各个步骤开展，相关内容一并引用于此，限于篇幅本文在此不作赘述。
57.根据本技术的另一方面，提供一种车辆，其包括：存储器，其配置成存储指令；以及处理器，其配置成执行所述指令以执行如上文所述的任意一种方法。
58.根据本技术的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种车辆交互方法。本技术中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括ram、rom、eprom、e2prom、寄存器、硬盘、可移动盘、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用
于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或专用计算机、或者通用或专用处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
59.以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此。本领域的技术人员可以根据本技术所披露的技术范围想到其他可行的变化或替换，此等变化或替换皆涵盖于本技术的保护范围之中。在不冲突的情况下，本技术的实施方式及实施方式中的特征还可以相互组合。本技术的保护范围以权利要求的记载为准。

技术特征：
1.一种车辆交互方法，其特征在于，所述方法包括：确定对象的身份；在所述对象的身份与预置的身份信息匹配的情况下获取所述对象的面部图像；根据所述面部图像确定所述对象的情绪状态；以及通过车辆的外围设备呈现与所述情绪状态相适应的表情拟态。2.根据权利要求1所述的方法，其中，根据所述对象携带的移动设备和/或所述对象携带的解锁设备发送的射频信号确定所述对象的身份。3.根据权利要求1所述的方法，其中，所述外围设备包括如下至少一者：后视镜、大灯、喇叭、雨刷器、轮胎。4.根据权利要求1所述的方法，还包括：在所述对象的身份与预置的身份信息匹配的情况下解锁车辆。5.根据权利要求1所述的方法，还包括：在所述情绪状态呈现消极驾驶倾向的情况下播放提示语音。6.根据权利要求5所述的方法，其中，呈现消极驾驶倾向的情绪状态包括如下至少一者：疲劳、醉态、愤怒。7.根据权利要求5所述的方法，还包括：在所述对象的身份与预置的身份信息匹配的情况下，响应于所述对象的解锁指令解锁车辆。8.根据权利要求5所述的方法，还包括：拒绝所述对象解锁车辆的指令。9.根据权利要求1所述的方法，其中，所述情绪状态包括如下至少一者：高兴、平静、悲伤、疲劳、醉态、愤怒。10.根据权利要求1所述的方法，还包括：将所述外围设备恢复到呈现所述表情拟态之前的状态。11.根据权利要求1所述的方法，还包括：响应于所述对象的落锁指令获取所述对象的第二面部图像；根据所述第二面部图像确定所述对象的第二情绪状态；以及通过所述外围设备呈现与所述第二情绪状态相适应的第二表情拟态。12.一种车辆，其特征在于，所述车辆包括：身份认证模块，其配置成确定对象的身份；图像获取模块，其配置成在所述身份认证模块确定所述对象的身份与预置的身份信息匹配的情况下，获取所述对象的面部图像；情绪分析模块，其配置成根据所述面部图像确定所述对象的情绪状态；以及外围设备，其配置成备呈现与所述情绪状态相适应的表情拟态。13.一种车辆，其特征在于，所述车辆包括：存储器，其配置成存储指令；以及处理器，其配置成执行所述指令以执行如权利要求1-11中任一项所述的方法。14.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如权利要求1-11中任一项所述的方法。

技术总结
本申请涉及车辆交互方法、车辆以及存储介质，所述方法包括如下步骤：确定对象的身份；在所述对象的身份与预置的身份信息匹配的情况下获取所述对象的面部图像；根据所述面部图像确定所述对象的情绪状态；以及通过车辆的外围设备呈现与所述情绪状态相适应的表情拟态。该方法能够根据驾驶人员的情绪做出合适的反馈，从而提升车辆与人交互的体验。从而提升车辆与人交互的体验。从而提升车辆与人交互的体验。


技术研发人员：雷金亮
受保护的技术使用者：蔚来汽车科技（安徽）有限公司
技术研发日：2023.03.03
技术公布日：2023/6/27