车辆和语音识别系统的制作方法

1.公开的发明涉及一种提供与用户的语音相对应的服务的车辆、语音识别系统和语音识别服务提供方法。


背景技术：

2.语音识别系统是能够识别用户的语音以掌握用户的意图并提供与所掌握的用户的意图相对应的服务的系统。
3.语音识别系统与特定装置联接，以根据用户的意图对相关装置进行控制并根据用户的意图提供特定信息。
4.近年来，在车辆中也安装了这种语音识别系统，因此用户可以仅通过语音控制车辆，也可以通过与车辆的对话获得所需信息或获得所需服务。
5.为了使用语音识别系统控制车辆，需要准确地说出期望的控制对象。然而，用户可能无法准确地知道车辆的组件的名称，也可能为了方便省略说出部分名称。


技术实现要素：

6.(一)要解决的技术问题
7.公开的发明提供一种能够通过显示所拍摄的作为控制对象的组件的车辆图像来引导用户的语音以指定控制对象的车辆、语音识别系统及语音识别服务提供方法。
8.(二)技术方案
9.根据一个实施例的车辆包括：摄像头，拍摄包括车辆的内部或外部的车辆图像；显示器，设置在所述车辆的内部；以及控制器，当满足预定条件时，所述控制器控制所述摄像头拍摄所述车辆图像，并且控制所述显示器显示所述拍摄的车辆图像，使得所述车辆图像中包括的划分多个区域的图形对象和分别显示所述多个区域的多个指示符重叠显示在所述车辆图像上，当输入包括所述多个指示符中的至少一个的用户的语音时，所述控制器控制与所述用户的语音中包括的指示符相对应的控制对象。
10.在上述段落中，所述图形对象可以包括重叠显示在所述车辆图像上的二维网格，所述多个指示符可以分别重叠显示在由所述二维网格划分的多个区域上。
11.在上述段落中，所述图形对象可以包括表示所述车辆图像中包括的多个对象的边界的轮廓线，所述多个指示符可以分别重叠显示在由所述轮廓线划分的多个区域上。
12.在上述段落中，所述指示符可以包括数字、文字或图形中的至少一个。
13.所述预定条件可以包括需要用户的后续语音以指定所述控制对象的情况和出现需要对特定控制对象进行控制的语境的情况中的至少一种。
14.在上述段落中，所述摄像头可以包括拍摄所述车辆的内部后部空间的第一摄像头和拍摄所述车辆的内部前部空间的第二摄像头。
15.在上述段落中，当候选控制对象位于所述车辆的内部后部空间时，所述控制器可以控制所述第一摄像头拍摄所述车辆图像，当候选控制对象位于所述车辆的内部前部空间
时，所述控制器可以控制所述第二摄像头拍摄所述车辆图像。
16.在上述段落中，所述摄像头可以被设置为可旋转，可以在第一旋转角度拍摄所述车辆的内部后部空间，可以在第二旋转角度拍摄所述车辆的内部前部空间。
17.在上述段落中，当候选控制对象位于所述车辆的内部后部空间时，所述控制器可以使所述摄像头旋转到所述第一旋转角度拍摄所述车辆图像，当候选控制对象位于所述车辆的内部前部空间时，所述控制器可以使所述摄像头旋转到所述第二旋转角度拍摄所述车辆图像。
18.在上述段落中，所述车辆可以进一步包括通信模块，所述通信模块与服务器通信，所述服务器基于所述用户的语音判断所述用户的意图，并且生成用于根据所述用户的意图控制所述车辆的结果处理信号，
19.在上述段落中，所述通信模块可以从所述服务器接收所述结果处理信号，所述控制器可以基于接收到的所述结果处理信号来控制所述控制对象。
20.在上述段落中，所述车辆可以进一步包括扬声器，当与所述用户的语音中包括的指示符相对应的控制对象为多个时，所述控制器可以控制所述扬声器输出用于指定所述多个控制对象中所述用户期望的控制对象的向导信号。
21.根据一个实施例的语音识别系统提供方法可以包括以下步骤：接收乘坐车辆的用户的语音；基于所述用户的语音指定所述用户期望的动作和控制对象；以及当未指定所述控制对象时，传输用于在所述车辆上显示引导图像的结果处理信号，所述引导图像可以通过重叠包括所述车辆的内部或外部的车辆图像、划分所述车辆图像中包括的多个区域的图形对象以及分别表示所述多个区域的多个指示符而显示。
22.在上述段落中，所述方法可以进一步包括以下步骤：接收包括所述多个指示符中的至少一个的用户的语音；以及确定与接收到的所述用户的语音中包括的指示符相对应的控制对象。
23.在上述段落中，所述图形对象可以包括重叠显示在所述车辆图像上的二维网格，所述多个指示符可以分别重叠显示在由所述二维网格划分的多个区域上。
24.在上述段落中，所述方法可以进一步包括以下步骤：将与所述多个区域中的各个区域相对应的所述车辆的组件与分别重叠显示在所述多个区域上的指示符或所述多个区域中的各自区域匹配来进行存储。
25.在上述段落中，确定与接收到的所述用户的语音中包括的指示符相对应的控制对象的步骤可以包括以下步骤：将车辆的组件确定为所述控制对象，所述车辆的组件与接收到的所述用户的语音中包括的指示符或所述多个区域中重叠显示所述指示符的区域匹配并被存储。
26.在上述段落中，所述图形对象可以包括表示所述车辆图像中包括的多个对象的边界的轮廓线，所述多个指示符可以分别重叠显示在由所述轮廓线划分的多个区域上。
27.在上述段落中，确定与接收到的所述用户的语音中包括的指示符相对应的控制对象的步骤可以包括以下步骤：将确定与所述车辆图像中包括的多个对象中的与接收到的所述用户的语音中包括的指示符相对应的对象确定为所述控制对象。
28.在上述段落中，所述方法可以进一步包括以下步骤：
29.除所述车辆的组件外，所述车辆图像中包含包括乘客或物品的其他对象时，接收
包括指示所述其他对象的用语的用户的语音；以及基于接收到的所述用户的语音中包括的术语来确定控制对象。
30.根据一个实施例的语音识别系统包括：通信模块，接收乘坐车辆的用户的语音；自然语言理解模块，基于所述用户的语音指定所述用户期望的动作和控制对象；以及结果处理模块，当未指定所述控制对象时，生成用于在所述车辆上显示引导图像的结果处理信号，所述引导图像通过重叠包括所述车辆的内部或外部的车辆图像、划分所述车辆图像中包括的多个区域的图形对象以及分别表示所述多个区域的多个指示符而显示。
31.所述通信模块接收可以包括所述多个指示符中的至少一个的用户的语音，所述结果处理模块可以确定与接收到的所述用户的语音中包括的指示符相对应的控制对象。
32.所述图形对象可以包括重叠显示在所述车辆图像上的二维网格，所述多个指示符可以分别重叠显示在由所述二维网格划分的多个区域上。
33.所述结果处理模块可以将与所述多个区域中的各个区域相对应的所述车辆的组件与分别重叠显示在所述多个区域上的指示符或所述多个区域中的各自区域匹配来进行存储。
34.所述结果处理模块可以将车辆的组件确定为所述控制对象，所述车辆的组件与接收到的所述用户的语音中包括的指示符或所述多个区域中重叠显示所述指示符的区域匹配并被存储。
35.所述图形对象可以包括表示所述车辆图像中包括的多个对象的边界的轮廓线，所述多个指示符可以分别重叠显示在由所述轮廓线划分的多个区域上。
36.所述结果处理模块可以将所述车辆图像中包括的多个对象中的与接收到的所述用户的语音中包括的指示符相对应的对象确定为所述控制对象。
37.(三)有益效果
38.根据一个方面的车辆、语音识别系统及语音识别服务提供方法,可以通过显示所拍摄的作为控制对象的组件的车辆图像来引导用户的语音以指定控制对象。
附图说明
39.图1是根据一个实施例的对话系统的框图。
40.图2是根据一个实施例的车辆的框图。
41.图3是示意性地示出根据一个实施例的语音识别系统和车辆的相互关系的图。
42.图4是根据一个实施例的关于语音识别服务提供方法的顺序图。
43.图5是示出根据一个实施例的输入到车辆的用户的语音示例的图。
44.图6是示出根据一个实施例的设置在车辆中的摄像头的位置的示例的图。
45.图7和图8是示出根据一个实施例的由车辆摄像头拍摄的图像的示例的图。
46.图9至图12是示出根据一个实施例的在车辆上显示的引导图像的示例的图。
47.图13是示出根据一个实施例的在车辆中显示引导图像之后的用户的语音的图。
48.图14是根据一个实施例的关于语音识别服务提供方法的其他顺序图。
49.图15是示出根据一个实施例的在车辆中用户说话之后放大的引导图像的图。
50.图16是示出根据一个实施例的语音识别服务提供方法中一个区域中包括的组件为两个以上的情况的图。
51.图17是示出根据一个实施例的语音识别服务提供方法中人或物品位于候选控制对象处的情况的图。
52.附图标记说明
53.100：语音识别系统
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
110：语音识别模块
54.120：自然语言理解模块
ꢀꢀꢀꢀꢀꢀꢀ
130：结果处理模块
55.140：通信模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
1：服务器
56.2：车辆
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
210：摄像头
57.220：麦克风
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
230：显示器
58.240：通信模块
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
250：控制器
59.260：扬声器
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
270：输入装置
60.281：空调装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
282：窗户调节装置
61.283：座椅加热装置
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
284：座椅调节装置
62.285：照明装置
具体实施方式
63.本说明书中记载的实施例和附图所示的构造是公开的发明的优选的一个示例，在提交本技术时，可以包括能够代替本说明书的实施例和附图的各种变形例。
64.此外，在本说明书中使用的术语用于说明实施例，而非旨在限制和/或限定公开的发明。除非在语境中另有说明，否则单数的表述包括复数的表述。在本说明书中，“包括”、“具备”或“具有”等术语是用于指定说明书中记载的特征、数字、步骤、操作、组件、部件或其组合的存在，而不是预先排除一个或多个其他特征、数字、步骤、操作、组件、部件或其组合的存在或附加可能性。
65.此外，“～部”、“～器”、“～块”、“～部件”和
“…
模块”等术语可以表示处理至少一种功能或操作的单位。例如，所述术语可以表示现场可编程门阵列(field-programmable gate array，fpga)/专用集成电路(application specific integrated circuit，asic)等至少一个硬件、存储在存储器中的至少一个软件或由处理器处理的至少一个过程。
66.另外，在本说明书中说明的组件前面使用的“第一～”、“第二～”等序数仅是用于相互区分组件，而非具有这些组件之间的连接顺序、使用顺序、优先顺序等其他意义。
67.向各步骤赋予的附图标记用于识别各步骤，附图标记并非表示各步骤之间的顺序，并且除非在上下文中明确记载了特定顺序，否则各步骤可以与指定的顺序不同地执行。
68.另一方面，所公开的实施例可以以存储可由计算机执行的指令的记录介质的形式实现。指令可以以程序代码的形式存储，并且当由处理器执行指令时，可以创建程序模块来执行所公开的实施例的操作。记录介质可以实现为计算机可读记录介质。
69.计算机可读记录介质包括存储有计算机可读指令的所有类型的记录介质。例如，可以有只读存储器(rom)、随机存取存储器(ram)、磁带、磁盘、闪存、光学数据存储设备等。
70.以下将参照附图详细说明车辆、语音识别系统及语音识别服务的提供方法的实施例。
71.图1是根据一个实施例的对话系统的框图。
72.参照图1，根据一个实施例的语音识别系统100包括：语音识别模块110，将用户的
语音转换为文本；自然语言理解模块120，判断与文本相对应的用户意图；以及结果处理模块130，生成提供与用户意图相对应的服务所需的各种结果处理信号。
73.语音识别模块110可以通过stt(speech to text，语音到文本)引擎实现，并且可以对用户的语音应用语音识别(speech recognition)算法以转换为文本。
74.例如，语音识别模块110可以应用倒谱(cepstrum)、线性预测编码(linear predictive coefficient，lpc)、mel频率倒谱系数(mel frequency cepstral coefficient，mfcc)或过滤器组能量(filter bank energy)等特征向量提取技术来从用户的语音中提取特征向量。
75.并且，可以通过将提取的特征向量与训练的基准模式进行比较来得到识别结果。为此，可以使用对语音的信号特性进行建模和比较的声音模型(acoustic model)或对与识别词汇对应的单词或音节等语言顺序关系进行建模的语言模型(language model)。
76.此外，语音识别模块110还可以基于应用机器学习或深度学习的学习将用户的语音转换为文本。在该实施例中，语音识别模块110将用户的语音转换为文本的方式不受限制，除上述方式外，语音识别模块110还可以采用多种语音识别技术将用户的语音转换为文本。
77.自然语言理解模块120可以应用自然语言理解(natural language understanding，nlu)技术来判断文本中包含的用户意图。因此，自然语言理解模块120可以包括通过对输入语句应用nlu技术来判断用户意图的nlu引擎。其中，语音识别模块110输出的文本为输入到自然语言理解模块120的输入语句。
78.例如，自然语言理解模块120可以从输入语句中识别对象名。对象名为人名、地名、组织名、时间、日期、货币等固有名词，对象名的识别是在语句中识别对象名并确定被识别的对象名的种类的操作。通过对象名的识别，可以从语句中提取重要的关键词以掌握语句的意义。
79.此外，自然语言理解模块120可以从输入语句中确定域。域可以识别用户的语音的主题，例如，可以基于输入语句来确定域，所述域表示与车辆控制、日程、天气或交通状况等相关的信息提供、短信发送、导航等各种主题。
80.另外，自然语言理解模块120可以分析输入语句具有的语言行为。语言行为分析是分析语音意图的操作，用于掌握用户是提问、请求、回应还是单纯的情感表达等语音意图。
81.自然语言理解模块120可以基于从输入语句中提取的域、对象名、语言行为等信息判断意图(intent)及执行该意图所需的实体(entity)。例如，当输入语句为“打开空调”时，域可以为[车辆控制]，意图可以为[turn on.air conditioner(打开空调)]。其中，[turn on(打开)]可以是动作，[air conditioner(空调)]可以是目标，执行对应意图的控制所需的实体可以是[温度，风量]。
[0082]
结果处理模块130可以向用户终端或外部服务器输出结果处理信号，以提供与用户意图相对应的服务。
[0083]
用户终端可以起到用户和语音识别系统100之间的网关作用。用户终端可以是具备麦克风、扬声器、显示器等i/o接口的移动设备，也可以是车辆本身。当用户终端是移动设备时，车辆和移动设备可以通过蓝牙等无线通信或有线连接彼此连接。
[0084]
例如，当与用户意图相对应的服务是车辆相关的控制时，可以生成用于执行该控
制的控制信号并将其传递到用户终端。
[0085]
此外，当与用户意图相对应的服务是提供特定信息时，可以搜索该信息并将搜索到的信息传递到用户终端。根据需要，还可以在其他外部服务器上搜索信息。
[0086]
此外，当与用户意图相对应的服务是提供特定内容时，可以向提供该内容的外部服务器提出请求。
[0087]
此外，当与用户意图相对应的服务是持续简单对话时，可以生成对用户的语音的响应并以语音方式输出。
[0088]
上述语音识别系统100可以由存储有执行上述操作的程序的至少一个存储器和执行所存储的程序的至少一个处理器来实现。
[0089]
语音识别系统100的组件是根据其操作或功能划分的，其全部或部分可以共享存储器或处理器。即，语音识别模块110、自然语言理解模块120和结果处理模块130并不一定是物理分离的组件。
[0090]
图2是根据一个实施例的车辆的框图，图3是示意性地示出根据一个实施例的语音识别系统和车辆的相互关系的图。
[0091]
参照图2，根据一个实施例的车辆1包括：摄像头210，拍摄车辆图像；麦克风220，用户的语音通过所述麦克风220输入；显示器230，显示提供用户期望的服务所需的图像；扬声器260，输出提供用户期望的服务所需的声音；通信模块240，与外部装置进行通信；以及控制器250，控制上述组件和车辆的其他组件。
[0092]
摄像头210可以拍摄车辆1的内部图像或车辆1的外部图像中的至少一个。因此，摄像头210可以安装在车辆1的内部，也可以安装在车辆1的外部，也可以安装在内部和外部。
[0093]
麦克风220可以设置在可以接收用户的语音的车辆1内部。用户可以是驾驶员，也可以是乘员。麦克风220可以设置在方向盘、中央仪表板、顶篷或后视镜等位置以接收驾驶员或前排乘员的语音。
[0094]
此外，为了接收后排座椅乘员的语音，还可以设置两个以上的麦克风220。用于接收后排座椅乘员的语音的麦克风220可以设置在前排座椅的扶手或后排座椅的扶手上，也可以设置在后座车门、b柱或c柱上。
[0095]
上述麦克风220的位置只是可适用于车辆1实施例的示例。只要能够接收各位置的用户的语音即可，对麦克风220的位置没有其他限制。
[0096]
除麦克风220外，车辆1可以进一步包括用于手动输入用户命令的输入装置270。输入装置270可以包括以按钮或旋钮的形式设置在中央仪表板的avn的设置区域、齿轮箱的设置区域或方向盘上的输入装置。此外，为了接收关于同乘座位的控制命令，可以包括设置在每个座位门上的输入装置，也可以包括设置在前排座椅扶手或后排座椅扶手上的输入装置。
[0097]
此外，输入装置270与显示器230可以设置为一体，并且包括实现触摸屏的触摸板。
[0098]
显示器230可以显示用于引导用户的语音的引导图像。将在后面描述关于显示器230上显示的引导图像的具体说明。
[0099]
显示器230可以包括设置在车辆1的中央仪表板上的avn显示器、组合仪表板或平视显示器(head up display，hud)等。此外，显示器230可以包括安装在前排座椅头部背面的后排显示器，以便后排乘员可以观看，当车辆1是多座车辆时，可以包括安装在顶篷上的
显示器。
[0100]
显示器230只需设置在搭乘车辆1的用户可以观看的位置即可，对显示器230的数量或位置没有其他限制。
[0101]
通信模块240可以采用蓝牙、4g、5g、wifi等多种无线通信方式中的至少一种向其他装置发送信息和从其他装置接收信息。或者，也可以通过连接到usb端口、aux端口等的电缆向其他装置发送信息和从其他装置接收信息。
[0102]
例如，可以通过与位于车辆1内部的移动设备进行通信来接收移动设备获取的信息或存储在移动设备上的信息(用户图像、用户的语音、联系方式、日程安排等)，也可以与服务器2进行通信来传递用户的语音并接收提供用户期望的服务所需的信号。此外，还可以通过连接到车辆1的移动设备向服务器2发送和从服务器2接收必要的信号。
[0103]
除此之外，车辆1可以包括：空调装置281，调节内部温度；窗户调节装置282，调节窗户的打开/关闭；座椅加热装置283，加热座椅；座椅调节装置284，调节座椅的位置、高度或角度；以及照明装置285，调节内部的照明度。
[0104]
上述装置提供了与车辆1相关的便利功能，根据车型和选装，可能会省略一部分装置。此外，除上述装置外，还可以进一步包括其他装置。
[0105]
控制器250可以打开/关闭摄像头210或麦克风220，并且可以处理或存储摄像头210拍摄的图像或输入到麦克风220的语音，或通过通信模块240将其传递到其他装置。
[0106]
此外，控制器250可以控制显示器230显示图像，也可以控制扬声器260输出声音。
[0107]
此外，控制器250可以执行与车辆1相关的各种控制。例如，根据通过麦克风220或输入部270输入的用户命令，可以控制空调装置281、窗户调节装置282、座椅加热装置283、座椅调节装置284或照明装置285中的至少一种。
[0108]
控制器250可以包括存储有用于执行上述操作和后续操作的程序的至少一个存储器和运行所存储的程序的至少一个处理器。
[0109]
参照图3，根据一个实施例的语音识别系统100可以设置在服务器2中。因此，在车辆1中输入的用户的语音可以被传递到服务器2的通信模块140，在设置在服务器2中的语音识别系统100处理语音信号后，通信模块140可以将其处理结果再次传递到车辆1。
[0110]
此外，根据一个实施例的语音识别系统100的一部分组件可以设置在车辆1中，另一部分组件也可以设置在服务器2中。
[0111]
例如，语音识别模块110可以设置在车辆1中，自然语言理解模块120和结果处理模块130可以设置在服务器2中。
[0112]
又例如，语音识别模块110和结果处理模块130可以设置在车辆1中，自然语言理解模块120可以设置在服务器2中，或者语音识别模块110和自然语言理解模块120可以设置在服务器2上，结果处理模块130可以设置在车辆1中。
[0113]
再例如，语音识别系统100也可以设置在车辆1中。
[0114]
如上所述，语音识别系统100的全部或部分组件也可以设置在车辆1中，但在后面的实施例中，如图3所示，以语音识别系统100安装在服务器2中的情况为例进行说明。
[0115]
为了使用户通过语音输入控制命令，要求准确地说出控制对象。然而，用户经常难以准确地掌握设置在车辆1中的各种组件的名称。当通过用户的语音没有明确指定控制对象时，将输出用于引导用户后续语音的系统响应，并且用户将根据输出的系统响应输入用
于指定控制对象的后续语音。
[0116]
根据一个实施例，可以在显示器上显示引导图像，使用户在不清楚控制对象名称的状态下也可以容易地输入指定控制对象的语音。以下，参照附图进行具体说明。
[0117]
图4是根据一个实施例的关于语音识别服务提供方法的顺序图。根据一个实施例的语音识别服务提供方法可以由车辆1执行，也可以由语音识别系统100执行，并且一部分步骤可以由车辆1执行，另一部分步骤可以由语音识别系统100执行。
[0118]
参照图4，判断是否满足拍摄引导图像的预定条件(1100)。
[0119]
当需要用户的后续语音以指定控制对象、用户请求提供引导图像或者出现需要控制特定控制对象的语境时，可以判断为满足预定条件。或者，即使通过用户的语音指定控制对象，也可以拍摄包含控制对象的引导图像。在这种情况下，除最初意图的控制对象外，用户还可以输入针对其他构造的进一步的控制命令。
[0120]
可以由语音识别系统100的结果处理模块130判断是否满足预定条件，还可以由车辆1的控制器250判断是否满足预定条件。
[0121]
例如，当用户向麦克风220输入“打开后排座椅加热器”的语音时，仅凭用户的语音无法指定控制对象是左后排座椅的加热器还是右后排座椅的加热器。因此，在这种情况下，需要用户的后续语音以指定控制对象是左后排座椅的加热器还是右后排座椅的加热器，并且可以判断为满足预定条件。
[0122]
又例如，当用户向麦克风220输入“显示后排座椅”的语音来请求引导图像时，可以判断为满足预定条件。
[0123]
再例如，当在窗户(包括天窗)打开的情况下进入隧道、在后备箱打开的情况下行驶、向输入部270输入对乘客座椅的控制命令、后排座椅显示器打开、检测到乘员处于睡眠状态或车辆内部环境超出预设条件时，相当于出现需要对特定控制对象进行控制的语境，在这种情况下，可以判断为满足预定条件。
[0124]
再例如，当用户向麦克风220输入“打开右后排座椅加热器”的语音时，即使可以根据用户的语音将控制对象指定为“右后排座椅加热器”，也可以判断为满足预定条件，并且拍摄包括右后排座椅的引导图像。
[0125]
当满足预定条件(1200的示例)时，使用摄像头210拍摄车辆图像(1300)。
[0126]
车辆图像可以是车辆1的内部图像，也可以是外部图像。此外，车辆图像可以包括候选控制对象。候选控制对象顾名思义是指可能成为控制对象的候选。候选控制对象可以基于输入的用户的语音来确定，也可以基于出现的语境来确定。
[0127]
此外，当通过用户的语音已经指定控制对象时，可以拍摄包含特定控制对象及其周围的车辆图像。在这种情况下，已经指定的控制对象的周围可以是候选控制对象。
[0128]
拍摄车辆图像后，在车辆1的显示器230上显示引导图像(1400)。
[0129]
在摄像头210拍摄的车辆图像上显示与候选控制对象对应的指示符的图像可以成为用于引导用户的语音的引导图像。将在后面描述关于引导图像的具体说明。
[0130]
用户可以通过查看显示器230上显示的引导图像来说出所需控制对象，语音识别系统100可以基于输入的语音来指定控制对象。
[0131]
以下，以根据一个实施例的执行语音识别服务提供方法的过程作为具体示例进行说明。
[0132]
图5是示出根据一个实施例的输入到车辆的用户的语音示例的图，图6是示出根据一个实施例的设置在车辆中的摄像头的位置的示例的图，图7和图8是示出根据一个实施例的由车辆摄像头拍摄的图像的示例的图。
[0133]
如上所述，拍摄车辆图像的预定条件可以包括要求用户的后续语音的情况。如图5所示，当用户输入“打开后排座椅加热器”的语音时，语音识别模块110将输入的语音转换为文本，自然语言理解模块120分析文本后判断意图为[turn on.seat heater(打开座椅加热器)]。
[0134]
用户的语音中表示意图的目标，即控制对象的“后排座椅”可以指左后排座椅，也可以指右后排座椅，也可以指左后排座椅和右后排座椅。
[0135]
然而，仅凭当前的用户的语音，无法指定用户的意图是打开左后排座椅的加热器，还是打开右后排座椅的加热器，或者是打开左后排座椅和右后排座椅的加热器。
[0136]
因此，需要用户的后续语音以指定控制对象。即，可以判断为满足预定条件以输出引导图像。如上所述，这种判断可以在语音识别系统100的结果处理模块130中执行，也可以在接收自然语言理解模块120的分析结果的车辆1的控制器250中执行。
[0137]
当满足预定条件时，控制器250可以控制摄像头210拍摄车辆图像。
[0138]
参照图6的示例，摄像头210可以包括：第一摄像头211，被安装在具体包括后视镜、前顶篷、前挡风玻璃或中央仪表板的车辆1内部的前侧以拍摄车辆内部后部空间；以及第二摄像头212，被安装在后顶篷或后挡风玻璃以拍摄车辆内部前部空间。
[0139]
如图7所示，第一摄像头211可以拍摄包括车辆1的左后排座椅12l、右后排座椅12r以及左后排座椅12l与右后排座椅12r之间的扶手13等的车辆1内部后部空间。此外，根据第一摄像头211的视角，还可以拍摄左后排座椅窗户22l和右后排座椅窗户22r。即，第一摄像头211拍摄的内部后侧图像(ri)可以包括车辆内部后部空间。
[0140]
如图8所示，第二摄像头212可以拍摄包括安装在中央仪表板区域的avn显示器231和控制面板271、右前排座椅窗户21r、左前排座椅窗户21l、右前排座椅车门41r、左前排座椅车门41l和扬声器260等的车辆1内部前部空间。即，第二摄像头212拍摄的内部前侧图像(fi)可以包括车辆内部的前部空间。
[0141]
然而，上述摄像头210的数量或位置、内部前侧图像(fi)或内部后侧图像(ri)中显示的空间都仅是示例，公开的发明的实施例不限于此。
[0142]
又例如，摄像头210可以可旋转地设置在顶蓬的中间位置，当候选控制对象位于车辆内部后部空间中时，可以朝向后侧旋转(旋转到第一旋转角度)并拍摄，当候选控制对象位于车辆内部前部空间时，可以朝向前侧旋转(旋转到第二旋转角度)并拍摄。
[0143]
当满足预定条件时，由摄像头210拍摄的图像是包含候选控制对象的图像。在图5的示例中，候选控制对象为右后排座椅12r和左后排座椅12l。因此，可以控制摄像头210拍摄右后排座椅12r和左后排座椅12l所在的内部后部空间。根据图6的示例，可以控制第一摄像头211。
[0144]
可以由控制器250做出这些关于用摄像头210拍摄哪个图像的决定，也可以由语音识别系统100的结果处理模块130做出上述决定。
[0145]
控制器250可以在拍摄的车辆图像中叠加用于显示候选控制对象的指示符，以显示引导图像。
[0146]
图9至图12是示出根据一个实施例的在车辆中显示的引导图像的示例的图。
[0147]
如上所述，当满足预定条件时，由摄像头210拍摄的车辆图像是包含候选控制对象的图像。当候选控制对象是右后排座椅12r和左后排座椅12l时，如图9和图10所示，可以控制摄像头210拍摄右后排座椅12r和左后排座椅12l所在的内部后部空间。当摄像头210包括第一摄像头211和第二摄像头212时，可以向第一摄像头211发送拍摄信号，当摄像头210被设置为可旋转时，可以控制摄像头210旋转到第一旋转角度。
[0148]
参照图9，控制器250可以将摄像头210拍摄的车辆图像显示在显示器230上，并且可以在车辆图像上叠加二维网格(grid)进行显示。此外，可以在通过二维网格划分的每个区域(block)上显示用于指示每个区域的指示符。即，车辆图像及在其上叠加显示的网格和指示符可以构成引导图像(gi)。
[0149]
在每个区域中显示的指示符可以是数字，也可以是韩文或字母等文字。只要用户能够容易地从引导图像(gi)中识别并说出，无论是数字、文字还是图形，都可以成为引导图像中显示的指示符。
[0150]
通过网格划分的多个区域可以显示不同的指示符。在图9的示例中，将1到36的数字表示为指示符。然而，并非必须在所有区域中显示指示符，也可以仅在与候选控制对象相关的区域或可控制组件所在的区域中显示指示符。
[0151]
此外，还可以将与候选控制对象相关的区域或可控制组件所在的区域中显示的指示符与其余指示符分开显示。将前者的指示符称为第一指示符，将后者的指示符称为第二指示符，可以将第一指示符显示得更粗、更大或更亮，也可以将第一指示符和第二指示符显示为不同的颜色。只要在第一指示符和第二指示符的区分中，直观地表示第一指示符是可选对象，而对第一指示符和第二指示符的区分方式没有其他限制。
[0152]
此外，也可以由控制器250或结果处理模块130对车辆图像进行图像处理，以识别车辆图像中出现的对象。例如，可以通过应用对象识别算法来识别车辆图像中出现的窗户、座位、车门、照明、扶手等对象。
[0153]
这里应用的对象识别算法可以是基于深度学习的算法，也可以是基于机器学习的算法。具体地，可以采用同时执行分类(classification)和区域选择(regional proposal)的单阶段检测(one-stage detector)算法或依次执行分类(classification)和区域选择(regional proposal)的两阶段检测(two-stage detector)算法之一。
[0154]
两阶段检测可以使用r-cnn(regions with convolution neural network，具有卷积神经网络的区域)、fast r-cnn或faster r-cnn，单阶段检测(one-stage detector)可以使用yolo(you only look once)、ssd(single shot multibox detector，单发多盒检测器)或retinanet。
[0155]
然而，上述对象识别技术仅是可适用于该实施例的示例，除此之外，多种对象识别技术可以用于识别车辆图像的对象。
[0156]
如图10所示，控制器250或结果处理模块130可以以使用粗线显示所识别的对象的轮廓线等方式与其他对象彼此区分显示，并且可以在每个所识别的对象上显示不同的指示符。
[0157]
当候选控制对象位于车辆内部的前部空间时，可以控制摄像头210拍摄内部的前部空间。当摄像头210包括第一摄像头211和第二摄像头212时，可以向第二摄像头212发送
拍摄信号，当摄像头210被设置为可旋转时，可以控制摄像头210旋转到第二旋转角度。
[0158]
利用所拍摄的车辆图像显示引导图像(gi)的操作与前面说明的图9和图10的示例相同。具体地，如图11所示，拍摄的车辆图像可以被显示在显示器230上，并且在车辆图像上显示二维网格和用于指定每个区域的指示符。即，与前述图9的示例一样，车辆图像及在其上叠加显示的网格和指示符可以构成引导图像(gi)。
[0159]
此外，如参照图10说明的上述内容所述，也可以应用对象识别算法识别车辆图像中出现的对象，并将识别的对象区分显示。
[0160]
另一方面，当候选控制对象位于中央仪表板的控制面板271等多个输入装置集成的区域时，如图12所示，可以将该区域放大显示。在这种情况下，摄像头210也可以放大拍摄该区域，摄像头210的倍率也可以是在固定状态下抓取(crop)拍摄的车辆图像后放大显示。
[0161]
图13是示出根据一个实施例的在车辆中显示引导图像之后的用户的语音的图，图14是根据一个实施例的关于语音识别服务提供方法的其他顺序图，图15是示出根据一个实施例的在车辆中用户说话之后放大的引导图像的图。
[0162]
接着说明上述图5的示例。当用户输入“打开后排座椅加热器”的语音时，如图13所示，引导图像(gi)可以显示在avn显示器231上。然而，引导图像(gi)显示在avn显示器231上仅是一个示例，组合仪表板、hud等设置在车辆1中的显示器230中的任何一个显示器都可以显示引导图像(gi)。
[0163]
当用户意图的控制对象是“右后排座椅加热器”时，可以在引导图像(gi)中说出显示在右后排座椅加热器上的指示符26。
[0164]
如图13所示，也可以说出“打开26号加热器”，也可以仅说出指示控制对象的指示符“26”，而不追加说出已说出的命令。
[0165]
参照图14，从判断是否满足预定条件的操作(1100)到显示车辆图像和指示符的操作(1400)与前述说明相同。
[0166]
如图13所示，当在用户确认显示在显示器230上的引导图像(gi)后输入用户的语音(1500的示例)时，控制器250或结果处理模块130将识别与用户的语音中包含的指示符相对应的控制对象(1600)。
[0167]
例如，通过预先执行的校准，摄像头210拍摄的图像中的位置和在现实世界中的位置可以彼此匹配。在该示例中，摄像头210拍摄的图像是拍摄车辆1的内部或外部的车辆图像，因此通过校准，可以分别匹配在车辆图像中的位置和实际车辆1的组件。
[0168]
在图13的示例中，在摄像头210拍摄的图像中，重叠显示指示符26的位置可以与现实世界中的右后排座椅12r匹配，重叠显示指示符29的位置可以与现实世界中的左后排座椅12l匹配。
[0169]
此外，重叠显示指示符7的位置可以与现实世界中右后排座椅窗户22r匹配，重叠显示指示符12的位置可以与现实世界中的左后排座椅窗户22l匹配。
[0170]
与每个指示符或显示每个指示符的区域匹配的现实世界中的位置可以成为与指示符相对应的控制对象。
[0171]
这些匹配信息可以存储在车辆1或语音识别系统100的存储器中。因此，当用户说出引导图像(gi)中显示的指示符之一时，结果处理模块130或控制器250可以基于预存储的匹配信息识别与语音的指示符相对应的控制对象。
[0172]
此外，当通过执行对象识别算法等图像处理生成引导图像(gi)时，可以匹配并存储对应于每个识别的对象的指示符。与识别的对象相对应的指示符是指叠加显示在识别的对象上的指示符，这些匹配信息可以存储在车辆1或语音识别系统100的存储器中。例如，图像处理和匹配信息的存储可以在满足预定条件而拍摄车辆图像后实时执行。
[0173]
此外，也可以基于存储在外部服务器上的图像数据识别与指示符对应的控制对象。例如，在提供搜索引擎的外部服务器中，一起存储与车辆1同一车型、同一款式的车辆的图像数据和该图像中所显示的部件种类的信息时，可以通过比较存储的图像数据和拍摄的车辆图像，特别是显示指示符的区域来识别控制对象。
[0174]
当使用存储在外部服务器中的图像数据时，可以根据与存储的图像数据的相似度直接指定控制对象，也可以通过确认程序来指定控制对象。
[0175]
例如，当与存储的图像中包含的对象的相似度大于或等于参考值时，可以直接指定控制对象，当低于参考值时，可以生成用于向用户确认控制对象的消息。
[0176]
作为具体示例，当相似度的参考值设定为0.9时，当存储的图像数据的左后排座椅的相似度大于或等于0.9时，可以将右后排座椅指定为控制对象。
[0177]
此外，当没有参考值大于或等于0.9的对象且具有前两个相似度的对象是右后排座椅和扶手时，可以生成用于向用户确认是控制左后排座椅还是控制扶手的消息。可以以视觉方式或听觉方式输出所生成的消息。
[0178]
控制器250或结果处理模块130可以生成结果处理信号，所述结果处理信号用于对识别的控制对象执行用户期望的控制(1700)。
[0179]
如图13所示，当识别的控制对象相当于“右后排座椅加热器”时，可以生成使右后排座椅加热器升温的控制信号。根据生成的控制信号，座椅加热装置283可以进行操作使右后排座椅加热器升温。
[0180]
此外，还可以将放大显示所识别的控制对象或所识别的控制对象和其周围部分。此时，对应于图像的放大重新显示网格，并在由网格划分的多个区域中重新显示指示符，从而可以更精细地区分车辆1的组件。用户可以查看放大显示的引导图像，并输入用于进一步控制的语音。
[0181]
例如，当选择了“26号”指示符时，如图15所示，可以对显示26号指示符的区域或显示26号指示符的区域和其周围部分进行放大显示，用户可以查看放大的引导图像并输入用于控制右后排座椅的靠背角度或头托角度等的额外的语音。
[0182]
此外，当放大显示图像时，还可以对放大的图像进行对象识别。例如，当集成了设置在每个座位车门上的座椅调节按钮或设置在中央仪表板上的控制面板等多个操作部的区域被放大时，可以通过识别每个操作部并彼此区分显示来提高操作部之间的识别能力。
[0183]
此外，在步骤1500中输入的用户的语音还可以包括针对特定对象或特定区域的放大命令，而不是针对特定对象的控制命令。在这种情况下，也可以根据上述过程放大显示图像，用户可以查看放大的图像并输入用于控制特定对象的语音。
[0184]
另一方面，当根据用户的语音指定的控制对象与用户的语音中包含的命令，即意图不匹配时，也可以生成用于提出与控制对象匹配的命令的引导消息。
[0185]
例如，当在显示图13所示的引导图像(gi)后用户说出“请上传29号”时，当车辆1可以前/后移动后排座椅但不能上升/下降后排座椅时，可以生成诸如“您可以前后移动左后
排座椅。您要执行什么操作？”的引导消息。
[0186]
图16是示出根据一个实施例的语音识别服务提供方法中一个区域中包括的组件为两个以上的情况的图，图17是示出根据一个实施例的语音识别服务提供方法中人或物品位于候选控制对象处的情况的图。
[0187]
当在车辆图像上显示网格以划分多个区域时，一个区域可能包含两个或多个组件。参照图16的示例，重叠显示指示符22的区域中可以包括左后排座椅12l的一部分、后排座椅扶手13的一部分以及后排座椅饮料柜的一部分。此时，单个区域中包含的区域小于或等于参考比率的控制对象可能不被视为包括在该区域中。例如，某个区域中仅包含总区域10％的控制对象可以视为不包括在该区域中。
[0188]
在这种情况下，即使说出与用户期望的控制对象相对应的指示符，也难以立即指定与说出的指示符相对应的控制对象是什么。因此，根据一个实施例的语音识别系统100可以执行额外的过程来解决这一问题。
[0189]
如图16所示，当满足预定条件而在avn显示器231上显示引导图像(gi)，并且用户输入“打开22号”的语音时，结果处理模块130可以确认与指示符22相对应的控制对象为多个。
[0190]
结果处理模块130首先可以基于自然语言理解模块120输出的意图尝试识别控制对象。
[0191]
对于该示例，与用户的语音相对应的意图可以是[打开(open)22]。结果处理模块130可以从与指示符22相对应的控制对象中选择可以成为“打开(open)”动作的目标的控制对象。在左后排座椅12l、后排座椅扶手13和后排座椅饮料柜中，可以成为“打开(open)”动作的目标的控制对象相当于后排座椅扶手13和后排座椅饮料柜。
[0192]
当与意图相对应的控制对象为一个时，可以立即指定用户期望的控制对象，如该例示所示，当与意图相对应的控制对象为多个时，可以执行指定多个控制对象中的用户期望的控制对象的额外的过程。
[0193]
例如，结果处理模块130可以生成系统响应，以确认在后排座椅扶手13和后排座椅饮料柜中用户意图的控制对象是什么，并将其发送到车辆1。
[0194]
如图16所示，车辆1可以通过扬声器260输出诸如“打开扶手和饮料柜中的哪一个？”的系统响应，并且可以基于作为响应而输入的用户的语音来指定控制对象。
[0195]
另一方面，除驾驶员外，其他乘客也可以乘坐车辆1，也可以装载货物。即，除车辆1的组件外，车辆图像中还可以包含包括乘员或物品的其他对象。
[0196]
参照图17的示例，当在乘员坐在后排座椅的情况下满足预定条件(语音“打开后排座椅加热器”)时，avn显示器231可以显示引导图像(gi)。引导图像(gi)还可以包括坐在右后排座椅12r的乘员。
[0197]
在这种情况下，用户也可以说出指示符26。然而，当因坐在右后排座椅12r的乘员而无法掌握指示符的准确位置时，也可以输入包括指示乘员的用语的用户的语音。例如，用户可以说出“打开有人乘坐的加热器”。
[0198]
结果处理模块130可以基于接收到的用户的语音中包含的术语来确定控制对象。具体地，基于图像处理结果，可以识别出人乘坐的座位是右后排座椅12r，并生成使右后排座椅12r的加热器升温的结果处理信号。
[0199]
已上参照附图描述了所公开的实施例。本发明所属领域的普通技术人员将理解，在不改变本发明的技术思想或者基本特征的情况下，本发明可以以不同于所公开的实施例的其他形式实施。所公开的实施例是示例性的并且不应被解释为限制性的。

技术特征：
1.一种车辆，包括：摄像头，拍摄包括车辆的内部或外部的车辆图像；显示器，设置在所述车辆的内部；以及控制器，当满足预定条件时，所述控制器控制所述摄像头拍摄所述车辆图像，并且控制所述显示器显示拍摄的所述车辆图像，使得所述车辆图像中包括的划分多个区域的图形对象和分别表示所述多个区域的多个指示符重叠显示在所述车辆图像上，其中，所述控制器被配置为当输入包括所述多个指示符中的至少一个的用户的语音时，控制与所述用户的语音中包括的指示符相对应的控制对象。2.根据权利要求1所述的车辆，其中，所述图形对象包括重叠显示在所述车辆图像上的二维网格，所述多个指示符分别重叠显示在由所述二维网格划分的多个区域上。3.根据权利要求1所述的车辆，其中，所述图形对象包括表示所述车辆图像中包括的多个对象的边界的轮廓线，所述多个指示符分别重叠显示在由所述轮廓线划分的多个区域上。4.根据权利要求1所述的车辆，其中，所述预定条件包括需要用户的后续语音以指定所述控制对象的情况和出现需要对特定控制对象进行控制的语境的情况中的至少一种。5.根据权利要求4所述的车辆，其中，所述摄像头包括拍摄所述车辆的内部后部空间的第一摄像头和拍摄所述车辆的内部前部空间的第二摄像头。6.根据权利要求5所述的车辆，其中，当候选控制对象位于所述车辆的内部后部空间时，所述控制器控制所述第一摄像头拍摄所述车辆图像，当候选控制对象位于所述车辆的内部前部空间时，所述控制器控制所述第二摄像头拍摄所述车辆图像。7.根据权利要求4所述的车辆，其中，所述摄像头被设置为可旋转，并且所述摄像头在第一旋转角度拍摄所述车辆的内部后部空间，在第二旋转角度拍摄所述车辆的内部前部空间。8.根据权利要求7所述的车辆，其中，当候选控制对象位于所述车辆的内部后部空间时，所述控制器使所述摄像头旋转到所述第一旋转角度以拍摄所述车辆图像，当候选控制对象位于所述车辆的内部前部空间时，所述控制器使所述摄像头旋转到所述第二旋转角度以拍摄所述车辆图像。9.根据权利要求5所述的车辆，进一步包括：通信模块，所述通信模块与服务器通信，所述服务器基于所述用户的语音判断所述用户的意图，并且生成用于根据所述用户的意图控制所述车辆的结果处理信号，其中，所述通信模块从所述服务器接收所述结果处理信号，所述控制器基于接收到的所述结果处理信号来控制所述控制对象。
10.根据权利要求2所述的车辆，进一步包括：扬声器，其中，所述控制器被配置为当与所述用户的语音中包括的指示符相对应的控制对象为多个时，控制所述扬声器输出用于指定所述多个控制对象中的所述用户期望的控制对象的向导信号。11.根据权利要求2所述的车辆，其中，所述控制器对所述显示器进行控制以使得所述显示器对显示所述用户的语音中包括的指示符的区域进行放大显示，所述控制器控制所述显示器，以对应于显示所述指示符的区域的放大而重新显示所述二维网格和所述多个指示符。12.一种语音识别系统，包括：通信模块，接收乘坐车辆的用户的语音；自然语言理解模块，基于所述用户的语音指定所述用户期望的动作和控制对象；以及结果处理模块，当未指定所述控制对象时，生成用于在所述车辆上显示引导图像的结果处理信号，其中，所述引导图像通过重叠包括所述车辆的内部或外部的车辆图像、所述车辆图像中包括的划分多个区域的图形对象以及分别表示所述多个区域的多个指示符来显示。13.根据权利要求12所述的语音识别系统，其中，所述通信模块接收包括所述多个指示符中的至少一个的用户的语音，所述结果处理模块确定与接收到的所述用户的语音中包括的指示符相对应的控制对象。14.根据权利要求13所述的语音识别系统，其中，所述图形对象包括重叠显示在所述车辆图像上的二维网格，所述多个指示符分别重叠显示在由所述二维网格划分的多个区域上。15.根据权利要求14所述的语音识别系统，其中，所述结果处理模块将与所述多个区域中的各个区域相对应的所述车辆的组件与分别重叠显示在所述多个区域上的指示符或所述多个区域中的各自区域匹配来进行存储。16.根据权利要求15所述的语音识别系统，其中，所述结果处理模块将车辆的组件确定为所述控制对象，所述车辆的组件与接收的所述用户的语音中包括的指示符或所述多个区域中重叠显示所述指示符的区域匹配并被存储。17.根据权利要求13所述的语音识别系统，其中，所述图形对象包括表示所述车辆图像中包括的多个对象的边界的轮廓线，所述多个指示符分别重叠显示在由所述轮廓线划分的多个区域上。18.根据权利要求17所述的语音识别系统，其中，所述结果处理模块将所述车辆图像中包括的多个对象中的与接收的所述用户的语音中包括的指示符相对应的对象确定为所述控制对象。19.一种装置，包括：通信模块，接收指示用户的语音的数据；以及控制器，被配置为：
基于指示用户的语音的数据确定多个指示符，其中所述多个指示符中的每一个与对象图像的多个区域之中的一个区域相关联，并且所述对象图像包括可由用户控制的对象的图像；以及基于与所述多个指示符中的至少一个指示符相关联的输入，生成控制信号以控制对应于所述至少一个指示符的控制目标，所述控制目标与所述对象的可控制区域相关联。20.根据权利要求19所述的装置，其中，所述输入包括所述用户的额外语音、第二用户的语音和与所述对象相关联的显示器上的触摸输入中的至少一种。

技术总结
公开的发明提供一种车辆和语音识别系统，其能够通过显示所拍摄的作为控制对象的组件的车辆图像来引导用户的语音以指定控制对象。根据一个实施例的车辆包括：摄像头，拍摄包括车辆的内部或外部的车辆图像；显示器，设置在所述车辆的内部；以及控制器，当满足预定条件时，所述控制器控制所述摄像头拍摄所述车辆图像，并且控制所述显示器显示所述拍摄的车辆图像，使得所述车辆图像中包括的划分多个区域的图形对象和分别表示所述多个区域的多个指示符重叠显示在所述车辆图像上，当输入包括所述多个指示符中的至少一个的用户的语音时，所述控制器控制与所述用户的语音中包括的指示符相对应的控制对象。相对应的控制对象。相对应的控制对象。


技术研发人员：朴珉宰 文栽旻 金星王
受保护的技术使用者：起亚株式会社
技术研发日：2022.12.16
技术公布日：2023/7/4